有人配过过机房用 nas 服务器么，差不多带 100 台服务器读写

[cncmmdwl]

最近领导要我整一台文件存储服务器，给了 3w 的预算，要带 100 台电脑算模型
目前 15 台电脑 smb 共享总共每秒大概有 4.2Gbps 的流量出口
smb 上共享文件主要是图片，单张 10Mbps 左右，单次 10 万张图片跑模型
查了查商用 nas 的价格，我知道这玩意肯定是买不起了
由于前任领导留下来了 40 多个 4t 硬盘，现任领导要求全部跑起来
所以查了多方资料选择 truenas 后列了这样的一个单子

cpu 双路 intel 银牌 4215r 2 带一台集群控制虚拟机
主板 超微 x11dpl-i 1
内存 三星 ddr4-32-2400-ecc 8
内存 intel 傲腾 持久内存 128g 2
网卡 cx456a 100g*2 1
硬盘 intel p4800x 750g 1 zfs log 写缓存日志系统
三星 PM983 3.84T 1 zfs l2acr 读缓存日志

阵列卡 不知道买点啥
电源 双路冗余 750w 电源 2
阵列柜 24 盘位 raid 阵列柜 1
机箱 4u 带热插拔机柜盘 1
现在有几个问题，
1.傲腾一代二代差别在那，能和这个 u 适配么，有没有适配文档
2.zfs 有些人说 slog 只有 16g 有用，剩余空间就是没用的这条是否有误
3.由于部分照片可能重复导入，是否还需要添加一个重复文件删除用的硬盘，大概需要多大？
4.由于之前没接触过 raid，hba 卡，光口 hba 是否能装 sas-80 线等
5.sas 似乎可以接很多硬盘，只要通过扩展卡就能 1 带 128 来着，但如果用线只能一分四，这是对的么
6.pcie2.0 的阵列卡，sas3.0 会出现带宽不够问题么
7.这里阵列柜是外置的，接口是金属的，肯定不是直接从卡上接出来的，应该买什么东西接
8.目前超微 pcie 好像只有 3.0，有必要找 4.0 的 ssd 么

[ryd994]

@cncmmdwl 非推荐，纯举例
https://www.broadcom.com/products/storage/host-bus-adapters/sas-9300-8e
关键字 SAS3 external hba
lsi 的卡最后一位是 e 就是外置口，i 就是内置口

内置口也可以通过转换器转成外置口。实际上就是一条延长线，固定在 pci 挡板上。这样就不怕拉扯问题了。

你确定只有一通道？ minisas 一条线是 4 个通道。所以 lsi 8 port sas 卡只有两个 minisas 头。

你说生产数据可以丢这个问题。把可以丢的数据放在另一个 zpool/dataset 上，可以强制忽略 sync 。不 sync 的话性能会好很多。或者扔到一个 raid0 上。钱够的话 ssd 组 raid

[defunct9]

浪潮有个 nas 服务器，10 万

[matrix67]

楼主你这个就一台 nas 服务器，要是这台 nas 坏了，那 100 台计算不就都空在那里浪费了。这个也是个成本

[cncmmdwl]

@ryd994 原来如此，明白了，就是说一条线不是 sata 那样子只有一个通道，所以可以接很多个扩展卡
就是因为钱不够所以折中一些一个缓存盘
raid0 原来想过弄，但是怕写入读写不够快，因为即使 12 个盘组 raid0 就是怕读写不够快

[cncmmdwl]

@matrix67 验收后坏了我不管的

[cncmmdwl]

@liuhan907 1.虚拟机主要工作是分配任务给 100 台机器，发布完任务就只剩下接收设备回传的运行状态而已，或许后面可能再挂一台无盘启动服务器，反正没什么活要交给他干，我知道 core 上的那个虚拟机就是一个巨坑，不支持半虚拟以及没法硬件直通还不支持显卡
2.傲腾的要求是 1 比 4 所以说不能全插傲腾，至于内存，zfs 不是说内存越大越好么，巴不得直接搞个 2t 内存模型全放内存跑
4.我就是打算开缓存模式不是同步刷写，同步刷写话百分白卡盘，而且盘还有大规模读取
6.未来或许 core 可以直接转池到 scale 下把，毕竟池只要导入即可，或许还能无缝衔接

[cncmmdwl]

@matrix67 坏了，坏了我们就可以美滋滋的的通知老板修设备了，反正我们平常设备也不跑，70 台设备还是隔壁教室借的，坏了只要不耽误学生上课就行

[cncmmdwl]

@defunct9 预算起飞，必不可能

[liuhan907]

@cncmmdwl
1. 虚拟机的任务这个双路 U 没有任何压力，都不带动的。你的负载还是主要在网络和 zfs 本身，考虑你用的网卡支持 rdma，可以考虑用支持 rdma 的协议减轻传输压力。zfs 这块就没啥好办法，不过应该还是可以撑得住。
2. 你这个板子是八槽，大概就是六根傲腾两根内存。算下来也不少钱了。不过当然 zfs 是内存越大越好，能当缓存用。
3. 现在 core 和 scale 的 zfs 都用的一个代码基线了，我想应该可以直接导入。

[ryd994]

还有一个问题，你这种大量客户端同时满速传输的情况，最好考虑 rdma 或者其他 lossless 网络技术。这个在超算课上讲过，超算和储存节点之间的通讯基本没有用 TCP 的，原因就在于 TCP 的流控和 backoff 机制对于大量同步的连接，效果很不好。同时启动，同时 backoff，同时再启动，结果大量丢包同时跑不满带宽。
所以你这个做法可能不管用，要有心理准备。限制并发连接数可能反而速度更好。

[singerll]

3w 块钱你现在想啥。。。。。40 多个 4t 盘，先不考虑网络设备，肯定得上商用服务器的，我觉 10 万块钱只能满足能跑的需求，至于性能。。。

[fx0719]

我们公司用的 qnap，好像还不错。不急的话上班给你看看型号

[cncmmdwl]

@ryd994 目前来看，所有服务器都是 win10 工作站版本的，应该都支持 smb3.0 rdma， 由于我不是专业网工，所以 tcp 什么的都没接触过，而且没必要同步启动，实在不行话可以一次启动几个渲染器，一起启动必然吃交换机，限制并发感觉可能没什么用，实际上就是把 nas 上的盘当共享盘了，smb 本身毕竟没有限速功能，只要能吃满流量，集群机器带不动反正告诉老板再加钱就行

[cncmmdwl]

@singerll 这套配置本身就是商用的啊，大多数东西都是全新货色

[cncmmdwl]

@fx0719 不妨发出来看看商用情况，不够我觉得 qnap 估计不行，这里都上 100g 了。

[pandh97]

有几个不成熟的建议：
傲腾内存和普通内存性能还是存在差距（速度约 5 倍，延迟更大的多），不知道傲腾内存真实性能怎么样？
p4800 和家用 900p 系列差距极小，推荐多买几块 900p
读缓存建议两块超大容量 ssd，正好现在 ssd 价格不高，越大越好。

[cncmmdwl]

@pandh97 我的负载下，延迟是最次要的，因为 truenas 把文件全部放在内存里面了，由于只是当一个外挂硬盘，所以延迟只要不超过 500ms 应该影响都不大，p4800 主要是考虑稳定问题，家用的 905p 确实也是一个不错的选择，可能到时候就是里面那个便宜挑哪个了，超大容量 ssd 有什么推荐么，目前能找到的就是上面写的这货了。

[hhok]

了解下 NetApp， 企业级 NAS 世界第一