有人配过过机房用 nas 服务器么，差不多带 100 台服务器读写

[cncmmdwl]

最近领导要我整一台文件存储服务器，给了 3w 的预算，要带 100 台电脑算模型
目前 15 台电脑 smb 共享总共每秒大概有 4.2Gbps 的流量出口
smb 上共享文件主要是图片，单张 10Mbps 左右，单次 10 万张图片跑模型
查了查商用 nas 的价格，我知道这玩意肯定是买不起了
由于前任领导留下来了 40 多个 4t 硬盘，现任领导要求全部跑起来
所以查了多方资料选择 truenas 后列了这样的一个单子

cpu 双路 intel 银牌 4215r 2 带一台集群控制虚拟机
主板 超微 x11dpl-i 1
内存 三星 ddr4-32-2400-ecc 8
内存 intel 傲腾 持久内存 128g 2
网卡 cx456a 100g*2 1
硬盘 intel p4800x 750g 1 zfs log 写缓存日志系统
三星 PM983 3.84T 1 zfs l2acr 读缓存日志

阵列卡 不知道买点啥
电源 双路冗余 750w 电源 2
阵列柜 24 盘位 raid 阵列柜 1
机箱 4u 带热插拔机柜盘 1
现在有几个问题，
1.傲腾一代二代差别在那，能和这个 u 适配么，有没有适配文档
2.zfs 有些人说 slog 只有 16g 有用，剩余空间就是没用的这条是否有误
3.由于部分照片可能重复导入，是否还需要添加一个重复文件删除用的硬盘，大概需要多大？
4.由于之前没接触过 raid，hba 卡，光口 hba 是否能装 sas-80 线等
5.sas 似乎可以接很多硬盘，只要通过扩展卡就能 1 带 128 来着，但如果用线只能一分四，这是对的么
6.pcie2.0 的阵列卡，sas3.0 会出现带宽不够问题么
7.这里阵列柜是外置的，接口是金属的，肯定不是直接从卡上接出来的，应该买什么东西接
8.目前超微 pcie 好像只有 3.0，有必要找 4.0 的 ssd 么

[zdy349]

查了下 CX456a 是以太 IB 双协议的

[locoz]

比较好奇为什么选择用 truenas 而不是直接上 ceph ？管理也方便，性能也高，扩展性也强，而且还压根不用考虑 raid 挂盘要恢复数据的问题…

现在 k8s 上跑个 rook-ceph 堪称无脑启动，基本不用配啥东西就能跑起来生产环境用了。而且如果另外那 100 台也是 k8s 的节点的话，使用起存储来更是简单粗暴，直接挂个 pvc 就能用了，性能实测还能在没有任何优化的情况下比跑 smb 协议稳一些、小文件读写快一些。

[locoz]

而且你这直接在网卡上搞了 100G*2，想要榨干净的话各种方面都得考虑到，成本还高（机房用总不能跟玩 homelab 一样买二手吧…），很可能还不如多台机跑分布式存储共同提供服务。所以我真没明白为啥你会这么配。

[Pythondr]

Ceph 应该合理

[cncmmdwl]

@SaltyLeo freenas 可以在 u 盘上工作

[cncmmdwl]

@wizzer 3w 的报价，我问了，没有这么大并发的货色

[cncmmdwl]

@sunnyadamm 以太 ib 双协议

[cncmmdwl]

@Tianao 有的，交换机有两个 100g 和 24 个 40g

[cncmmdwl]

@129tyc ceph 是多机的，我们走报销，不能买多台机器

[cncmmdwl]

@Tianao cx456a 100g 用的是 pcie-3.0*16 够 100g

[cncmmdwl]

@zdy349 1.对，我指的就是长成内存哪样子的傲腾，6.硬盘卡有瓶颈话就加点钱再提升一档了

[cncmmdwl]

@ryd994
2.全是随机写，单个文件最大不超 5m，主要是 smart3d 跑渲染，全是小文件
3.对，主要是怕 zfs 吃内存这个放不下所以配的
7.淘宝那种光纤卡就行了？ DELL 0RXNT1 Emulex LPE31002-M6-D 16Gb 双端口光纤通道 HBA 卡 淘宝搜索的货张这样，难道把光模块拔了换 sas 线就行了？
大佬对这个配置还有何高见？

[cncmmdwl]

@locoz 可以，我们采购可以二手，本身也不是什么正规机房，只要能开票的货都能采购，多机只是因为采购只能买一台，不然平不了帐

[liuhan907]

@cncmmdwl
1. CPU 大体上应该是够用。
2. 不要买傲腾内存，和你的 CPU 配不上，用途不大。把内存插槽插满比你买傲腾便宜。我按你六块盘一组 raidz2，计算 42 盘七组 raid，总可用容量大约 110T 。考虑你有去重的需求把内存加到 300G 较合适。
3. 网卡不要买 cx，牙膏厂的网卡更合适这种需求，简单省事。比如 x710 之类。
4. zfs 的 slog 考虑你这是生产环境，不要用单盘。买两块 p4800x 组 raid1 用。但是 750g 太浪费了，slog 是意向日志数据，在不超过你的阵列写入速度时，最大容量需求就是你的网卡传输速度乘以刷新间隔而已。买最小容量的傲腾 SSD 足矣。
5. 用 zfs 不需要硬阵列卡，只需要扩展卡。
6. 直接买 sas 口的扩展卡接扩展柜就行，具体的得按你的柜子型号来。
7. pcie2 的阵列太老了，还是算了。
8. pcie 对于你的 HDD 盘来说没有啥意义。你的主板本身 pcie 数量就够用。
9. 最后，freenas 现在来看可以考虑 scale 版本而不是 core，毕竟 Linux 会的人还是更多一点。

[ryd994]

@cncmmdwl 你为啥要用光纤 sas hba ？直接用 minisas 的卡呢？
不说带宽，就说口数的话两三个 expander 已经够了。那 HBA 也只需要 8port/2 槽（一条 minisas 线走 4 个 port ）。
如果按 6Gbps 算的话，600MB，大约可以给四五个盘。8port 也是勉强够用的。
还有 pcie 带宽的问题，所以用多个 hba 是必要的。

[initd]

做好规划很重要, 毕竟退换货有时间成本, 而折腾硬件是精力成本.
软件工程的成本总体来说是比较愉悦的, 复杂难用的不去用就可以了.
而硬件是 have to do.

highrw.netlify.app

[ryd994]

避免误导你，我先讲清楚，我是外行，不是大佬。所以我说的内容很可能都是业余瞎玩的

[cncmmdwl]

@liuhan907
感谢解答，还有几个疑问想问下
1.大体够用是指的是仅跑 nas 还是指再带一个虚拟机？
2.主要是看上傲腾内存拆机那种一根 128g 才 2k，ddr4 32 两根的价格，所以看起来更大一些，即使这样也没必要买么？
3.cx 系列网卡指的是容易出现不兼容问题么，主要是考虑价格问题 2k 即可拿下，目标需求是 100G，x710 是 10G
4.我更怕的是小文件刷入不够快，这个生产环境下只有生产前的原始数据丢失是不可原谅的，生产的数据丢了就丢了，毕竟重新生产费不了几分钟所以才只买一块大一点的 p4800x 。照你这样说话那就换两块小一点的 p4800x
6.买柜子有送卡，那玩意就怕插上不识别，买的时候直接照装机的装好测试拉到，多一事不如少一事。
9.我知道会 linux 的人多，但是看起来 truenas scale 还不够稳定，参考司波图 up 主最近一期 scale，还要调这调那，这个玩意做完通过验收后，设备所有权就不是我的了，所以 core 让其他人头疼可能还是更好的结果

[cncmmdwl]

@ryd994 主要是搜索 hba 卡，sas 卡，大多数卡的 sas 都是内置的，主要是怕 sas 塑料接口线缆如果被人暴力拉扯话，扯坏卡是小事，拉坏服务器事情大发了，6g 主要是淘宝上的卡大多数都是 sas2.0 而少见 sas3.0 的卡，这种卡或许需要去 jd ？
hba 卡只接硬盘，但是柜子大多数只有一个通道，这可能会导致卡的速度被柜子限制住

[liuhan907]

@cncmmdwl
1. 你选的这个 U 很新，总计 16 物理核心，主频也不算低。按理说再带一个虚拟机一般没问题，但是考虑你要开去重，本身对 CPU 压力就稍微会大点，还得要看你的虚拟机主要工作是什么。另外额外多提一句，你如果要用 core 版本，那个 freebsd 的系统的虚拟机相对 kvm 来说不是那么好使的。
2. 考虑你的 CPU 支持傲腾，用内存模式的话确实便宜。但是我记得傲腾你得插满内存槽，而且要按比例混合内存和傲腾，你是否真的需要这么多内存。
3. 那到不至于有兼容问题，就是 cx 的卡一般不能免驱，调驱动麻烦点。牙膏的 100G 卡确实贵，而且这张卡支持 IB 模式和以太网模式，也很合适。所以只要能调试通就没问题。
4. 小文件的话，其实 zfs 的极大量小文件一直都不是特别快，对这个性能好的是 ceph 加大量的 nvme 缓存的模式。但是我觉得你那堆 5MB 的文件不能算小文件 23333333 。另外一点，你这个小文件刷入是原始数据还是可以丢的那种？如果是可以丢的那种你干脆就开缓存模式不要用同步写，速度就比较好看了。
5. 具体机柜我就不太了解了，要不问问经销商吧。扩展卡其实不用太担心，现在纯扩展卡不是很贵，sas 卡很多都是一个卡就三十多端口，带盘问题不大。你这个板子两个 x16 三个 x8 不是光好看的哈哈哈
6. freebsd 的 core 版本稳定，但是虚拟机和容器功能都不太好用，如果能接受的话 core 就是首选了。