自建 NAS 的存储方案的技术选择，求建议

[sidkang]

前帖提要：链接在此

在上回发帖之后，中途也陆陆续续对现有 NAS 做了些许改动，作为不折腾不舒服星人，出于各种原因，打算进行更动

类型	现有配置	预期方向	备注
CPU	i5-8500	E5-2690V4
主板	E3C246D2I(ITX)	EPC612D8A(ATX)
内存	金士顿 16G*2	三星 REG DDR4 16G*4
机箱	MineNas 四盘位	Define R6
系统盘	0.5T*2(Mirror)
容器盘	0.5T*2(Mirror)
存储盘	8T*4(1+0)
系统	Proxmox	Ubuntu LTS(待定)

先总结一下目前配置的优点：

1. 体积小、做工在线、4 盘位热插拔；
2. 机箱容量大：虽然是 4 盘位机箱，但实际上我可以塞入 3.5 寸4 、2.5 寸4，目前板子仍空着一张 M.2 2242 插槽，所以还可以加入一个 2.5 寸 U.2 盘；
3. 主板接口足够：
4. 性能还不错，因为用的 8500，我日常开着两个 docker lxc （一个默认科学上网、一个直连，上面各运行数个 docker 容器）、2 个 WIN10 VM 、一个 Debian Testing 开发机、一个 Hackintosh VM （ surge 盘路由），剩余若干 lxc 容器（ samba 、webdav 、plex 、syncthing 、jellyfin(专攻受限影片)等）；
5. IPMI 维护便利。

期间发现的一些不足及缺陷（不分排名先后）：

1. 噪音。由于房屋面积实在有限，机箱目前被安置在客厅，这就导致在客厅观影的时候经常受到硬盘炒豆子声音的影响；
2. 四盘位机箱维护不便。使用期间发生了三个 pool 分别发生了一次降级事故，2.5 寸硬盘倒还好，腾挪方便，由于我的存储 pool 用满了四张盘，3.5 寸的替换确实有些困难；
3. PCI-E 插槽的不足之一。之前在采纳 ITX 作为主板时，考虑万兆的需求还比较遥远，AIO 一体机对于万兆的需求相对也不太高就暂时放弃，当时也是看到了 QNAP 及其它厂商所出的 2.5G/5G USB 网卡，感觉在全面万兆内网前可以凑活，遂暂时放弃，但实际使用中发现 USB 网卡在使用中存在着过热降速、延迟不稳定的情况，SAD ；
4. PCI-E 插槽的不足 2 。其实组装前就想要在机子上有一个直通显卡的 WIN10 VM 和 Hackintosh VM，但是后来采用了 NUC8+雷电显卡坞的方案解决，但发现这个方案有些 bug，打算淘汰掉这个组合，所以这也就成为了一个缺点
5. 容量不足。这一点严重失误，估计不足。受限于 ZFS 以及盘位闲置，存储空间的升级实在太贵，大家都懂。

于是基于上述理由，开始寻找替代方案，也请各位 V 朋指教：

1. 机箱。目标 8-10 盘位机箱。考虑到 PCI-E 扩展性及散热性能，锁定了几款 ATX 机箱，Define R5 、Define R6 、Antec P101-S 这几款机箱，目前偏好 R6，因为打算放入双显卡及万兆卡，目前手上两张都是双槽卡，R6 这方面最合适，静音效果看起来也不弱；
2. 主板。目标是三条 x8 、一条 x4 槽位（双显卡+冗余 HBA 卡+万兆卡），可以使用相对便宜的 REG DDR3/4 、U 性能相对不那么落伍（因为需要玩游戏及桌面 VM，所以希望主频不低、核心数也够）、同时虚拟化相对稳一些（ iommu 、PCI 直通方面不存在障碍，这一点经过了较长时间的网上资讯确认，暂时放弃 AMD 系列，对此有不同意见的朋友也欢迎提出来），多方面调查后，目前确认了 AsRock Rack 的 EPC612D8A 主板；
3. CPU 。这个就比较简单了，根据主板直接选择 E5-26XXV4 系列 U，考虑到核心数足够，主频相对不弱，性价比足够的原则，暂时选定了 E5-2680/90V4，暂时还未采购，闲置的小伙伴可以出给我；

另一大块就是 Host 系统选择及 Raid 组合有比较大的不确定：

1. 目前的方案是系统盘 Mirror 和容器盘 Mirror 分离，考虑到都是 SSD RAID1，实际使用中是否需要严格分离呢？如果不的话，这两个应用是不是可以考虑放在一个 pool 里？
2. 由于有多媒体存储、PT 的需求，当然 PT 不算重度，但是多媒体对于性能的偏好要求并不高，目前打算使用 MergerFS+SnapRaid 的类 Unraid 方式来组合存储多媒体存档文件、而 PT 和重要文档文件采用大容量 HDD 组 mirror 或 Raidz1 使用，这样做是否合理？
3. 是否能将 Raidz1 放在 MergerFS 的 pool 中？也就是多个 Basic 盘+Raidz1/Mirror 作为 MergerFS 的 pool，Snapraid 对这个整体进行运作，该参考方案来自于linuxServer.io，各位对这种 RAID 堆叠的方案有什么看法呢？
4. 根据以上的选择，如果采用 MergerFS 和 ZFS 的混合方案，个人倾向于选择 Ubuntu，如果是纯 ZFS 方案，个人可能就会选择 Proxmox，另外的 Truenas Scale 版本正在官网，由于目前仍然是 alpha 状态，有些打鼓，各位有在实际使用中的么？ 欢迎提出建议和宝贵意见。

[yansheng1003]

脱离需求谈设计，外人都没法给你建议

[sidkang]

@yansheng1003 前面多数是分享，需要建议的主要是最末的存储方案部分，我理解对于需求的描述已经体现在了问题里。

[ayasakinagi]

歪个楼, 我是围绕 ceph 弄了一套集群, 优势是稳定 /数据安全保障 /扩容方便, 缺点是需要用服务器级别的硬件 /使用需要有一定的基础.

[wjx0912]

用 Proxmox 的话 cpu 可以选好点，10400 之类的价钱加不了多少

[Eleutherios]

考虑下 FreeNAS + ECC RAM + ZFS ？ AMD CPU/APU 也可以的

单纯 NAS 的话来一颗 G4560 什么的性能就够，上 E5 纯粹属于折腾。

[sidkang]

@ayasakinagi 诶，好像还木有够到那个层次，我觉得这波升级快把想到的需求都填完了

[sidkang]

@wjx0912 主要还是想上 REG ECC，这一套如果要上更新的服务器平台板子和 U 估计又得各贵个 2K 左右，再等两年收垃圾估计好些

[sidkang]

@Eleutherios 支持 ECC 的 APU PRO 不好买，而且还是必须买纯 ECC，并且 PCIE 的插槽也比较紧张，B550 的 ATX 板子像样一点也不便宜，再考虑到 PCI 直通的问题，综合来看还是 I 家平台稳一些，上 E5 是个被动选择，我也想买个 5600X 用，这不是看着 B550 做虚拟化问题多多也不便宜么

[sidkang]

@Eleutherios 另外我的需求其实也不算纯 NAS，也包含了做游戏串流和远程开发机的需求。

[just4id]

干嘛不上 hpe gen10+

[sidkang]

@just4id gen10plus 的扩展性还不如我现在的配置，PCI-E 差不多，2.5 盘位还少了 N 个，新配置的话更是无法相比。

[just4id]

@sidkang ssd 2T + 18T*3，一步到位后就不扩展了，真要扩展，再上一台 gen10+

[SenLief]

你这不是 NAS 吧，这不是服务器带了 NAS 功能吧。那还不如用虚拟化做切割出来了。

[my3157]

mineNAS 机箱怎么样？看着貌似不错的样子

[Eleutherios]

@sidkang 这样的话，游戏串流最好直通一张 A 卡

hdd 如果做阵列不要用 raid5 ！

[Eleutherios]

另外……home server 维护成本其实很高的

我折腾到最后还是买了群晖。游戏也改视频通关了

[sidkang]

@SenLief 确实，总结来看目前的情况是虚拟化能力也不够（需要 PCI-E 槽位）、存储能力也不够（需要更多 3.5 盘位）。
1 ）即便是虚拟化切出来，虚拟化我需要的主机也最低最低是个 MATX 机箱（插两张卡）；
2 ）其实存储能力也得折腾，要换一个 E-2200 或者 i3 、以及 ECC 内存（发生了一些大容量文件发生错误无法打开的情况，初步判断是内存问题），再换一个至少至少 6 盘位以上的机箱，大概一个 MATX 机箱也跑不了；
这样拆开来，可能比我这样合起来一个 ATX 机箱还要占空间～～

[sidkang]

@my3157 还不错，就是隔音稍差（基本木有），其它没什么太多缺点，更多是体积所限了。

[sidkang]

@Eleutherios 嗯，同意，应该大概率不会使用 Raid5 或者 Raidz1，目前手上是一张 5600XT （个人对游戏画面要求不高，属于 1080P 能玩就行），另外一张 1050TI 可以用作硬解卡（略微 overkill，不过有点懒得换了）。维护成本目前一年半的经验看下来还可以，其实不是什么大事儿，服务器感觉比主机简单，基本都是硬件问题，软件问题由于都走了虚拟化，没啥事儿是备份恢复重装解决不了的

[sidkang]

@Eleutherios 不过 A 卡是有什么神秘加成么？