自建 NAS 的存储方案的技术选择,求建议

2021-04-10 10:32:21 +08:00
 sidkang

前帖提要:链接在此

在上回发帖之后,中途也陆陆续续对现有 NAS 做了些许改动,作为不折腾不舒服星人,出于各种原因,打算进行更动

类型 现有配置 预期方向 备注
CPU i5-8500 E5-2690V4
主板 E3C246D2I(ITX) EPC612D8A(ATX)
内存 金士顿 16G*2 三星 REG DDR4 16G*4
机箱 MineNas 四盘位 Define R6
系统盘 0.5T*2(Mirror)
容器盘 0.5T*2(Mirror)
存储盘 8T*4(1+0)
系统 Proxmox Ubuntu LTS(待定)

先总结一下目前配置的优点:

  1. 体积小、做工在线、4 盘位热插拔;
  2. 机箱容量大:虽然是 4 盘位机箱,但实际上我可以塞入 3.5 寸4 、2.5 寸4,目前板子仍空着一张 M.2 2242 插槽,所以还可以加入一个 2.5 寸 U.2 盘;
  3. 主板接口足够:
  4. 性能还不错,因为用的 8500,我日常开着两个 docker lxc (一个默认科学上网、一个直连,上面各运行数个 docker 容器)、2 个 WIN10 VM 、一个 Debian Testing 开发机、一个 Hackintosh VM ( surge 盘路由),剩余若干 lxc 容器( samba 、webdav 、plex 、syncthing 、jellyfin(专攻受限影片)等);
  5. IPMI 维护便利。

期间发现的一些不足及缺陷(不分排名先后):

  1. 噪音。由于房屋面积实在有限,机箱目前被安置在客厅,这就导致在客厅观影的时候经常受到硬盘炒豆子声音的影响;
  2. 四盘位机箱维护不便。使用期间发生了三个 pool 分别发生了一次降级事故,2.5 寸硬盘倒还好,腾挪方便,由于我的存储 pool 用满了四张盘,3.5 寸的替换确实有些困难;
  3. PCI-E 插槽的不足之一。之前在采纳 ITX 作为主板时,考虑万兆的需求还比较遥远,AIO 一体机对于万兆的需求相对也不太高就暂时放弃,当时也是看到了 QNAP 及其它厂商所出的 2.5G/5G USB 网卡,感觉在全面万兆内网前可以凑活,遂暂时放弃,但实际使用中发现 USB 网卡在使用中存在着过热降速、延迟不稳定的情况,SAD ;
  4. PCI-E 插槽的不足 2 。其实组装前就想要在机子上有一个直通显卡的 WIN10 VM 和 Hackintosh VM,但是后来采用了 NUC8+雷电显卡坞的方案解决,但发现这个方案有些 bug,打算淘汰掉这个组合,所以这也就成为了一个缺点
  5. 容量不足。这一点严重失误,估计不足。受限于 ZFS 以及盘位闲置,存储空间的升级实在太贵,大家都懂。

于是基于上述理由,开始寻找替代方案,也请各位 V 朋指教:

  1. 机箱。目标 8-10 盘位机箱。考虑到 PCI-E 扩展性及散热性能,锁定了几款 ATX 机箱,Define R5 、Define R6 、Antec P101-S 这几款机箱,目前偏好 R6,因为打算放入双显卡及万兆卡,目前手上两张都是双槽卡,R6 这方面最合适,静音效果看起来也不弱;
  2. 主板。目标是三条 x8 、一条 x4 槽位(双显卡+冗余 HBA 卡+万兆卡),可以使用相对便宜的 REG DDR3/4 、U 性能相对不那么落伍(因为需要玩游戏及桌面 VM,所以希望主频不低、核心数也够)、同时虚拟化相对稳一些( iommu 、PCI 直通方面不存在障碍,这一点经过了较长时间的网上资讯确认,暂时放弃 AMD 系列,对此有不同意见的朋友也欢迎提出来),多方面调查后,目前确认了 AsRock Rack 的 EPC612D8A 主板;
  3. CPU 。这个就比较简单了,根据主板直接选择 E5-26XXV4 系列 U,考虑到核心数足够,主频相对不弱,性价比足够的原则,暂时选定了 E5-2680/90V4,暂时还未采购,闲置的小伙伴可以出给我;

另一大块就是 Host 系统选择及 Raid 组合有比较大的不确定:

  1. 目前的方案是系统盘 Mirror 和容器盘 Mirror 分离,考虑到都是 SSD RAID1,实际使用中是否需要严格分离呢?如果不的话,这两个应用是不是可以考虑放在一个 pool 里?
  2. 由于有多媒体存储、PT 的需求,当然 PT 不算重度,但是多媒体对于性能的偏好要求并不高,目前打算使用 MergerFS+SnapRaid 的类 Unraid 方式来组合存储多媒体存档文件、而 PT 和重要文档文件采用大容量 HDD 组 mirror 或 Raidz1 使用,这样做是否合理?
  3. 是否能将 Raidz1 放在 MergerFS 的 pool 中?也就是多个 Basic 盘+Raidz1/Mirror 作为 MergerFS 的 pool,Snapraid 对这个整体进行运作,该参考方案来自于linuxServer.io,各位对这种 RAID 堆叠的方案有什么看法呢?
  4. 根据以上的选择,如果采用 MergerFS 和 ZFS 的混合方案,个人倾向于选择 Ubuntu,如果是纯 ZFS 方案,个人可能就会选择 Proxmox,另外的 Truenas Scale 版本正在官网,由于目前仍然是 alpha 状态,有些打鼓,各位有在实际使用中的么? 欢迎提出建议和宝贵意见。
3065 次点击
所在节点    NAS
56 条回复
kukat
2021-04-10 19:49:25 +08:00
正要安利 PMS 发现你已经提到了,mergefs+snapraid 听上去不错,期待楼主体验了回来说一声
sidkang
2021-04-10 20:07:29 +08:00
@kukat 嗯,确实,plex 挺好使的,mergerfs+snapraid 也是很成熟的方案了,具体优点可以参考[snapraid]( https://www.snapraid.it/compare)
kukat
2021-04-10 20:16:57 +08:00
@sidkang #22 Plex 确实好,不过我说的 PMS 是你提到的 Perfect Media Server 哈哈哈
我现在还在用 unraid,感觉你不一定非得上服务器 U,serverbuilds.net 上的 amd build 也可以考虑啊
loading
2021-04-10 20:21:01 +08:00
你这比我二奶机都要好,标题居然是存储服务器。
sidkang
2021-04-10 20:36:02 +08:00
@kukat 哈哈,原来是这个简写,没反应过来,unraid 我用过一阵子,还买了 key,但总体来讲不是太喜欢,一个是 GUI,比如搞 docker 之类的,感觉比命令行还要麻烦;另一个是 unraid 和 truenas 一样,都支持一种阵列方案,而我主要想做的是 Homelab 型的 AIO 方案,同时需要两种方案混合使用,综合起来就放弃了~
AMD 的方面其实还真的挺想用的,但是消费级平台的 PCI-E 接口稍有不够(其实也贵,而且虚拟化的问题解决起来应该是远不如 I 家轻松),企业级平台又有点贵(性能相比 E5 更是过剩严重),就干脆淡定搞 I 家企业级平台了
sidkang
2021-04-10 20:37:18 +08:00
@loading 这么起标题感觉更容易骗人进来,而且把名称叫土一点感觉不容易被 DISS= =
BeautifulSoap
2021-04-10 20:37:34 +08:00
路过问一下,现在无风扇 nas 有什么性能较好的配置推荐吗? 对于租的房不是大房子的人来说,即便声称静音风扇,到了晚上睡觉时声音也是极其明显吵死人
sidkang
2021-04-10 20:39:29 +08:00
@BeautifulSoap 我理解的话,无风扇情形下,首要待解决的问题在于硬盘而非性能了。
chevalier
2021-04-10 23:12:13 +08:00
温馨提示,Define R6 有人反映硬盘架不稳
my3157
2021-04-10 23:35:23 +08:00
Fractal Design 早期有一款机箱 Node 804 非常不错,可惜停产了
songdezu
2021-04-10 23:58:50 +08:00
Nas 就用低档 cpu 和 truenas 只负责存储就可以 稳定不折腾,除非你数据不值钱。想折腾服务器就再陪一台服务器
ZRS
2021-04-11 03:00:32 +08:00
Define R6 据说盘架不太稳,而且配齐盘架还要额外的一笔费用。建议 P101-S
sinxccc
2021-04-11 08:21:58 +08:00
@BeautifulSoap NAS 的风扇本来也不是主要噪音源吧。主要噪音还是硬盘炒豆子。
mingl0280
2021-04-11 08:28:47 +08:00
这么说吧,我现在的 NAS 配置是这样的:
CPU: EPYC 7501
主板:H11SSL-i
内存:我忘了是哪家的了 16G*4,不够。
系统盘:三星 970EVO 500G
RAID:戴尔 H730P 1G
硬盘:10T*6 ( RAID 6 )+ 10T*4 (每个盘独立备份)+10T 热备
没有显卡,因为没有解码需求。系统装的 Windows Server 2019.
这个配置的主要问题是一代的 IO 性能真的不行……其他性能倒是挺好的,我在上面跑了一个 Linux 源镜像也不错。没有远程开发和流媒体需求。
mingl0280
2021-04-11 08:33:06 +08:00
不小心没写完就发出去了。
你的需求现在看来 all-in-one 其实是不能满足的,真的不建议整 all-in-one 了。存储服务器就专门做存储,最多额外加一些需要的虚拟机,不要考虑其他的流媒体啊这种的(你可以直接把流媒体的盘用 iscsi 之类的分出去用另外的机器做)。这样你管理硬盘起来就是专门的服务器(你要上 8-10 盘位建议直接服务器 2U 或者 4U 机箱了),流媒体单独放个机器免得你其他需求被服务器的 CPU 拖了后腿。
sidkang
2021-04-11 08:38:34 +08:00
@ZRS @chevalier R6 的硬盘架问题我也确认了挺久的,确实有看到一些对震动、共振的帖子,但目前看起来基本无碍
sidkang
2021-04-11 08:48:08 +08:00
@mingl0280 感谢回复,同意你的看法,但是现阶段除了配置本身的问题外,个人还有租房&占地的问题(自己家离公司太远,在外租房住),两台中塔感觉还是过于 overkill ( 4U 对于我来说真的是邪教,实在不想碰机架式,哈哈),我自己感觉目前对于游戏类的要求只是 1080P60FPS 这种级别,所以我想 E5V4 估计应该够用(高画质 XSX 搞定,不劳烦 PC ),解码需求更加简单一些,随便啥显卡应该都溢出太多。
退一步讲,如果后期需求如你所说确实对性能要求增加,将 AIO 退化成纯存储服务器应该也还是比较容易操作的。
sidkang
2021-04-11 08:50:19 +08:00
@songdezu 回复如上,其实我现在的配置也是当 AIO 在用的,区别主要在于没有做 PCI-E 直通这一步,其它活基本都干了。
Eleutherios
2021-04-11 09:42:51 +08:00
@sidkang N 卡大众版直通起来费劲。老黄加了绊子
wenwen226400
2021-04-11 10:45:40 +08:00
给你一个新的折腾方向,不过远程桌面对游戏支持不好(鼠标会抽风),消耗很大
https://www.chiphell.com/thread-2246161-1-1.html

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/769653

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX