基于 PVE, TrueNAS 和 OpenWRT 的自用 ALL in ONE NAS 记录

2021-05-28 11:21:06 +08:00
 CapNemo

之前使用 DELL R510 搭建的 NAS 快满了,毕业后也很难带着 2U 服务器到处跑。因此萌生了组建一台新的 NAS 的想法。

需求

梳理了一下我对这台理想中的 NAS 的需求,列举如下。

  1. 存储(目前有 4TB 数据,期望容量 20TB,预留 40TB 的可能性)内容以动画为主,也包含重要个人文件的备份。
  2. 下载( Torrent )
  3. 软路由( zerotier 虚拟内网(用于与 R510 组成异地灾备))
  4. 虚拟化(支撑有时候的开发需求,有可能结合 frp 搭建个人网站)
  5. 体积限制,一般 M-ATX 机箱大小
  6. 噪音限制,和家用台式电脑同级

计划使用的技术

技术上,由于需求和 R510 差不多,技术选型也相当相似。

硬件需求

以上内容对硬件产生了如下约束。

  1. 内存
    1. 16GB 起步,最好 32GB
    2. ECC
  2. 处理器
    1. 4 核以上
    2. VT-x & VT-d
  3. 主板
    1. 具有两个以上 PCI-e 插槽
    2. M-ATX 版型
    3. ipmi
    4. 多网口
  4. HBA 卡
    1. 支撑 8SATA
    2. 直通给 TrueNAS
  5. 多口千兆网卡
    1. 直通 OpenWRT
  6. 硬盘

当然,我还只是个穷学生,预算方面有 1w 左右的限制。

最终选型

硬件 型号 品牌 数量 单价 总价
机箱 N8C 小克思工控 1 ¥780 ¥835
主板 X10SLL-F SuperMicro 1 ¥650 ¥650
CPU E3-1231 V3 Intel 1 ¥340 ¥340
RAM 8G DDR3 1600 ECC Micron 4 ¥170 ¥685
HBA SAS9300-8i LSI 1 ¥1050 ¥1050
网卡 WYI350T4 Winyao 1 ¥289 ¥289
SSD 870 EVO ( MZ-77E1T0B ) Samsung 1 ¥899 ¥899
SSD WDS100T2B0A WD 1 ¥929 ¥929
PSU SSP-250SUB SeaSonic 1 ¥355 ¥355
Cooler HP400mini 乔思伯 1 ¥99 ¥99
FAN SC8010KH12H-P Scythe 4 - ¥132
线材 SFF-8643 => 4*SATA - 2 ¥40 ¥88
线材 SATA - 2 - ¥40
配件 2.5 寸硬盘架 - 1 ¥28 ¥36
总计 - - - - ¥6427

其中,两块 SSD 组成 RAIDZ1 用于 PVE 系统盘。

相信读到这里肯定有人注意到了,没有硬盘。原因相当简单,计划使用的 WD40EZRZ 最近价格风云变换,一度涨至¥700 元。故暂缓。先找了 8 块垃圾硬盘来搭建原型。

搭建过程中的注意事项

  1. PVE 只能有一个控制网口,虽然可以改,还是建议将 2 号网口(对应软路由的 LAN )作为控制口
  2. pvetools 这个脚本的开启 pice 直通功能对应 EFI 启动的 pve 不起作用,需要按照 pve 官方教程将 intel_iommmu=on写入 kernel-command

总结

目前来看,这一套虽然略微超出预算,但是基本上能够满足我的需求。我还是相当满意的。 美中不足的有以下几点。

  1. 机箱
    1. 必须使用 FLEX 电源,选择受限
    2. 空间利用率有点低,比万由机箱或 NBOX 高一截(但是 pcie 不需要转接线)
  2. SAS9300-8i 对 BIOS 支持并非十分友好,最好搭配 EFI 使用
  3. 主板
    1. 内存容量出道即颠覆,没有升级空间了
    2. CPU 供电只有 85W,不能使用大多数 E3 V4
    3. 第一条 PCIE 槽在 2 号位,上面的 1 号位是空着的导致插双槽显卡会被迫放弃第二条 pcie 槽。

以上是我组建 All in ONE NAS 的大致记录,谢谢。

3073 次点击
所在节点    NAS
4 条回复
sbilly
2021-05-31 12:52:06 +08:00
功耗大概啥水平?
CapNemo
2021-05-31 16:31:15 +08:00
@sbilly 功耗计不在身边,估计待机 20w,峰值 150w 吧
TodayLsp
45 天前
SAS9300-8i 对 BIOS 支持并非十分友好,最好搭配 EFI 使用

你好问一下,这句话是指要改成 EFI ,PVE 才会认 SAS9300 吗
CapNemo
41 天前
@TodayLsp 我记得当时碰到的问题是 bios 模式下无法用于直通。具体的表现好像是虚拟机一开机就宿主机宕机。至于宿主机是否认出了 9300 ,我当时并不关心这个,也就没看。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/779774

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX