用多 M.2 接口的主板,再配合 PCIe 转接卡,搞一台 12 x M.2 的 NAS 怎么样

2021-12-24 17:35:07 +08:00
 gstqc
现在不少主板自带了 4 个或者 6 个 M.2 ,一个 PCIe 16x 可以转接出 4 个 M.2 ,PCIe 4x 也可以转接一个或两个 M.2
这样一来,可以轻松做到 12 个 M.2 甚至 20 个

机箱可以用 ATX 大小,半高 PCI 版厚度的,也不会很大

我两台 4 盘位 NAS ,这么多年,几乎每年都要坏机械硬盘,家里十几块机械硬盘,有五六块有坏道或者彻底挂掉的
现在都得用 RAID1 或者 ZFS 的 mirror 才放心
用 M.2 SSD 就不用担心硬盘挂掉的问题
家用写入量不高,很难写坏 SSD
6961 次点击
所在节点    NAS
53 条回复
NoirStrike
2021-12-24 22:42:05 +08:00
@gstqc #18 一票的 SMR...
hxsf
2021-12-24 23:06:17 +08:00
主板上的 m2 也是走 pci-e lane 的 也好,pcie 与 CPU 有两种方式连接, 直通 CPU , 走主板 PCH ( intel 管这个叫 DMI 总线)
目前民用 CPU ,intel 11 代之前的好像都是 CPU x16 + DMI x4 的带宽,之后是 CPU x20 ,DMI x4 ,也就是说你主板上的槽再多,也就 x20 的直通 CPU ,其他的都是和 USB 、网卡、声卡、SATA 等等共享主板上的 DMI x4 。(新一代的 DMI 好像是换 3.0 x8 了还是 4.0x4 了,不过不重要)。
AMD 这方面大方的多。Ryzen 上最多是 24 个直通的,还是 pcie 4.0 ,PCH 忘记是 x4 还是 x8 了。

总之,最多 24 直通,一个 m2 占 x4 ,就是可以插 6 块满速 M.2 ,其他的 M.2 盘都是共享 PCH 的带宽。 对了,pci-e 3.0 x1 的带宽是 984.6 MB/s 。

另外,你都上全闪 SSD 的话,网络得换万兆吧 PCI-E3.0 x4/x8 也得给网卡留一个直通 CPU 的。那直通的 M.2 就更少了。

综上: 要么买服务器级别的主板和 CPU ,要么就退而求其次、减少 m2 数量或者上扩展卡+SATA 的 SSD 。
hxsf
2021-12-24 23:07:40 +08:00
@hxsf #22 第一句话不通顺,更正为:
主板上的 m2 与 CPU 有两种方式连接, 直通 CPU , 走主板 PCH ( intel 管这个叫 DMI 总线)
chevalier
2021-12-25 01:31:12 +08:00
建议楼主先了解一下主板的 PCIE 拆分

自带的 4-6 个 M2 接口,只有 1-2 个是直连 CPU 的,其他都是通过南桥转; PCIE 槽同理。
你要是真挂上这么多 M2 ,大部分都是挤南桥带宽,速度上不去,浪费,还不如直接用 SATA 大容量 SSD
fatelight
2021-12-25 05:09:40 +08:00
PCIE x16 要不自带拆分,要不得买支持拆分的卡
U2 还是服务器板方便一点

现在价格尴尬,nvme 和 sata ssd 价差容易让人买 nvme

hdd 炒豆子,我也想吧全部 sas 盘淘汰掉了
elfive
2021-12-25 07:19:35 +08:00
M.2 不是通讯协议,是接口规范。
很多板子确实有好几个 M.2 接口,但是一般都是在另一个使用 PCIE 通讯协议的同时只能走 SATA 通讯,速度上实际与普通 SATA 接口没啥区别。
siknet
2021-12-25 08:34:37 +08:00
AMD b450 以上都支持拆分的吧,除了极端丐版。我这里一堆 4 盘 m2 拆分卡,AMD b450/550 x470/x570/x399 测试完美,要不要来几块?
jedihy
2021-12-25 08:41:02 +08:00
@MonoLogueChi @gstqc PCIE 拆分是老掉牙的技术了。我还没有见过哪个家用主板不支持的。至少我用来挖矿的主板,Z490 和 B450 都支持。
mingl0280
2021-12-25 08:49:26 +08:00
@jedihy 别想了,直通的通道主板不能拆。
PCIe 普通主板都是直接走南桥共享那个 x4 带宽的,直连的槽你要么加贵得要命的 PLX 芯片,要么就只有 CPU 支持的那几个配置选项,设备多了都不支持。
hutoer
2021-12-25 09:00:13 +08:00
给你提个醒:SSD 写入量不高也是会坏的,我有几块坏的 SSD 是放在服务器上的,写入量不超过 300G ,才半年不到的时间。
popil1987
2021-12-25 09:05:26 +08:00
我家一台超微 x79 ,一台华南 x59 。目前全部固态硬盘,因为家里会突然停电,机械直接受不了坏了几块了。
目前有 PCIE 转 M2 的也有 sata 的,可以说用了固态硬盘再也不怕停电了。华南的转的 M2 不能启动,只做存储。超微的可以启动。
超微的用的 debian+zfs ,华南的用的 archlinux 不使用 zfs ,因为 zfs 是 aur ,不跟随系统滚动升级的。
所以你的方案绝对可行,而且经我淘宝搜索,多 PCIE 的要么矿机要么超微二手,普通 PC 主板很难找主要。
既然你有 NAS ,不如先换成 SATA 的固态。自从有了这两台服务器,电费已经从 1 档升到 2 档了,每度电多了 7 分钱
markgor
2021-12-25 09:11:11 +08:00
等你经历了 nvme 丢盘丢数据的绝望后你就不会有这样的想法了。
除非你全上高端 nvme
jtshs256
2021-12-25 09:51:06 +08:00
https://www.qnap.com/zh-tw/product/tbs-464
威联通还真出了款全 m.2 的妖机…
打算等在用的石英峡谷退役了整一个全 m.2 阵列玩玩
ZeroClover
2021-12-25 09:58:53 +08:00
普通消费级芯片的主板基本不支持你装这么多 NVMe SSD ,除非你的转接卡是自带 PLX 的,或者是自带 RAID (然而没几个主板支持 NVMe RAID )
Thatscode99
2021-12-25 10:12:52 +08:00
SSD 坏 机率的更高
sidkang
2021-12-25 10:42:32 +08:00
1. 贵; 2.性能用不到
gstqc
2021-12-25 11:31:26 +08:00
@hutoer
@markgor
@Thatscode99
SSD 还是 64G 容量的时候我就开始用,到现在没碰到坏的
geniussoft
2021-12-25 11:37:59 +08:00
其实类似预算搞 HDD 容量会很大,速度也够了,Raid6 下,大文件读写都能在 1GB/s 以上。
ryd994
2021-12-25 15:34:43 +08:00
没必要用 nvme 的 raid ,性能瓶颈会在 raid 卡、南桥而不在硬盘本身。能达到 SATA SSD 性能上限的 RAID 技术只有 VROC ,需要 intel i9 或服务器平台。而且性能瓶颈会是网卡。不上个 100G 的 RDMA 你都不好意思。

如果你的需求是静音和性能,那 SATA SSD 一样可以满足。常见的 SATA SSD 也可以达到几百 M ,组成 RAID 以后至少跑满万兆是不成问题的。

如果你的需求仅仅是跑满带宽,而没有延迟或随机读写性能的要求,那 HDD 都可以做到。
yolyzhu
2021-12-25 16:35:55 +08:00
SATA 的 SSD 不够楼主的 NAS 用么?为什么一定要用 M2……

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/824282

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX