NAS 存储的安全+便捷+成本的最优平衡思路探讨，及单盘位最高容量疑问

先给 V 站大佬们汇报一下所谓"最优平衡"的思路，纯粹从个人的"穷+我全都要"的立场出发。若不合理还望指正并轻拍。要点如下：

安全+便捷角度

1 ）不用 RAID5 ，大容量单盘失效后重建失败概率过高（Ref1），不展开。

进一步地，不用任何奇偶校验的 RAID （包含群晖的 SHR ），避免重建伤盘。（阵列的核心诉求是保证实时性，而不是数据安全性）

2 ）通用数据采用不同存储池下的 1+1 备份实现。工具拟用文件级备份的 Snapraid ，可以实时同步，也可以定期冷备。

（题外话：核心数据额外有 3 地 4 中心机制，即工作机、公司服务器、云、NAS （待增），保证安全性和实时性）。

引入成本角度后

3 ）无需一次性配满磁盘，而是根据数据增量分步按需配置，第一次采购 2 块磁盘（假设为 14T ）组 1+1 ，之后每隔若干年采购 1 块容量翻倍的磁盘，并基于 Mergerfs 实现存储池的平滑扩容。步骤略见下图：

4 ）更进一步地，计算、存储分离（解耦）：算力的提升&降本的速度明显快于存储，因此不想采用一体式 NAS 的方式，更倾向于小主机（ Homelab/算力）+磁盘柜的方式。

小结一下以上思路，即

1 ） Mergerfs+Snapraid+磁盘逐步翻倍扩容策略，优点：

低成本（对标 raid5 ）
数据 1+1 备份（对标 raid5 ）
文件级备份，无重建失败 or 伤盘概率（对标 raid/shr 等校验恢复机制）
可用 ext4 ，读写性能和稳定性更优（对标 shr 等 btrfs 文件系统）

2 ）算存分离，优点：低成本、高性能等。

疑问

要实现图示的存储逐步翻倍扩容，就要确保磁盘柜（或者一体化 NAS 机）的单盘位可识别容量要>50~60T 。但好像目前市面上的产品宣传口径都是跟着主流 HDD 的最大容量走的（一般是 16T-20T 左右）。

我的疑问是，撇开厂家的宣传策略不谈，从技术上看，

磁盘柜/一体式 NAS 的最大单盘容量的受限条件实际是什么？是主板？是 XX 接口的类型？是总线的带宽？还是系统里的默认设置？

或，有没有简易+便宜地提升可识别单盘容量的方法？

谢谢大家~~

Evovil

118 天前

撇开技术，时间和精力也是很重要的资源。最优平衡是：把钱花到自己能承担的且不受影响的最高，以换取时间和精力的平衡性。
如果是我：
1. 服务器+企业级硬盘（ SAS ）+raid10
2. 买 NAS ，一体式 nas 的最大优势是省钱省时间省精力。
3. 存算分离，纯 nas 为啥要存算分离？普通 nas+docker 可以满足较多低敏感业务，如果是要高性能可靠性的计算存储分离：买存储服务器+HBA/SAN
4. 建议提升单盘容量的方法：一步到位买大点。

数据无价，这个有两方面的解读：
1. 当你数据丢失后你发现，数据也没有那么重要
2. 当你数据丢失后，你发现数据太 tm 重要了

如果是 2 ，该花的钱还是得花，要不然企业花冤大头的钱买 SAS 干啥？

geniussoft

118 天前

完全就是看别人纸上谈兵太多，各种不合理：

1. 你实测过重建么？ URE 纯粹纸上谈兵，实际很离谱。而且，即使不幸发生 URE ，一般顶多一个文件有静默损坏罢了（群晖的话，还会告诉你哪个文件坏了）。

2. 性能的问题，你要那么多性能做什么，难道在 NAS 上炼丹么……一般跑满万兆就可以。

3. 不做条带 RAID ，速度难以提高，日后很可能要难受。

4. 硬盘柜是很多人的理想选择，很不幸，市面上的产品基本都很烂。实际上真正的伤盘，基本都是硬盘柜干的。

5. 群晖中高端型号一般支持的单个 Volume 为 108T （你可以使用多个 volume ），企业级型号也有支持 200T 和 1PB 的。

sicifus

118 天前

@Evovil #3
感谢回复。我逐条回应一下：
0."时间和精力也是很重要的资源……把钱花到自己能承担的且不受影响的最高"，对我来说就是存储堆上 1+1 ，不考虑重建的等待恢复时间成本。
1."服务器+企业级硬盘"，我开宗明义说了穷，而且企业级硬盘的噪声没法接受（家里面积太小，说白了还是穷）；"raid10"，相比 1+1 备份的优势在哪里？
3."纯 nas 为啥要存算分离"，先说这条，没说玩纯 nas ，打算把算力设备作为 homelab 来着。
2."一体式 nas 的最大优势是省钱省时间省精力"，然而并不是。本来就有搭建 homelab （ aio ）折腾的需求，这种情况下一体式 NAS 相比下感觉没什么优势。
4."一步到位买大点"，就是想要买大点来着，不是没找到符合单盘位 50-60T 容量的产品么。

totoro625

118 天前

我选择的是 4 块 HC550 16T RAIDZ2 ，因为只能塞得下 4 块机械硬盘，详见： /t/979429
不喜欢小主机或者成品 NAS ，手上两个小主机感觉都不是很好，早些年沉迷 ITX 主机，现在回想起来并不美好，我用这些年花的冤枉钱组了一套 NAS ，感觉不如二手商用服务器 R730
我给自己定下的原则是，只买品牌顶级配件，宁可不买也不买小厂硬件，不碰 USB 外接硬盘

从备份恢复数据的过程太痛苦，对于非计算机专业的维护人员而言，省时间省精力很重要，于是想提高可用性，首先考虑到 RAID5/RAIDZ1 都不放心，因为我的单盘容量太大了，于是只能考虑 RAID6/RAIDZ2 ，由于我很爱做快照，备份数据，相较于 ext4 ，更想尝试一下 ZFS

对于 SnapRAID ，我更多的是用它来校验本地冷数据，防止损坏，而不是备份数据，实际体验上（有限的 Linux 和长期的 Windows ）感觉时间较长，只有单份数据，没有分块，单文件较大对于备份/存储都比较麻烦，作为备份软件是不合格的。但是 scrub 功能是很值得表扬的。
我同时使用 SnapRAID 和 Restic ，感觉 Restic 更适合用于备份热数据，SnapRAID 更适合校验已有冷数据是否损坏（也有可能是我配置不当）

我的核心数据 200G ，大概 8 份，即工作机 3 份（ 1 本体，2 定时），云 2 份（ 1 实时 1 定时），NAS3 份（ 3 机 2 地 1 实时 2 定时），经历过几次丢失数据，我认为备份永远只是备份，当你去找备份的时候，就已经不是原来的系统了

sicifus

118 天前

为避免争议，还是追加解释几条：
1 ）用一体式 NAS 、还是算存分离模式？
首先标题里的"NAS 存储"，即可指一体式 NAS 的存储仓，也可指算存分离模式下的硬盘柜。
我自己并没有排他性的结论，只是目前倾向于采用算存分离，所以写在思路的最后一条里。
后者的优点在主贴里已经写过了，但其缺点由#4 的 V 友提了一下，目前产品力很差。不过这个缺点不是"算存分离"理念本身的缺点，而是硬盘柜达不到可用性造成的缺憾。
基于此，这一阶段的结论自然可调整为选购一体式 NAS 。只不过若干年计算需求提升了，再入手新的小主机，变相实现算存分离。

2 ）为什么不想用 RAID/群晖
贴 ref1 不是想引战的，只是顺便一句我的担心来由。
raid 5 重建失败、毁盘的案例用相关关键字搜一下其实很容易搜得到。当然你可以说这是"沉默的大多数"现象，实际概率远远小于网上的说法，
但我想强调的是，按照**风险=风险概率 x 风险后果**的公式，由于风险后果的严重性（包含了数据不可恢复的可能后果，也包含了可恢复数据的找寻/重下时间成本、或 raid 重建的等待历时的时间成本等等），我仍然倾向于用 basic 1+1 的同步/备份方式做数据保护。
至于 RAID/群晖的其他缺点，在小结里也提了一下。

3 ）最后还是想要聚焦一下疑问点，即 NAS 的最大单盘容量的受限条件实际是什么？目前好像没看到对应的解释。

MoonLin

118 天前

1.关于存算分离：
你需求的实际上是算力的持续升级，然后用解耦的方式，第一反应是小主机+硬盘柜，但是这种方式本身并不美好，无论是硬盘柜本身还是和小主机的连接，都引入了更多变量，而这些变量并不能忽视，甚至是导致数据不安全的致命因素。
那么回归需求：算力持续升级，你自己组装一个 NAS 无非换一下主板和 CPU ，其他外设几乎平移即可，不也可以“无痛”做到算力持续升级吗？（升级价格的疼痛要比小主机小很多）
2.关于 RAID ，我也是用的 Mergerfs+Snapraid ，原因是它足够灵活，可以让我随意更换硬盘配置，但是 Snapraid 一个痛点是不能实时同步，你是怎么来处理的？另外你都是在对比 raid5 ，可是 1:1 实时备份应该是 raid1 做的，为什么不对比 raid1 呢？
3. NAS 的最大单盘容量的受限条件是硬盘技术，目前还没出现能超过 Ext4 上限 1EB 的单盘。
@sicifus

sicifus

117 天前

@totoro625 #9 感谢回复。
"买品牌顶级配件"的理念我是能理解的，甚至一定程度上我也是认可的。不过我是想投入到购买"存储盘位"上，不管这个盘位的形式是一体化 NAS 、硬盘柜还是自组机上，因为长远来看，盘位形态的稳定性是最宝贵、最不折腾的；而算力方面，当下的重金投入过一两年就被摩尔定律折旧掉（"速朽"）了。

对 ZFS 没怎么研究，主要是感觉个人用户好像也用不上太多 COW 、CDP 等企业级特性，而且读写性能好像类似 btrfs ，不及 ext4 。高价值数据我用 3 地 4 中心机制，一般数据用 1+1 备份感觉就差不多够用了。同时万一紧急情况下，Windows 读取 ext4 下文件也更便捷一些。

关于冷备/热备，我高数据用多中心机制做热备，一般数据冷备即可。你提到的的"SnapRAID 更适合校验已有冷数据是否损坏"，能够扩展开来详细讲讲碰到问题？谢谢~

sicifus

117 天前

@MoonLin #13 感谢回复，尤其是你针对我的疑问进行了解答，特别感激。

1.1 "自组 NAS"的确是一个方法，主贴里没有写一个是想要降低"折腾"的程度，把主要精力放到后面 homelab/aio/pve/lxc/docker 应用上面去；
另外还有一个私心没有说，是想着以后老人那边谁的电脑坏了，我能很方便地拆下现有小主机给他们顶上（满足简单网页+炒股即可，连视频需求都没有），自己再无缝衔接一个新主机（说白了还是省钱……）

1.2 当然现在看到 n 位 V 友都强烈不建议用独立硬盘柜，那么我要重新思考这一部分的需求了。多谢大家规劝、提醒。

2. 我用 Snapraid 就是打算当成普通数据的定期冷备机制来用，重要数据用多中心同步机制来保障安全。

3. 你的意思是不是这样——群晖也好、其他品牌 NAS 也好、硬盘柜也好，在产品介绍里写的支持的单盘最高容量，实际是因为市面上的主流 HDD 的最高容量就这么大？实际如果过个几年买得到几百 TB 的硬盘，插上去也能识别的？