PVE 纸上谈盘之买大了

[hanssx]

趁 618 想用 Intel 12 代组 PVE 开虚拟机，主要是 Linux+Windows 的虚拟机，兼顾家用的话先放到次要地位(因为没想好到底是放家里还是放公司)，在网上看了不少也在 V 站问了好多，最后硬盘好像是买大了，且听我细细道来。。。

我当时寻思一步到位，买了个 2T 的三星 970EP+4T WD 红盘，后面发现诸多不便，主要体现在 2 个方面：

1. All in One SSD ，这样对硬盘使用加大，且一损俱损，全荣才能荣。
2. 没法硬盘直通，来提高硬盘使用效率。

---

现在想到了一个办法，把 2T 换成 4 个 512G 的 SSD ，2 个 Nvme+2 个 SATA ，用途如下： 1 个 Nvme 用于 PVE 系统 1 个 Nvme 用于分配空间给其他虚拟机，比如 NAS 、LCX 容器等 1 个 SATA 用于直通给 Linux 主力 1 个 SATA 用于直通给 Windows 主力 4T WD 红盘用于开启 SMB ，共享给其他虚拟机。

好处如下：

1. 更好地隔离系统之间的影响，比如装 PVE 的那个 Nvme 不会将空间分配给其他虚拟机，不会一损俱损，只会你荣任你荣，我荣不管你。
2. 硬盘直通的时候直通 SATA 控制器，硬盘使用效率达到最高，而且还能使用硬盘的 SMART 功能。

---

补充：

Nvme 好像可以单盘直通，不过和主板有关系，有运气成分？具体参见 https://v2ex.com/t/845488

---

各位玩过的前辈，这种方案可以吗，可以的话我就去换硬盘了。

[FaceBug]

@photon006

确实没那么容易坏

我有一块 2012 还是 13 年买的三星，一直当 PC 系统盘用

到了 18 年之后换到 PVE 上做系统盘，7*24 到现在

[mxuan]

@hanssx 直通是没法备份的，迁移需要原盘完整迁移，raid1 也没必要，多备份才方便。

[yeyang5211]

我买便宜又大碗的 amd 跑 k8s . 12 代用来玩游戏办公了

[rojer12]

我的和你类似，但是我用的 esxi 。256 的 sm961 做系统盘。6 个 4t 的 sata+一个 s3700 400g （ cache ）走 raid 卡直通做 raid5 组 nas ，一个 800g 的 p3600 存放虚拟机文件和一部分缓存。主板是 tuf ，cpu 是 10400T ，32 的内存

[hanssx]

@mxuan 直通没法备份的话那就比较难受了。


@kukat 最主要是我想提高性能和分散硬盘负载，话说你怎么备份直通硬盘的虚拟机系统的？

[mxuan]

@hanssx 直通可以备份，但是迁移数据的时候需要手动迁移。复杂度增加，同时由于备份任务一般会保留多个备份文件，备份时候需要硬盘容量 x2,到 x5 。我回去看下我的直通盘，backup 可以选。

[powergx]

all in one 用了十几年了
两块 p3700 r1 系统盘

[mxuan]

@mxuan 我自己习惯每次直通就勾选 backup=0 ，所以记错了。

[hanssx]

@mxuan 好的，感谢，老哥你这不也是直通了嘛，备份的时候不是看硬盘占用的容量吗，而是按照硬盘所有容量来备份？所以才会导致硬盘容量*2 到*5 ？

[liubaicai]

我也是 all in one ，但是除了 nas 其他数据都无所谓的，所以 nas 单独一个盘

[abc0123xyz]

ssd 没那么容易暴毙吧
我 1.6t 的 ssd 写了 100 多 t ，健康度还是 100%

[mxuan]

@hanssx 我直通是因为这个盘只做这一个内容使用，买的老盘刷 pt ，一开始用的 lvm 发现性能不够，以为是 lvm 的问题，结果裸盘再测试了一遍，性能反而更差，lvm 和 zfs ，或者 ext4 的 qcow2 ，由于有缓存的因素，性能反而比裸盘要好。加上 16 年测过 virtio 的性能，确实是损失不大，就没有变。

备份的时候一般不会只留一个备份，在 pve 选项里面有 keep-daily ，keep-week ，keep-month 。我一般设置一个月 3-4 个备份，每周留 2 个备份，一天一个备份。

备份的时候是 snapshot 模式，两个盘（一个系统盘，一个裸盘）打包在一个 zst 文件里面。（恢复的时候需要调整 sata 。）

[mxuan]

@hanssx 我更多的还是 lvm ，zfs 。然后链接克隆。

[hanssx]

@mxuan 那就是说硬盘直通的虚拟机也能正常备份啦
话说用 M.2 Nvme 做虚拟硬盘，对比 SATA Controller 直通硬盘还真不好说性能，毕竟 M.2 Nvme 比 Sata 要快好几倍。

[elboble]

我倒是觉得 op 的想法有道理。
我有个 gen8 ，当时买了个 720G 的山寨 ssd ，装了 pve ，虚拟了一个黑裙，一个 linux ，跑了 5 年了。其他 HDD 直通给黑裙，basic 存储。

最近发现 ssd 的 0x07 0x008 1 25 --- Percentage Used Endurance Indicator ，想换掉 ssd ，这时就有点麻烦了。本来 vzdump 虚拟机出来，再导到新盘就行，但是原 ssd 上有可能有坏块，vzdump 都失败。现在头大了，系统虽然还能跑，但是不知道哪天就起不来了。

如果 pve 系统盘和虚拟机分开，系统盘坏了直接换，虚拟机定期备份，这样就没我现在的困扰了。

我现在想直接把 720G 的 ssd ，直接 dd 到新的 ssd 上，估计要一天多。

[hanssx]

@elboble 哈哈，道友啊，我现在被大家说服了，再加上直通硬盘是 SATA Controller ，SATA 本身就没 M.2 Nvme 快，可能性能差别不大。
如果能 dd 的话，花点时间也值得吧。

[AS4694lAS4808]

我是 1TB 的 nvme 和 4 块 sata 6TB 。一个虚拟机 ubuntu server mini 版专门用作备份，直通一块 sata ，装 borg 。其他虚拟机都是 ubuntu ，自己写 borg 脚本备份系统盘和重要资料到备份用 ubuntu 的不同 repo 中，按每天 每周 每月各一个存档。备份用 ubuntu 每月用脚本上传所有 repo 到 aws 的 efs 增量存储。

[AS4694lAS4808]

@AS4694lAS4808 windows 系统盘不知道怎么弄。。pve 的快照好像只能在宿主机上用，如果直接备份快照部分的数据，又用不了增量备份，备份文件就太大了。。linux 直接备份根目录，省事多了😂

[hanssx]

@AS4694lAS4808 不能备份太多份，保留个 2-3 份就够了吧，快照好像没有备份完全。

[bao3]

首先要改变一个观点：你已经上了 Nvme SSD ，那你要思考你直通的必要性
第二，lxc 是 container ，应该也没有性能问题（大概差 5%）
第三，可能 win 需要用 qemu 虚拟机来跑，但是你应该可以发现 PVE 是可以自动异地备份你的虚拟机，比如我是每天备份一次。所以自身可能并不需要做磁盘冗余，出问题的时候你直接 restore 就好了。
第四，按照你虚拟机的实际需求，比如我的应用，并不会特别频繁读写磁盘。在我的需求里面，甚至连 SSD 都用不到，读写比较多的是 Linux 的 lxc container ;能用到 Qemu 虚拟机场景，一般都是不重要的应用。当然这只是我个人的应用。