生产环境 PVE 使用姿势请教

[gvdlmjwje]

公司里面搞 vmware 替代，打算把所有的测试系统迁移到 PVE 上。
传统制造业，服务器都是联想的 SR 系列，不搞 ceph （运维就我一个人玩不转）计划单机 PVE ，有硬件 RAID 卡不过都是 1G 缓存的，硬盘有 SATA SSD 也有 SAS HDD 。有几个问题请教大家：
1.稳定性与 vSphere 比起来如何？
2.是否推荐用默认的 lvm-thin ，之前没用过 lvm-thin ，有什么坑在里面吗？
3.vm 格式用 raw 还是 qcow2 ？
4.是否有必要买官方支持？
5.如有其他经验或避坑的地方请不吝指出

谢谢！

[my3157]

不瞎搞稳定性没问题, 不推荐 lvm, 除了系统盘也不要做硬件 raid, 推荐 zfs, 并且各个节点上的存储池名称保持一致, 比如 hdd 的存储池都叫 hdd, 备份,快照,节点迁移都很方便

[busier]

lvm-thin 坑就是严防 vg 空间写满

写满的后果是 lv 变成只读 上面的所有虚拟机磁盘 lv 都无法回写文件系统缓存落盘

这个如果能控制好 或者不介意 那么 lvm-thin 是功能、性能、管理各方面平衡最好的。

[busier]

如果你 2 用 lvm-thin

那么 3 的问题不存在，虚拟机磁盘就是 lv

如果你硬要用文件系统做底层存储 那么肯定用 qcow2 ，因为 raw 无法快照，还要依赖底层文件系统稀疏文件支持才能创建带空洞的磁盘镜像文件

[gvdlmjwje]

@my3157 有几台利旧的机器 内存不是很足，才 64G ，用 zfs 的话是不是要吃掉很多内存？

[busier]

上面说的写满文件问题只是 lvm-thin 存在，如果用 lvm 没有问题，毕竟空间预分配了

不过也不用太担心 其他虚拟机都是有类似情况，其根本原因就是虚拟机磁盘空间总计容量超物理空间可分配值，不占满没事，所以现实也不是每个人都出严重问题

但是生产环境要考虑好

[gvdlmjwje]

@busier 用 lvm-thin 的话，我只要按照给 VM 划的空间来算剩余容量而不是 WEB 界面里显示的存储实际容量来算，那就绝对不会存储超分吧？

[busier]

@gvdlmjwje 是这个意思 虚拟机磁盘容量总计不要超过 lvm-thin 总容量。即使虚拟机里面写满也没事

简单说不要超额分配虚拟机磁盘

[gvdlmjwje]

@busier 感谢老哥！

[busier]

@gvdlmjwje 另外 假如底层用 zfs 和 btrfs 这类 COW 文件系统我个人不推荐。

应当在虚拟机内使用！

这两个文件系统如果在虚拟机内用，可以处理磁盘位反转错误。找到对应的错误文件。

可是如果在底层用的话，如果位反转了，岂不是整个磁盘镜像文件都视为有错误要修复

而且如果遇到底层和虚拟机内同时使用 zfs btrfs ，那么就会承受双重 COW 磁盘性能惩罚

[my3157]

@gvdlmjwje #4 是, 不过要用也能用, 调整下配置, 限制下 zfs 的内存, 另外就是 64G 的机器, 上古时代的 CPU, 这种机器没有利旧价值了吧, 机架+电费, 还不如换新的

[gvdlmjwje]

@busier ZFS 因为吃内存和 raid 卡需要调 HBA 或者 IT 模式的关系，肯定是不用了。还有你说的双重 ZFS 的问题，公司确实有一台跑 ZFS 的 turenas 虚拟机...

[gvdlmjwje]

@my3157 可以两台并一台，不过 raid 卡还要刷 IT 或者开 HBA 模式，想了下还是算了，就用 lvm-thin 了。