这几天折腾 PVE AIO 有点上头了

[0x663]

从周六开始一直到昨天晚上，基本每天都折腾到凌晨
主板 MSI B660M 迫击炮
CPU i5 12500
sata ssd *2
sata hhd *2
m2 nvme *2

前两天是折腾核显，主板开启了 VT-D 和 Intel SRIOV
通过 i915-sriov-dkms 虚拟出来 7 个
完成了以后尝试直通硬盘

因为主板有两个 sata 控制器，我想着是两块 sata ssd 组 zfs(raid1)做系统盘，然后另一个 sata 控制器直通给 Truenas 虚拟机。然后我就直接去根据 iommu 的编号去找到这俩 sata 控制器，尝试把 b660 芯片组的 sata 控制器直通给 Truenas 虚拟机，然后就直接死机了，第二次安装发现是因为 iommu 分组没拆开

然后就一通检索去看相关问题，后来发现一个强制拆分 iommu 分组，但是要改源码并且评论区说这是掩耳盗铃遂弃，然后就去折腾 BIOS 看到有一个“集成外围设备”的选项，关闭这个之后可以正常拆分 iommu 了。

我原本以为会很顺利美滋滋的去直通 sata 控制器并开启虚拟机，又有问题了
这里我的系统盘最初插到的是 sata7 和 sata8 ，因为这两个口离其他的比较远所以我认为是另一个单独的 sata 控制器控制的。这就是不认真阅读文档的代价吧。

开主机重新插 sata 接口调整好以后再去尝试 SRIOV ，又不行了。

[ererrrr]

尝试过一次 unraid 拆分核显，个个都说 unraid 虚拟机多好用
结果我一用，真的很费劲
现在已经不喜欢这些了，直接买两台算了

[esee]

你这主板居然有两个 sata 控制器？

[Radeon]

为什么非要把 Disk IO 直连？用软件作 Disk IO 中间层有很多好处呀，比如可以设非常高的 buffer ，或者非常低的 flush 频次。不香吗？

[yusha]

看这个板子， 是微星 mag mortar b660m?
这个板子好像是 SATA_A 和 SATA_B 走的额外附加的 sata 控制器，方便直通。

[dilidilid]

PCIE 直通 raw 设备根本不是虚拟化的正常使用方式，你 PCIE 直通越多遇到问题的机会越大，属于是要实现一些功能不得已的妥协，不知道为啥现在各种乱七八糟的教程喜欢把这玩意儿当成灵丹妙药。虚拟化的一个重要目的就是迁移+容灾，PCIE 直通之后一不小心虚拟机直接带崩宿主机一起死机，还容个屁的灾。

很多消费级硬件不支持真正的虚拟化，只能直通一把梭，问题是很多厂家（比如黄狗）一开始就没有给你直通预留兼容性，出什么问题完全是不可预料的。不是发烧友没必要浪费时间跟厂家对抗

[fuckfaker]

你有空余的 pcie 插槽的话，可以买个 sas 直通卡，LSI2308 就行，然后把 sas 卡直通给 truenas ，或者虚拟机，比你这样折腾靠谱一点

[whiskyrye]

1 、系统盘没必要组 raid1,pve 只要备份好虚拟机，系统坏了，重装后再恢复虚拟机就行。有的人甚至把系统装进 U 盘里。
2 、可以把系统盘装在 m.2 的一个盘上，直通 SATA 控制器准没问题。一般一个主板都是一个 SATA 控制器。
3 、SRIOV 没折腾过，折腾过 8 代 cpu 直通核显用的 GVTg
4 、也可以试试飞牛 nas ，也能搞

[swordsmile]

试试在 /etc/default/grub 添加 pcie_acs_override 参数，看分组是否多一些

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_acs_override=downstream,multifunction"

update-grub

[0x663]

@esee 是的

[0x663]

@dilidilid 是的，我这就纯瞎折腾。

[wuyadaxian]

m.2 装系统，sata 直通就行。sata 崩了不会影响系统，不要怕。

[0x663]

@swordsmile 加了 /etc/default/grub /etc/kernel/cmdline

[0x663]

@fuckfaker 有两条空余的 PCIe 插槽。本来是想买的，但感觉自己的硬盘不多就直接用的主板自带的两个 sata 控制器了。

[0x663]

@vhisky unraid 就是

[0x663]

@wuyadaxian
@vhisky
m2 的那块 250G 的三星 970evo 0e 了。所以没敢做系统盘，只把它拿来用作缓存盘。

[0x663]

@ererrrr 哈哈哈，我其实是就喜欢折腾这些，所以不嫌烦。消磨时光的手段之一。

[marquina]

pve 直通 sata 设备的标准姿势：

[Passthrough Physical Disk to Virtual Machine (VM) - Proxmox VE]( https://pve.proxmox.com/wiki/Passthrough_Physical_Disk_to_Virtual_Machine_(VM))

按设备直通就行，不需要直通 sata 控制器

[marquina]

https://pve.proxmox.com/wiki/Passthrough_Physical_Disk_to_Virtual_Machine_(VM)
17 楼的链接多了一个括号，重新发一下

[laminux29]

PVE 群主说过，不建议直通，因为直通是一种反虚拟化的方式，会阻碍备份、迁移与容灾，除非你不需要这些功能。

[0x663]

@laminux29 老哥哪个群？