装 2 块 GPU 的深度学习主机, 主板一定要支持 SLI 吗?

[cloud2000]

我在考虑升级主机到双 3090, 网上有人说主板不需要支持 nvidia sli, 也能发挥双 GPU 的实力. 因为 tf 和 pytorch 都支持多 GPU; 但是没有提到 3090 支持的 nvlink 会不会受影响.

如果用了 nvlinik, 2 块 3090 的 24G 可以合并成 48G. 所以我的问题是: 如果主板不支持 sli, 那么还能用 nvlink 合并显存吗?

[paopjian]

nvlink 不能叠加显存,只是提高通信带宽的,现在的深度学习框架有其他技术实现单机多卡训练
想要超大显存只能买更贵的卡

[yangyaofei]

多卡带来的是 batch size 方向的提升，如果本身模型太大，单卡跑不了 1 个 batch ，多卡也放不下的。 其实现在有梯度累积，只要能放下一个 batch 就可以累积成比较大的 batch,虽然损失速度和精度。 所以多卡更多的是训练速度上的提升

[siknet]

三块 p40 肯定比一块 3090 性能好吧？

[fisherwei]

nvlink 如果能合并显存，美国还封锁什么 A100 H100

[systemcall]

SLI 是打游戏用的，现在基本上淘汰了，新点的游戏基本上都不再支持任何多 GPU 技术了
tf 和 PyTorch ，都是自己实现的多 GPU 。你弄两个一样的 GPU 就行了。其实和挖矿差不多的
nvlink 和主板是否支持 SLI 没关系。SLI 的桥其实和那些多屏卡的同步器是类似的，只是用来同步帧序列
nvlink 有一些地方说可以增加显存，但是一般的场景好像没那么大的作用，还是只能用一张显卡的显存