装一台深度学习主机，双 3090 显卡，请问配置怎么选择？

[reaCodes]

主要是主板怎么选择，还有选什么样的 CPU 能让这两张 3090 物尽其用，电源起码 1100W 吧

[zhady009]

现在不建议上 3090 各种 boom 的消息

[dlsflh]

不可以外接电源单独给显卡供电吗？

[daliandefei]

啊哈哈 来闲鱼搜一下我的顶配黑苹果 ，macpro 复刻机箱 小超到 1.22v 全核 4.7 mesh 33， 比 MACPRO 2019 顶配强一些~ 还有配套压缩机出 如果

[no1xsyzy]

@dlsflh 可以是可以，大部分塔式机箱没有双电源的位置，要么直接测试平台裸跑，要么特殊机箱。

[SorryChen]

@zzh1224 做很多深度学习用不了 amd，cuda 一统天下

[tianshilei1992]

要选 PCI-E Lane 大于 32+4 的 CPU

[diggerdu]

@w1573007 model parallel

[devlnt]

担心电源的话，可以考虑工作站这种的，一般有俩电源，可以挑俩 2000W 这种的

[mostkia]

老黄真就是造核弹的啊，带 9 的卡碰不得，想当年的 GTX690 也是个核弹[狗头]

[337136897]

楼上的全是搞深度学习的科学家吗...

[MeteorCat]

单个 3090 的功耗 1100w 压不住，建议等等避免上烈士墙

[isler]

@Porphet 你们的具体配置是怎么样呢？用的塔式？

[Porphet]

@isler
Supermicro SYS-7048GR-TR
E5-2680V4 * 2
三星 32G RECC 内存 * 6
技嘉 RTX 3090 TURBO * 4
硬盘机械加固态

机箱和 CPU 应该是马上停产，供应商装好机器才跟我说，升级型号应该是 SYS-7049GP-TRT，CPU 也要换
虽说是塔式，我们还买了导轨，放在那种恒温机房里

[Porphet]

@w1573007 #59
关于显存共享我差不多搞明白了，只针对深度学习：
1. 显存不可能在底层叠加，也就是说永远是四个单独的 24G 显存
2. 我认为的显存叠加只是增加了 batch_size 的大小（已实现），或者可以把模型分半一块卡加载一部分模型。
3. 第二条所述的功能都需要在代码层面实现，底层上是通过 PCIe 来传输梯度
4. NvLink 的作用就是加速第三条中梯度传输的速度，避免数据通过 CPU 传输，以实现类似一整块 4*24G 显卡的效果

这些是我踩坑之后的理解

[w1573007]

谢谢啦，太感谢了👍👍👍

[isler]

@Porphet
果然技嘉 turbo 是唯一选择。。

不过你们是不是被坑了啊。。。我的 SYS-7049GP-TRT+4*2080Ti 还是 18 年买的呢，都用了两年了。。。CPU 用的 6128

[isler]

@Porphet

另外不知道你们用了几台，我感觉几台单独用，利用率不行，今年打算做集群，不过方案还没选好

[Porphet]

@isler
反正不吃 CPU，坑就坑了，现在我自己用这一台，也没有多余的。
集群我反正是在机房里看见了四台 DGX A100 外加单独的万兆路由，酸死我了

[fchypzero]

@Porphet 有钱啊，DGX A100 一台大几十万

[isler]

@Porphet
DGX A100 买不起，不过万兆网卡和交换机就好说了，Intel 的万兆寨卡也没几百，没有现成的万兆交换机，直接上全 sfp+的也不贵，接几个服务器买几个模块就是了