现在大模型主流都用哪些 nVidia GPU？

[mingtdlb]

不限于参数大小

[zzutmebwd]

没有 nvlink 的最强是 pro6000 ，下面是 5090/4090 48g/4090/4080 32g 。有 nvlink 的不了解。

[zzutmebwd]

你如果说千亿参数在线 api 的话，h100 h200 b200 等的群集。

[clemente]

b200

[zzutmebwd]

@zzutmebwd 对了，有个 pro6000d 84g ，合规阉割版，算力是不如 5090 的，但差不太多，如果四万多点能买到的话还是不错的，大显存省事儿很多。

[robyn87leonard]

l20

[raycool]

H200 B200 这些吧。
不过我还在用 4090

[v2exgo]

b300

[mingtdlb]

@zzutmebwd #4 4090 48g/4080 32g 都是魔改版？我看官方没有这个版本

[JmHappy]

B300 集群，有 FP4 模块的都行

[zzutmebwd]

@mingtdlb 是的 消费级+大显存基本都是魔改的，所以还是建议 pro6000d

[oldAndy]

H100 H200 B200

[xiaomushen]

pro6000 真的爽，本地做一些 bert 训练完全够用

[zzutmebwd]

@xiaomushen 10 万了哥，现在买不划算了

[xiaomushen]

@zzutmebwd 我 7 万多买的

[zzutmebwd]

8000 刀才是合理价，我 6 万买的都嫌贵。
@xiaomushen

[liuxyon]

哪里有合理价格卖

[coefu]

要是能买到，amd 的 mi 系列，可能会更好点。

[xiaomushen]

@zzutmebwd 没办法呀，国内对公，只能吃这个价。现在都快 10 万了

[nrtEBH]

最强当然是 GB200 GB300 组的大集群
从行业内看各种尺寸的都有 还包括魔改显存的 4090 5090