DGX Spark、ASUS GX10、MSI EdgeXpert 看起来都像是一个母胎的产品,用起来有差别吗?

5 月 3 日
 SzgSw5zGyN1iy

Spark 最贵,和后两者价钱有点儿区别,不过看起来都像是同一个方案,只是公版和各家自己牌子的区别而已?

3762 次点击
所在节点    Local LLM
11 条回复
WuSiYu
5 月 3 日
只是换个壳吧
Insolitude
5 月 4 日
没有 spark 独占的功能,甚至由于 GPU 架构的细微差异,导致能在同代的 rtx pro 6000 显卡上能跑的模型,到 spark 上反而有问题

应该可以,我看有人 6 台组集群,每个牌子的各两台

据说内存大小上有些差异,导致 hp 还是哪家的同样的设置就它会爆显存,一般调小 vllm 的显存占用就行。公版的散热会差点,满负荷运行会降频

建议去 NVIDIA 官方的 spark 论坛,那里有各种折腾教程。
kenpuluma
5 月 4 日
周边硬件上有些小细节不太一样。比如 oem 厂商的大多改善了散热问题,但官方的前面进风受限。又比如有的厂商有加电源指示灯。但核心硬件没有区别。
系统应该也有细微区别。我看 nvidia 官方论坛上说 1 月更新后内存占用只有 2g 左右。我用 dell gb10 的话哪怕手动关闭很多服务后也是接近 4g 占用。

开箱即用方面,spark 虽然是 Blackwell 架构,但芯片组是 SM121 ,很多框架支持的不好(比如把 sm121 当作 sm80 ),现在基本全靠社区在慢慢修复。

不同 oem 品牌之间可以随便串通使用。毕竟核心硬件没区别。
cpstar
5 月 4 日
只要是 GB10 的方案,主板系统全一样,散热模组也大差不差,唯一差别就是外壳做工,据说 DGX 是比较差的,我买的 ThinkStation 还可以,从对比图看,可能 ThinkStation 镂空多一些散热好一点。

系统都是基于 Ubuntu24 的适配版,因为 CPU 是 Grace ,ARM 的架构,有一些模型应该适配的但不能用
kobe718
5 月 4 日
基本都是公版 pcb ,软件、200g 模块这些都是通用的
但是有说是只有公版的 ssd 的 pcie5.0 的,其他副厂都是 4.0 的
Chihaya0824
5 月 4 日
原版散热比较差
其他散热据说好一点,但是我只用过原版
反正买一个以上千万不要堆叠摆放,他会降频
diudiuu
5 月 6 日
DGX Spark 不好,可以看我帖子
diudiuu
5 月 6 日
qazwsxkevin
5 月 7 日
@diudiuu 我也没买,之前在其它主题下也请教过您 DGX 一些问题的。。。 看了好多天。。。
DGX 目前阶段,的确是非常好的东西,但是拿它要做点事情(必须 Q8 以上,Dense,TPS > 40~60/s ,同时还要确保权重能用的 KV 空间可以 256K 上下文)的话,得一下买 2 台(最少)或 4 台集群,6W~13W(*4 还得买交换机和专用线)人币的投入;
有 6~10 来万投入的小工作室或者个人,还真不会买 DGX*2 or *4;
单台 DGX 似乎就是玩具,老王的意思可能就是,要让真用的人,该掏那笔钱还是得掏的;
我看社区里调教,优化 DXG 适配、加速模型,也是呕心沥血的(维护不易,支持较少、反应也慢)。。。
diudiuu
5 月 8 日
@qazwsxkevin 这个机子主要是带宽太低了,再怎么优化带宽已经决定了它的上限,这个机子带宽要在 1T 以上,就是小钢炮.要满足带宽 1T 以上,差不多要买 4 台 DGX
qazwsxkevin
5 月 8 日
@diudiuu 嗯嗯,是的,非常同意,这东西就是得买 4 台才能干活,反正要有那个水平和性能,无论是 DGX 还是 MAC Studio 或者显卡多卡,大 10W 人币(约 10W~14W )目前来讲,是必须掏钱的。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1210145

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX