个人是否应该投资购买 DGX Spark 之类的硬件来跑开源模型?既是自用,也是某种防止硬件涨价的投资?

1 小时 48 分钟前
 sillydaddy
考虑这几个因素:
1. 回本周期看起来还行,特别是考虑到现在涨价后的 token 价格。用完的硬件还可以二次出售。
2. 硬件产能似乎不足,逼得 DeepSeek 官方也涨价了。硬件价格短期应该缓解不了吧。
3. 模型越来越聪明了。本地化也很够用了。

或者有其他更好的方案吗?从没想过靠硬件来保值。硬件小白,诸位轻喷。
804 次点击
所在节点    Local LLM
20 条回复
sentinelK
1 小时 45 分钟前
“回本周期看起来还行”这个是如何得出的如此结论?
musi
1 小时 42 分钟前
"回本周期看起来还行"
如果真的还行的话模型厂商为什么不直接扫货然后对外提供服务?
sillydaddy
1 小时 42 分钟前
@sentinelK 简单估算了下跑满的 token 产出量: https://v2ex.com/t/1232688#r_17950784
bunai
1 小时 42 分钟前
买 token 更换算吧
catning
1 小时 41 分钟前
纯讨论啊,我觉得 AI 市场已经很泡沫了(单纯投资方面),靠倒腾硬件很容易跌个跟头。再说,怎么定义你说的“用完的硬件还可以二次出售”,你不用了,对别人还有用吗,硬件也会推陈出新,所以某一款硬件一直保持在高价位是不可能的。
虽然 deepseek 涨价了,一定使用量的情况下,还是比你自己维护要省心和便宜,我实在看不出来投资的必要,要不然我早入了。
1258
1 小时 40 分钟前
如无刚需,感觉还是不要创造需求吧。
sentinelK
1 小时 40 分钟前
@sillydaddy 这个预估完全失真。

实际使用中,一定是在 harness 场景下,harness 有巨量的系统提示词,即便是计算上超高的缓存命中,prefill 和 decode 的运算占比最终接近 7:3 。如果你计算上 prefill 的速度,你就会发现大概是 15~20 年回本。
shintendo
1 小时 38 分钟前
纯经济考虑肯定是不划算的,自建基本是隐私因素
privil
1 小时 37 分钟前
@sentinelK #7 如果有更小更强的模型呢,回本周期也会变短,咋说呢,都是赌。哈哈。我去年买的显卡还涨价一点点
sentinelK
1 小时 34 分钟前
@privil 但是楼主押宝的是 GB10 ,他的“显存”带宽很小。如果楼主买的是 rtx pro 6000 maxQ ,4 卡集群,我都认为合理。

GB10 就注定了大模型能跑,跑不快,小模型跑不过显卡。
lscho
1 小时 33 分钟前
AI 泡沫不炸之前,肯定划算。。。因为硬件保值。不考虑硬件的话,绝对不划算
bunai
1 小时 29 分钟前
op 买四台 4090 都比这个跑的快
privil
1 小时 27 分钟前
@sentinelK #10 这玩意最近几个月都翻倍了。那是真炸裂啊
sentinelK
1 小时 26 分钟前
@privil 主要是还有个 Minimax H3 ,这个相比较 qwen3.8-27B ,要更炸裂一点。

相当于把 seedance2.0 的生产力下发给了终端。
sillydaddy
1 小时 14 分钟前
@sentinelK #7 就算按 7:3 ,也不是 15~20 年啊,最多翻个 3 倍,算 10 年。

主要是这种估算变数比较大:
那里面估算的时候,取的是平均单次 API 调用花费¥0.004 ,这本身就有些低估。而且现在涨价了,估计单价这项得翻个几倍。
再加上多路并发,也可以有个几倍。
sampdoria
1 小时 6 分钟前
@sillydaddy 硬件如果要 10 年回本,那可以认为全生命周期就是无法回本的。

这里还存在新的软件架构不支持老硬件的风险
zhengfan2016
58 分钟前
上游租用 gpu 部署模型也没大幅涨价吧,买全款和那些 21 年上车房子的有啥区别
aimuz
55 分钟前
DGX Spark 硬件只能跑量化模型吧?
gouyoudawang
32 分钟前
到目前为止 隐私定律还在发力 除非 ai 厂商真的要涨价 10 倍
Nasdaq
29 分钟前
OP 了解一下 GDDR7 和 LPDDR5X 的区别

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1234981

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX