我模仿 nanochat 全栈 llm 流程, 在 8 x H100 芯片训练了 500m 参数的 llm, 以下感悟

[wangshuo6]

花费了 8w 个 token, 110$的 gpu 服务器成本(一般时间花在 debug 上，一半时间训练)

感受是 gpu 价格及其贵，代码出现 1 个 bug = 10min debug -> 至少 1.2$花销

bug 出现频率高: python 容易写出语法/变量名错误，超参数填的的不对会导致 gpu 计算错误，cuda 和 pytorch 版本问题也会导致出错

总结就是:

1. 犯错的代价是严重的，务必用小批量数据测试代码是否写的正确

2. ai 基建大概率不是泡沫

以上 gpu 是租的便宜的小厂商的，主流云服务价格翻倍

[YanSeven]

“AI 基建大概率不是泡沫”，这句话是什么意思。

[cmos]

1. cuda 和 pytorch 版本：我们是用 docker 环境，固定死的。
2. 服务器成本贵、花费高：热度炒起来导致的，我用 Tesla K40 的时候，计算卡还是正常价格，A100 开始疯涨。
3. bug 出现频率高：不熟导致的，先在 RTX PRO 6000 上测试，通过后用集群跑。
4. ai 基建大概率不是泡沫：工业上是很有用的，“民用”上，什么时候能直出黄图、视频，什么时候才能算基建。

[importmeta]

@YanSeven AI 股票的泡沫论

[wangshuo6]

@importmeta 我不觉得是泡沫

[wangshuo6]

@YanSeven 进 4 个月 ai 基建（电力和数据中心）涨幅平均都有 200% 认为过热的言论很多

[wangshuo6]

@cmos 有道理

[xjoker]

大佬是租用哪个小厂家的，也想自己玩玩

[huaweii]

你用的哪家小厂 gpu 算力服务

[cctvbnm111X1]

AI 基建还得看国产，等纯国产 3nm 、GDDR7 、HBM3 生产线全部落地，价格就便宜了

[lingeo]

@cctvbnm111X1 国产不会便宜，首先产能就供不上，其次有产能也是优先给政府单位，还有不是把硬件造出来就行了，配套的驱动、生态都要维护，这块可以看看昇腾社区的提问。

[iwdmb]

@xjoker @huaweii

应该是 Hyperbolic 主打便宜 GPU 租赁
https://app.hyperbolic.ai/

[riceball]

500M 用得上云跑吗? 本地有一个 16G VRAM ，大概应该也够吧。 或者直接 CPU run,慢就慢。

[c0xt30a]

训练的数据集方便透漏下么？
8w 个 token, 是 8B token 的笔误么？

[xjoker]

@iwdmb 感谢

[wangshuo6]

@c0xt30a 是 b 打错了、pretrain 数据集是 fineweb 的一部分

[wangshuo6]

@iwdmb yes