想了解下跑本地 LLM 的兄弟们,有算过 1 度电能产出多少 token 么。
https://www.douyin.com/video/7651445609950281713 一度电 500 万,不懂啥模型
想了解下跑本地 LLM 的兄弟们,有算过 1 度电能产出多少 token 么。
https://www.douyin.com/video/7651445609950281713 一度电 500 万,不懂啥模型
1
VeteranCat 1h 35m ago
取决于你开多少卡, 一张 4090 跑推理,算他 400w 。10 张卡,不算其他电力的损耗,持续高负载推理一小时 至少 4 度电。 现在 LLM 最大的问题就在于此,其产出的价值都别说设备损耗了,电费都不见得能跑出来。
|
2
ldy619354397 1h 22m ago
我记得我问过 AI ,其实现阶段 token 算上电费和设备损耗基本不赚钱,特别是深度推理
|
3
raycool 1h 22m ago
直觉上应该不会这么少的 token
|
4
BingoXuan 1h 8m ago
不算输入,只有 216k 输出,0.25 度电,按视频 6 毛钱一度电来算,7 毛 5 每百万 token 。配置铭凡 7455hx+crucial 64G + rtx pro 4500 。模型用的是 Nvidia/Qwen3.6-27B-NVFP4 ,按照平均生成速度 60tokens/s 。
|