mingtdlb
V2EX  ›  Local LLM

跑本地大模型 电费要多少?

  •  
  •   mingtdlb · 1h 40m ago · 994 views

    想了解下跑本地 LLM 的兄弟们,有算过 1 度电能产出多少 token 么。

    https://www.douyin.com/video/7651445609950281713 一度电 500 万,不懂啥模型

    4 replies    2026-07-08 09:44:50 +08:00
    VeteranCat
        1
    VeteranCat  
       1h 35m ago
    取决于你开多少卡, 一张 4090 跑推理,算他 400w 。10 张卡,不算其他电力的损耗,持续高负载推理一小时 至少 4 度电。 现在 LLM 最大的问题就在于此,其产出的价值都别说设备损耗了,电费都不见得能跑出来。
    ldy619354397
        2
    ldy619354397  
       1h 22m ago
    我记得我问过 AI ,其实现阶段 token 算上电费和设备损耗基本不赚钱,特别是深度推理
    raycool
        3
    raycool  
       1h 22m ago
    直觉上应该不会这么少的 token
    BingoXuan
        4
    BingoXuan  
       1h 8m ago
    不算输入,只有 216k 输出,0.25 度电,按视频 6 毛钱一度电来算,7 毛 5 每百万 token 。配置铭凡 7455hx+crucial 64G + rtx pro 4500 。模型用的是 Nvidia/Qwen3.6-27B-NVFP4 ,按照平均生成速度 60tokens/s 。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5787 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 02:53 · PVG 10:53 · LAX 19:53 · JFK 22:53
    ♥ Do have faith in what you're doing.