LLM 推理显存显卡计算器：快速估算部署需求

[intermission]

在工作中，我经常需要回答客户关于某个模型部署所需的显卡数量。但由于不同显卡的显存规格各不相同，大多数人很难记住每种配置，每次回答都需要临时查询。为了解决这个问题，我开发了一个 LLM 推理显存/显卡需求计算器：

LLM 推理显存计算器

它可以快速计算模型推理所需的显存，并估算所需的显卡数量，欢迎试用！

[podel]

没有 FP4 量化。
DeepSeek 也有 1.55 量化这些数据没有

[111111111111]

计算结果参考意义不大啊

deepseek-r1:32b 实测一个 22G 的显卡就够了，20 token/s ，吃掉 20G 内存

[intermission]

@111111111111 32B 的模型显存 22G 就够吗，参数是用 0.5 个字节存的？

[lovestudykid]

实际的量化类型比你提供的选择多得多...还是直接看模型大小好了

[YsHaNg]

ollama.com 默认都是 q4 量化另外还有 q4_0 q3_s 等等

[qieqie]

建议 Inference 额外显存里加上最大 context length 作为参数。