运行 LM Studio 的电脑硬件配置

[cmonkey]

1. 最近在笔记本上用 LM Studio 运行 ai model, 很多 model 都需要计算很久后才能出结果
2. 刚好家里的台式机已经服役太久跟不上现在的需求
3. 所以问问大家，组装一台能顺畅的运行 ai model 的机器大概的配置是什么呢?
4. 我的预算是在 1.5 -- 2 w 这个区间内

[kuhung]

你这个预算怎么弄都能跑了，无论是大语言模型还是生图。要点就是显存够大。

[kaichen]

推理最重要的是有足够的显存可以把模型权重加载进来。

要么是搞个内存高一些的 mac ，要么是选个实惠一些的大显存显卡（去咸鱼淘二手）

7b 的 4bit 量化在 ~4G ，13b 的 4bit 在 ~8G ，34b 的 4bit 在 ~25GB ，70b 的 4bit 在 ~23GB

[cmonkey]

@kuhung 谢谢你
因为我对硬件基本完全不懂，所以到底能配置出一台是否可用的完全不知道
我看了一些知乎上的配置，因为没有特别说运行 ai model 的，所以来这里问问

[cmonkey]

@kaichen 好的，我看看，谢谢你

[mythabc]

一步到位 4090 。其他卡都是勉强跑起来，你会不断花时间在纠结这破卡是不是该换了。
不要只看 int4 的模型最低的显存占用，prompt token 上去以后显存占用会暴增，平方关系。

[kaichen]

@kaichen #2

上面 70b 写错了，4bit 在 ～ 40G 占用左右

[cmonkey]

@mythabc 奈何荷包不厚

[passive]

如果只是推理，够买两张 16GB 的 4060 了

[thedog]

从某种角度来说，mac studio 192G ，用来做 ai 推理，是在售成品中性价比比较高的选择之一

[shuimugan]

这个预算，可以看看托管的价格 https://www.together.ai/pricing 不贵。


1：不要指望单张 4090 跑大模型可以秒天秒地，实际上爆显存之后就是个弟中弟。2 张 24G 显存的卡凑 48G 也只能跑个 Mixtral-8x7B 量化版 ，这几天 CodeLlama-70b 和 Qwen1.5-72B-Chat 刚发布，你要不要跑跑？
2：不要指望 N 卡那个显存不够使用内存的回退机制，那个只会越跑越慢慢慢慢慢，还不如直接爆了告诉你显存不够，重新划分模型的卸载层数。
3：不要指望存粹的 CPU+大内存机器跑大模型可以秒显卡，内存的带宽真的是比显存小太太太太太多了。参考 https://www.reddit.com/r/LocalLLaMA/comments/14q4d0a/cpu_ram_only_speeds_on_65b/ 和 https://www.reddit.com/r/LocalLLaMA/comments/13upwrl/cpu_only_performance/
4：没有 nvlink 纯靠 pcie 通讯的多卡方案，卡约多损耗越大，不要指望多卡的性能是线性增长的。参考 https://www.reddit.com/r/LocalLLaMA/comments/190f1c1/specs_and_gotchas_from_playing_with_an_llm_rig/
5：如果你觉得 4090 太贵，想买 2 张 7900xtx 组成 48G 显存的机器，那么可以参考这个帖子的速度对比 https://www.reddit.com/r/LocalLLaMA/comments/191srof/amd_radeon_7900_xtxtx_inference_performance/
6：如果执意要在这预算内买全新机器跑大模型，可以等等 https://github.com/SJTU-IPADS/PowerInfer 这个项目支持更多的模型和显卡。
7：mac 的 ultra 系列 + 大内存很适合跑大模型，还可以通过命令解除默认显存只给用 80%总容量的限制，增加显存的分配，参考 https://www.reddit.com/r/LocalLLaMA/comments/186phti/m1m2m3_increase_vram_allocation_with_sudo_sysctl/