打算配一台主机用于跑大模型玩，大佬们有推荐的配置吗

[shoumu]

虽然是搞互联网的，但是对硬件这块确实没啥研究，所以想请大佬们帮忙推荐下配置，目前在京东上看了朴赛装的机器，券后 27849 ，不知道是否有坑，求指教

[52boobs]

如果你不太确定想怎么玩大模型，其实可以花点小钱租台顶配机器跑跑感觉有点意思的项目，玩一段时间后你自然就知道怎么选择了。

[mythabc]

本地只能跑跑推理和 7B lora 训练。更大规模的训练可以选择租 A100
我的配置是：
GPU：4090D 虽然是 dog 版，但是目前 4090D 的性价比是比 4090 高的。
板 U 内存：B550I + 5800X + 2 *32G 以前攒的，跑大模型对 CPU 要求不高，内存要注意有一些步骤，比如 lora 合并、量化会使用内存，如果内存太小可能就跑不起来，64G 是需要的。

电源散热机箱：根据自己需求配把。

主要成本还是显卡。

[forgetlight]

主要是在于你想要怎么大模型，我预估是做 inference ，不太可能 fine-tuning 。这样的话主要是根据你需要跑的模型大小是否能放进显存。最好是提前调研下需要在什么精度下跑什么模型。

[mythabc]

顺带一提：我比较极限，把以上配置塞进了 SSUPD 里，一个 15L 体积的机箱。

[v2bili]

@mythabc 你这个配置可以 AI 出图 吗，2K 的图一个小时出 30 张行嘛？

[rus4db]

超微 7048GR + 4×2080ti(22GB) FYI

[dianso]

没必要自己买。

vultr 租一个就行。

按需使用，小时付费。

[joshuasui]

我去年部署的 13900KF + 128G + 4090 ，大概一共两万内搞定全白配色
之前试过租云服务器，最大的硬伤就是每次开机用起来太麻烦了，可能是因为用的小平台，大平台如 aliyun 之类的又太贵。

[shoumu]

@joshuasui 想法类似

[HojiOShi]

@joshuasui 啥时间买的，啥配置。我差不多的配置花了三万。

[ZXiangQAQ]

4090 显存不够吧，13B 的大模型如果 INT4 还好，如果 INT8 基本就需要 13-16G 显存了，fp 精度直接 30G+了扛不住

[Ackvincent]

塔式 T640 加 GPU 显卡 套件, 价格便宜量又足.

[mushuanl]

大模型主要瓶颈在内存访问速度，直接上 mac 然后 llama.cpp, 大于 13B 的也能玩
因为 13B 简单玩几次就腻烦了，参数越高性能越好

[HojiOShi]

@ZXiangQAQ 现在最新驱动有 fallback 回共享显存的选项，跑应该是能跑吧，只不过速度会减慢不少。

[leo6668]

@joshuasui 老哥跑的啥模型，多大参数

[churchill]

如果是玩，mac 更经济一些

mixtral 8x7b 也能跑

[HojiOShi]

@churchill 你不是在开玩笑，这配置说经济是吧。

[yplam]

@churchill 有没有实际跑过？我之前测过 m1 上跑那速度实在无法忍，还只是 6b 的模型

[gam2046]

借楼问问，现在有没有什么大模型，可以用于看外语片的时候，能够根据音频出中文字幕的。

[dayeye2006199]

你这价钱可以 colab pro 32 年的服务