跑 AI 模型，显卡的购买咨询

[xiniu]

现在，我想自己本地跑一下各种 AI 模型，所以有购买显卡的需求。但是，我对这方面的经验很少，所以，想咨询一下大家。

我的预算在 1 万 - 1.5 万 人民币。「整台机器下来，包括显卡、主机等等」

机器的是跑深度学习的模型，不需要其他花里胡哨的显示、配置等，也不会用来打游戏。

4090 显卡不在考虑范围内。比如 3080 、3090 或者 2 系列。

希望，显卡可以跑 github 上大部分项目。当然，真正的那种大模型，也不在我考虑范围内。

听说，显存越大，越好。能不能基于上述的要求，帮我选一个性价比高的显卡配置。

或者有没有其他更好建议，比如超出预算确有非常性价比的机器，也可以说一下。谢谢大家。

[jmliang]

同求

[liudewa]

4060

[chihiro2014]

租比买便宜

[malusama]

如果你有明确的模型需要训练， 训练时间超过半年， 那么买比较话说。 不然玩玩的话可以在各种平台租一个

[malusama]

@malusama 比较划算

[xiniu]

@chihiro2014 买一个在家随时可以更换，也有自己二次开发的需求

[xiniu]

@malusama 长期的，不是短期需求。

[zsc8917zsc]

性价比最高的好像是 RTX 2080TI 22G ～

[coefu]

华南 6 卡平台+6 张 2080ti 22g ，你就可以凑到 132g vram ，2080ti 支持 nvlink 。那么就相当于有 3 张 44g 的现代卡（起码支持 vllm ）了。
2080ti 22g 现在海鲜大概 2600(去年年底有到 2200)，1.56w,华南 6 卡准系统大概 2600 ，内存（ 1000 ）+cpu （ 400 ）. 超了 5k 左右，不过这已经是当下你可以接受的配置了。也是非 geek 的能接受的了。
当然还有更 geek(垃圾佬)的配置就不推荐了。

[jeepc]

先租，你买一个配置 4090 以下的显卡啥也跑不了

[tool2dx]

@jeepc 16G 显存能跑量化模型，就是智商堪忧。

[gam2046]

>> 显卡可以跑 github 上大部分项目

这几乎不可能，就是 5090 也做不到。因此你得先了解，你想玩的模型，再来决定配置。

游戏卡能跑的模型，其实不多，当然如果你说能跑一些参数阉割的模型也算，那确实可以满足“大部分能跑”，毕竟就连各种 GPTs 都有 1.5B 的模型，8G 显存都能跑。

>> 听说，显存越大，越好

基本是正确的，相对来说频率、带宽没那么重要，显存不够直接跑不起来。频率、带宽低，只是慢，愿意多等一会还是能有结果的。但显存炸了就是没结果。

[harlen]

直接用 API 吧，本地多卡平台噪音太大，出问题调试也是成本

[blueorange]

显存要大 3090

[yplam]

建议租卡，我用的 4090 ，一年前的确各种模型都可以跑，现在就很尴尬，量化的文本模型没什么意思，flux 勉强能跑，wan ，hunyuan 那些视频模型量化版无法还原官方效果

[uprit]

你这预算应该可以搞一套 4 卡 2080ti-22G 了，88G 显存，跑 4bit 32B 模型，差不多能有 120K 上下文，足够支撑一个小工作室使用了。这应该是最有性价比的方案了。
或者双卡 2080ti ，跑 32B 也够，但上下文没那么多。
剩下的钱再来一个最新的 5070ti ，主要可以用来跑最新的框架，或者一些算力依赖的事情。
板 U 内存这些，怎么便宜怎么来，捡垃圾也行。

[ferock]

这价格不如买 mac…统一内存至少可以跑，而且还有各种补

[SeleiXi]

租的话其实真挺实惠的，租到租卡比买卡亏的时候，你要跑的任务说不定已经不能用你买的卡跑起来了

[xiniu]

@coefuqin 谢谢，我去调查一下

[xiniu]

@gam2046 感谢分享