想自己上手跑跑 LLM 大模型,求推荐显卡和主机配置

2025 年 4 月 5 日
 limatrix81

马上临近找工作了,看 Java 岗的都是杀的腥风血雨,虽然组里不放实习,但是也是很有危机感。

做移动计算方向,后面可能会试试手机厂和国央企。无奈 LLM 太火,感觉没个大模型项目都不够看的。

想配带一台大显存 N 卡的主机学学大模型相关知识,给后续找工作拓宽一下项目经历

自己设计了一套配置,求 V 友们给点修改建议(现在显卡是真贵啊)


CPU+主板

内存

显卡

存储

电源

散热器

机箱

3134 次点击
所在节点    Local LLM
28 条回复
infreboot
2025 年 4 月 5 日
你这是打游戏配置。。建议直接买云计算便宜的起飞。。。
lneoi
2025 年 4 月 5 日
推荐个其他方案,
去算力平台租一台先用,快而且不贵
如果刚开始用不到多少算力的,上 Google Colaboratory
liu731
2025 年 4 月 5 日
Ollama 先跑个 3B 8B 的
444571840
2025 年 4 月 5 日
买 9600x 还不如买 7700 散片,便宜还量大。
RTX4060ti 16G 可以考虑换 2080ti 22G 魔改版,但要找到靠谱的厂商,比如之前的撼影彩盒 3 年保,但好像现在没了。
内存可以考虑往大里买。
mumbler
2025 年 4 月 5 日
跑大模型,最重要的是显存,显存,显存,其他都可以低配
2080ti 魔改 22G 是性价比最高选择
renmu
2025 年 4 月 5 日
你不会只是想新配一个电脑吧(笑
nxforce
2025 年 4 月 5 日
相信我,最终都会沦为打游戏的专用机的,我就是用理由换了 2 次 PC 了。
limatrix81
2025 年 4 月 5 日
@renmu 可恶,居然被你识破了😭
limatrix81
2025 年 4 月 5 日
@Stevenv 主要是怕到时候秋招面试官项目拷打,没亲自本地跑过直接露馅了
limatrix81
2025 年 4 月 5 日
@lneoi 哦哦哦哦,Colab 之前用过,但是好像最长使用一天就把资源释放了?
limatrix81
2025 年 4 月 5 日
@444571840 牛逼,还有这种卡,我去瞅瞅去
limatrix81
2025 年 4 月 5 日
@mumbler 对对,我就是想着弄个大显存的,等毕业直接一卖换 AMD 游戏卡,然后其他配置就不用动了
tool3d
2025 年 4 月 5 日
@limatrix81 别买 2080ti ,老卡功耗太大,非常不稳的。

你 TB 3699 ,可以考虑用两张 intel 的 16G 显卡,加起来就是 32G 显存。价格一样,至少不容易翻车。
ggBalloon
2025 年 4 月 5 日
macmini 32g 显存
sunfly
2025 年 4 月 6 日
不如研究直接调 API
queziaa
2025 年 4 月 6 日
没用,就算 16G 将将够跑一些东西,这算力也很慢,大量跑或者训练很难受。调用买额度,训练租卡
queziaa
2025 年 4 月 6 日
学习蹭谷歌
WasteNya
2025 年 4 月 6 日
够用,但前提是微调或部署最好量化,不然跑不动
follow
2025 年 4 月 6 日
intel 最新 cpu ,似乎也是统一内存, 跑大模型,是否也可以?
limatrix81
2025 年 4 月 6 日
@tool3d 懂了老哥,专业的

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1123402

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX