都 2026 年了,为什么还有人觉得 AMD 比 Nvidia 更适合部署本地大模型?

5 月 6 日
 babymonster
五一节假日期间,有一个同事想本地部署大模型,在群里询问,我们都给他推荐了 Nvidia 的卡,结果他去刷 B 站,选择了 AMD AI MAX+ 395 。

难道小白真的就这样被割韭菜吗?
18536 次点击
所在节点    Local LLM
130 条回复
padeoe
5 月 6 日
# 19 我是指 nvidia spark 和 amd 395 是同类型产品。推荐 Jetson 太业余了,我就问你推荐的这些你买过吗
GoogleQi
5 月 6 日
@strobber16 你在说什么😂
ikaros
5 月 6 日
如果只是跑 LLM 的话我之前的 AMD 显卡都是直接装 lmstudio 就可以用了,不知道有啥区别。
ikaros
5 月 6 日
395 去年买 128G 只要 1W 出头(现在估计不到 2W),Nvidia 那个要 3W 多, 而且 395 可以装 Windows 玩游戏, nvidia 那个我记 CPU 用的是 ARM 的, 要我也选 AMD
Bluecoda
5 月 6 日
就像苹果部署本地 LLM 一样,肯定也比不过 nv 吧?但是别人内存大啊,你 128GB 的 n 卡多少钱?苹果的多少钱?
在飞机上用苹果 64GB 跑个本地 LLM ,设置可以不联网愉快写代码
场景不同,你不能用你的场景套用别人的
xiaomimicoin2
5 月 6 日
能买部署就是豪气
babymonster
5 月 6 日
@Bluecoda 真的会在飞机上去跑吗?
CS50
5 月 6 日
不要对别人怎么花的钱有执念
mooyo
5 月 6 日
rocm 真的是死了🐎了,还有 AMD AI CPU 的 NPU 在 Linux 下没有驱动也是死了🐎了。驱动还得填表发邮箱申请。
xocus
5 月 6 日
统一内存 128G ,只有 amd 的是 Windows 系统,其他 nvida 是 ubuntu ,mac 是苹果系统,是我,我也选 amd 的
smlcgx
5 月 6 日
这场景太经典了,又想本地推理,又想着性价比,最后选这个不意外

不过话说回来,谁没交过学费啊
clemente
5 月 6 日
@babymonster ROCM 就是兼容 CUDA 来的 不过就是不好用 要折腾
fs418082760
5 月 6 日
人家本来是想打游戏,礼貌的问下,你还当真了
jackqian
5 月 6 日
只适用于本地推理,又不需要自己训练,感觉区别不大吧
jpyl0423
5 月 6 日
rocm 哪里有问题么,最近跑了个去码的任务还行
emberzhang
5 月 6 日
@afkool macmini 最高只能配到 64G 内存
zhanying
5 月 6 日
显存大,虽然速度慢好歹能跑,用 vulkan 后端就行了,rocm 纯坑
knva
5 月 6 日
跑 llm amd 有什么问题吗? 一万多能买的 128G 的 nvidia 设备了?
94
5 月 6 日
一直不能理解个人跑本地模型的目的是什么。是搞开发?还是纯好奇想玩一玩。花两三万玩一下也太奢侈了吧。
afkool
5 月 6 日
@padeoe 对了大佬,多余问下,Mac 有啥好处?我看 395 ,哪怕屏幕素质高的笔记本 128G (比如玩家国度的幻)才 2 万。。Mac Studio 128G 都本着 4 万去了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1210410

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX