想自己本地跑大模型，学习大模型，做一些微调等操作，目前看到一款小主机在预算内， CPU AMD Ryzen Al Max+ 395，不知道这套配置是否适合用来学习大模型跑大模型，有没有懂的兄弟可以给点建议。

[hmbb]

CPU：AMD Ryzen Al Max+ 395 处理器(16 核心 32 线程，最大睿频 5.1GHz ，三级缓存 64MB)
显卡：AMD Radeon 8060S Graphics 40CUs
系统盘：M.2 2280 PCle4.0 x4(最大 4TB)*1
存储盘：M.2 2280 PCle4.0 x4(最大 4TB)*1
内存：128GB(16GB*8) LPDDR5x 8000MT/s （最大可分配 96GB 给显存）
接口：AC*1 + USB3.2(10Gbps)*2 + SD4.0 卡槽*1 + LAN 10Gbps(Intel E610)*2 + USB-C(10Gbps 数据)*1 + 3.5mm 音频插孔*2 + DP2.1 8k 60Hz*1 + HDMI2.1 8K 60Hz*1 + USB4(40Gbps/DP1.4)*2
无线网络：WIFI7 MT7925; 蓝牙 5.4

[murmur]

这玩意一万块，拿来充 api 够你用到退坑还有剩

[tool2dx]

@murmur 自己运行大模型的感觉不一样, 一是学技术, 二是硬件快到头了, 贬值慢, 用个几年把显卡之类榨干再出手, 也不亏. 三是开源模型越来越强了, 未来可期.

大模型本质就是老虎机, 你花钱调用 API(花钱买代币), 和本地 24 小时不间断调用摇骰子(免费无限代币), 长期来看还是有差距的.

[hmbb]

@murmur 这倒是，但是 api 的话好像只能使用吧，可以满足学习大模型吗自己实操那种，不是很懂

[chinanala]

这不是玲珑星小主机的配置吗。

小主机散热和扩展性是个问题，不如自组台式机这个配置玩大模型了。

[yusha]

这款的内存带宽和推理性能大致跟 M4pro 差不多. 推理场景跑不了太大的稠密模型(虽然可以加载, 但是推理速度太慢). b 站有评测可以看下推理速度能否满足你的使用预期.
比较合适的场景是跑 moe 模型, 需要大内存, 但是计算量不高. 比如 qwen3-coder-30b-a3b 这种.

[hmbb]

@chinanala 自组台式显卡成本比较高, 有点超预算

[TimePPT]

要不……先花点钱在云平台租点 GPU 算力资源自己玩玩？

[skye]

不如买 mac mini ，m4 pro 性能不错

[bytesfold]

还不如直接 api

[perfectlife]

学习大模型还是上英伟达吧

[hefish]

本地还是得 nvidia 吧。。。。不然兼容性折腾死你。
不说别的 vllm 没有非 nvidia 的二进制版本，你得自己编译。。

[clemente]

省点功夫吧 连买什么卡都搞不清楚

[objectgiga]

该用 api 用 api,想要本地跑不要买这种电子垃圾,带宽太低了,一万块去看看 7532+8*64+3080 20G,能保证本地运行现行大部分 MOE 模型的 int4,微调个人基本上别想这茬

[hmbb]

@TimePPT 可以尝试一下

[hmbb]

@skye 我再看看

[hmbb]

@clemente 最近才开始了解大模型这些知识

[hmbb]

@objectgiga 我看看

[shuimugan]

这配置比调用 api 体验更差，没有学习的价值，除非你要跑 Huihui-GLM-4.5-Air-abliterated 写黄文

[402124773]

@hmbb
按理说，你自组小主机应该比你买成品小主机要便宜一点的

[hmbb]

@shuimugan 好像自己组 NVIDIA 显卡主机比较适合学习用