M5 64G 的 Mac mini 可以买来跑本地模型吗？

[yexiaoqi]

有懂的大哥 聊一聊

[a970891]

可以，玩具性质，tok/s 很低；建议有条件还是上 spark

[Alwaysonline]

英伟达 DGX Spark ，本地化的起步吧

[loading]

树莓派也能跑，就是跑多大模型，跑多快的区别。

[Eleutherios]

内存带宽太低，不支持 FP8/FP4 ，不值得买

[hshe]

跑不了的，太烫了。可以试着改造散热看看

[bzw875]

OK ，看来下一个 MacBook 16G 够用了

[ares001]

显存带宽不够，速度起不来。内存大也是白搭

[oldlamp]

如果是 27b 的稠密模型，速度还不如 7900xtx ，同样预算下如果有两个 R9700 也是不错的选择。

[yexiaoqi]

跑不了本地模型啊， 那市面上宣称本地能跑的模型都是玩具吗？
@oldlamp
@ares001
@Eleutherios