有用 Mac 跑 deepseek 模型的么，效果怎么样，有坑没有

[clear]

看到有人评论，说 9G 内存就够跑 Qwen 14B 了，效果直逼 o1mini ，高配 32B 都可以跑。

求证一下，有没有大佬已经上手了，感觉怎么样。

[winson030]

话说。能跑是能跑，但是效果怎样？ 32gb m1pro 跑哪个规格的模型是能用好用的？

[kimizen]

看有人用 8 个 mac mini 跑成功了

[findex]

@hiiragiharunatsu 这个效果确实不如几百瓦功耗的 N 卡。m4 ultra 应该会好很多，目前 mac 的瓶颈卡在内存/显存带宽上。其他都是浮云

[YanSeven]

我想问下本地跑 deepseek 模型的意义是什么，回答质量也不高，纯为了玩儿吗

[lrigi]

@SGL 隐私保护，也不是所有问题都要在线问

[Donaldo]

32b 起吧，14b 效果太差了，32b 也很慢，而且开了十几 G 内存没了，本身内存就捉急。。

[wsbqdyhm]

@SGL 在线问三天打鱼两天晒网，服务器崩来崩去，真是无语，还是本地靠谱，讲真，有些问题本地比在线要来得好。

[Themyth]

我是 36G 内存 一开始跑 70b 卡死……跑 32b 速度挺快的，但是挺弱智的。。。

[zeyangstudies]

@sheller 就在 modelscope 上搜 mlx deepseek r1 就行，一堆，然后用 xinference 来推理，chatbox 对话就可以~

[zeyangstudies]

@SGL 就是一般在断网环境下，例如某些加密网下搞工程，有个随时就问的大模型也挺好的

[bugprogrammer]

Mac mini m4 pro+48g ，跑的 14b ，速度很 OK 。模型放 nas 上了，万兆，nfs 协议。用着挺舒服。另外我的 Debian arm 虚拟机也放 nas 上了(玩玩 arm Linux)。

[Wetpaint]

16G14B ，比较卡，且效果对比网页版有明显差距

[bugprogrammer]

我又测试了一下，ollama 跑 deepseek-r1:32b 9.72 tokens/s. 跑 14b 19.54 token/s 。

[bugprogrammer]

配置是 m4pro+48g 的 mini

[abslut]

M4 丐版跑的 14b ，挺流畅的，就是比较傻