有用 Mac 跑 deepseek 模型的么，效果怎么样，有坑没有

[clear]

看到有人评论，说 9G 内存就够跑 Qwen 14B 了，效果直逼 o1mini ，高配 32B 都可以跑。

求证一下，有没有大佬已经上手了，感觉怎么样。

[spike0100]

本地模型出错率还是挺高的。问了下中国历史上的首都都有哪些，啪啪啪 think 了一堆，但是最后回答的几个朝代没一个对的。但是官网的回答是没错的。

[vipviphaha]

9g 内存跑 14b ，速度不行

[0619]

M1 Max 64G 32b 速度可以用，70b 速度非常慢

[0619]

@spike0100 32b 回答没问题

[tanrenye]

试了一下 7b ，不太行的感觉，还有混着英文来回答，估计要 14b 以上会好一点，不如 qwen2.5 的 7b

[windirt]

16G M1 Pro ，关掉所有 app 能跑 14B

[jiuzhougege]

32G 内存跑 32B, 20G 的模型文件，无压力

[GabrielleBellamy]

128gb 内存跑 32b 中。

[hearlessnor]

@windirt 速度如何，回答质量如何？

[pricky777]

16G 的 M2 跑 7b ，错误挺多的，跑 14b 的话内存直接炸了，结果也没好到哪里去

[neilxu]

与楼上不同，我 16G 的 M1 ，ollama 跑 14b ，速度不慢，内存占用 12G ，回答质量和速度都可以，问的是苏联和蒙古的历史问题，跟 ds 官网的答案差不多，没有明显减少字数。
就是 air 没风扇，输出的时候温度 88-90 度，输出完就降温了。

[zeyangstudies]

跑了 32b 的 4bit 量化的 mlx 版本，感觉挺好用~

[skylha]

@zeyangstudies 老哥你是啥配置？有比直接跑 7b 效果好吗？

[zeyangstudies]

@skylha 我的是 48g 的 M3 ，没试过 7b 的诶

[18m]

@skylha 同关注

[sunmker]

@spike0100 我也是，本地跑 1.5B 和 7B 都不太行，不如通义千问。官网的确实还可以的

[hiiragiharunatsu]

m4 的丐版 16+256 跑 14b 大概 9tok 蹦字很慢 效果也不好 thinking 时间巨长 感觉还不如 8b 那个舒服

[idlerlestat]

蒸馏版 14b 在 16G m3 air 上跑问题不大
至于完全版的，真想在 mac 上跑的估计要这样
https://x.com/exolabs/status/1872444906851229814

[sheller]

@zeyangstudies 求个链接，谢谢

[wsbqdyhm]

@0619 #3 配置一样，32b 和 70b 我都安装了，可以接受。ds 真的好很多，国内妥妥的第一，中文也比免费版的 chatgpt 强，付费版没有试过