macbook 32G 内存, M5 芯片本地跑大模型有推荐的吗?

[Hermitist]

我用了 qwen3.5-27B 能跑但是比较慢, 换成 9B 的比较快但不太聪明.

我本地用的推理框架是 omxl, 然后用小龙虾对接, 干活是能干活,就是有点慢, 当然和 codex 不能比, 可惜 codex/claude code 这些 key 烧的太快, 要等 7 天后, 这也是我本地跑大模型追去无限 token 的初衷.

请问各位能给予我的配置推荐几个更好更聪明的大模型吗?

另外基于刚出的谷歌 atomic chat, 这几天有人逆向优化了它, 号称在普通的 macbook 上也可流畅加载 35B 大模型，KV 缓存直接压缩 4.6 倍,不到一周就有 1.5K stars 了.

这是 github 仓库地址 https://github.com/TheTom/turboquant_plus

不过它是加载进 llama.cpp 部署, 这个切换模型需要手动, 我懒得折腾了, V 站有闲的人去折腾下, 然后告诉我实际效果吧, 可以的话我准备照抄作业.


另外附加上当前 qwen3.5-9b 的 tokens 用量, 真的很快, 随便让小龙虾干点活就上千万 token.

[abellis]

暂时 qwen3.5-35B-A3B-4BIT

[Puteulanus]

https://x.com/Brooooook_lyn/status/2038296844561002922

可以试试动态量化的 35B ，就这人这两天才弄出来的，35B 是混合专家模型，比 27B 的稠密模型快不少，但是对量化的敏感性也更高，MLX 之前量化得太糙了，看着比 GGUF 快，其实模型能力断崖式下跌的

前文 https://x.com/LotusDecoder/status/2031526735213453633

[wuhunyu]

本地部署的成本也不小, 27B 的规模也不会很聪明, 适用于一些比较简单的场景?

[peakchao]

既然用了 omxl ，可以直接下载 qwen3.5-35B-A3B-4BIT mlx 优化模型，我用着速度挺快。

[pc10300]

刚刷到这个，可以看看 https://ollama.com/blog/mlx

[Hermitist]

@peakchao 要看机器配置啊, 我当然恨不得上 300B 的.

[Hermitist]

@pc10300 其实前天测试过 ollama,但是太占电脑资源了, 我看了下你给的这个链接, 发现是昨天的, 看来要找时间测试下, 不过 ollama 只是 llm,不支持 vlm,只能通过 openclaw+skills 曲线实现了.

[Samwulol]

我看是 2.6k star 啊

[workbest]

lz 什么机器？我的 m1 用 qwen 3.5 9b 也不太行

[workbest]

https://github.com/danveloper/flash-moe/tree/main

这个呢？

[diudiuu]

m4 跑过 16b 已经略微有点慢了

mac 上可以使用 LM Studio 搭建更简单， 个人感觉跟 llama.cpp 差距不是很大，反正别用 ollama

买 dgx spark 推荐用 llama.cpp

我试过本地 minmax2.5 200b gpt-oss-120b 的，也不是很聪明，没有想象那么好

[Hermitist]

@pc10300 https://x.com/berryxia/status/2038837864340000802 看到 x 上这个演示, 不知道有没有加速, 如果是真的话, 那真的是太快了.

[pc10300]

@Hermitist 试试呗，可惜我没有 m5 。文章说：This results in a large speedup of Ollama on all Apple Silicon devices. On Apple’s M5, M5 Pro and M5 Max chips, Ollama leverages the new GPU Neural Accelerators to accelerate both time to first token (TTFT) and generation speed (tokens per second).

[Hermitist]

@pc10300 正在下载 qwen3.5-35B-A3B-4BIT mlx 模型, 晚点看看.

[symbolwho]

https://www.canirun.ai/

[workbest]

我的 m1 用 ollama 最新版好像没有加速效果

[kuhung]

主要还是本地模型太蠢了，工具调用能力和智力水平都一般

[unusualcat]

你的机器是 AIR 还是 PRO 哦？

[Hermitist]

@unusualcat air

[bao3]

ollama 今天更新了，支持 MLX ，你 M5 可以跑到 100token@35B ，这已经可用了