简单使用了一周在本地 Mac 的 qwen3.6-35b-a3b 模型

[cwcc]

感觉本地的模型有很大的潜力，但也有局限，主要是受限于硬件吧。以下几点：

• 除了复杂架构调整分析工作外，日常的 CRUD 开发、项目总结、文档翻译、需求输入和模块的 Bug 修复上，几乎可以替代在线模型。
• 复杂分析以及深度的问题查找、大上下文还受限于模型规模和内存。
• 经过豆包和模型自身给出 llm 优化建议，使用 GGUF 模型能跑出 33 token/s 的速度，使用 MLX 能到 38 token/s 。
• 36G 内存不够，开太大上下文会爆显存，只能重启。

第一次体会到 Mac 的性能居然这么不够用，搞得都想换 M5 Max 了，但感觉专门为 AI 也不是特别值得。

[cat9life]

op 有对比过 gemma4 的近似尺寸模型吗

[strobber16]

这个模型给我最大的惊喜是可以过洗车测试了。虽然不是很稳定

[rockddd]

最后悔的就是买 Mac Mini 当时想不出使用场景，没有继续再多加内存，只选配了 32G

[Seanfuck]

都说 qwen3.6-27b 更好用，可以试试。

[cwcc]

@Seanfuck qwen3.6-27b 在 M3 Pro 的 Mac 上太慢了，不到 8 token/s ，基本不可用。

[cwcc]

@cat9life 只试过 qwen3.6-27b ，但太慢了。gemma4 没试过，有时间摸鱼可以测测。