想掏一台 Mac mini M4 Pro 64G 跑 gemma4 31b Q4 接 openclaw 处理日常的问题，有人测试过速度吗？

[Ken1028]

[MacsedProtoss]

这个玩意估计不太行 openclaw 还是跑蛮多代码相关的。这个模型感觉还是传统对话为主

[qweruiop]

受限于上下文，太慢了，回复质量太差了。。。

[Jh1n]

64G 我试过，龙虾请求频次太高了顶不住的，还有龙虾过时了建议用 Hermes

[huanxianghao]

感觉智商不够，等 gemma5

[Ken1028]

@MacsedProtoss 纯 LM Studio 跑速度如何？

[zyxk]

我使用 lm studio ， 加载不了 gemma4 mlx 系列，提示是不支持，gguf 系列可以正常用， 想问一下 mlx 系列怎么正常使用。

[penisulaS]

小模型像是弱智员工,啥工作都不派给他就是最省心的

[Nasdaq]

参数太小了，玩玩可以。生产还是 opus 吧～

[Ken1028]

@zyxk mlx 我在 MBP 也是加载失败，gguf 可以

[wangtufly]

试过了，不得行。Mac mini m4pro 64G 基本上不能用的状态。

[Dream4U]

本来 AI 最大的问题就是不确定性，你再配这么个本地模型，纯折腾。

[nc]

搞个 nsfw 版提供情绪价值倒是挺好

[kirbyzhu]

小模型不行

[EchoWhale]

64G macmini m4 pro, gemma4 31B Q6K
很慢, 非常慢, 10token/s. 而且智商也一般
有个钱买套餐都够好多年了

[EchoWhale]

[nabanbaba]

工作，正常用途，还是调公有云接口吧
像楼上说的数据本地化，nsfw 折腾才考虑本地部署，基本上也就是折腾着玩，打发时间。
m3ultra 在 openclaw 这种十万级别的上下文推理效果估计都一般。

[Ken1028]

@EchoWhale Q4 能用吗😂

[EchoWhale]

@Ken1028 速度快一点, 智商再低一点. 有啥用

[MacsedProtoss]

@Ken1028 我在 5090 跑的话主要是上下文开不到非常高，几万吧，到不了 256K ，速度受限在 preprocessing ，吐 token 有几十。如果是 Mac 的话考虑到 preprocessing 估计 64G 的上下文长度和 5090 差不多的情况下速度慢很多

[nexo]

你用这个给龙虾不是找罪受 找气受嘛