使用本地模型 Gemma4 来驱动 OpenClaw

[Livid]

替换下面指令中的 model ID 为你本地 Ollama 里启动的版本。

openclaw onboard --non-interactive \
  --auth-choice custom-api-key \
  --custom-base-url "http://127.0.0.1:11434/v1" \
  --custom-model-id "gemma4:31b-it-q4_K_M" \
  --custom-api-key "ollama" \
  --secret-input-mode plaintext \
  --custom-compatibility openai \
  --accept-risk

[0U0]

需要什么配置才能跑得动

[Livid]

@0U0 这里有不同版本，应该总有一个是本地能跑起来的：

https://ollama.com/library/gemma4/tags

[Visoar]

Google 搞了个 `Google Al Edge Gallery`，在 iPhone 上直接跑起 e2b/e4b 版本 Gemma4 ...
试了 e2b 速度很好很顺畅，能力也不错.

看起来今年端侧小模型要开始卷了

[pkuphy]

这个模型真的好用

[senooo]

手机上的 e2b 2G PC 端的 e2b 7G

[CatCode]

@Visoar iPhone 13 提示内存不足。iPad 倒是跑起来了，就是 UI 比较蛋疼。

[v2gba]

站长这个得 30+的内存才能跑了吧？

[zivn]

32G M3 Pro 不论用 mlx 还是 ollama 跑 31b 基本没法用。
聊天可以，openclaw 直接卡死。
虽说理论上只要 20G 内存，但 openclaw 上下文太长了，预填充要几分钟甚至十几分钟。
26b 是 MOE 就没试了，感觉还是 Dense 才有前途。

[zivn]

mlx 版本在 huggingface 上，mlx-community/gemma-4-31b-it-nvfp4 ，需要用 mlx-vlm 运行。

[huanxianghao]

很棒。
在 windows 上面跑了，4070s 跑 26b ，感觉思考时间有点长

[paranoiagu]

龙虾的上下文太长了，我 24G 显卡，跑 27B 的 qwen3.5 ，开了 64K 上下文，再大就爆显存了。但是 64K 龙虾不够。

[chipipi]

目前什么设备能跑得动？

[dinjufen]

16G 内存的 mac mini m4 能跑动吗

[zoozobib]

测试 qwen3.5-27b q4 和 gemma4-31b q4 。200K ctx 同样的代码问题，后者一把过，测试用例还是少

[zoozobib]

但前者能跑到 38 /t 后 只能到 33/t

[levn]

27b q4 使用 32G 显存，就可以开 200k 上下文
31b q4 使用 64G 显存，kv q8 量化都开不到 100k 上下文

[crocoBaby]

能用度如何？

[learnshare]

16G M2 Mac mini 勉强能跑起来低配两个版本，但仅能跑起来，没啥可用性
以后得买 64G 版本玩一玩了

[sickoo]

@dinjufen 跑 mlc 吧

[zoozobib]

新测，加了 2b 的 draft , 提升到 45/t ;Draft 接受率 不错，5 成