最近在用 HodlAI 的 Claude 模型跑 OpenClaw (一个 AI agent 框架),发现默认情况下 prompt cache 不生效,研究了一下原因和解决方案,分享给有需要的朋友。
HodlAI 的 API 兼容 OpenAI Chat Completions 格式,支持 Anthropic 的 prompt caching 机制——需要在 messages 中对 content block 加上 cache_control: {"type": "ephemeral"} 标记。
但 OpenClaw 底层( pi-ai 库)的 maybeAddOpenRouterAnthropicCacheControl 函数默认只对 OpenRouter 的 anthropic/* 模型注入 cache_control,自定义 provider 的 Claude 模型不会走这个逻辑,导致 cache 完全不生效。
文件路径:
node_modules/@mariozechner/pi-ai/dist/providers/openai-completions.js
找到 maybeAddOpenRouterAnthropicCacheControl 函数,原始代码:
function maybeAddOpenRouterAnthropicCacheControl(model, messages) {
if (model.provider !== "openrouter" || !model.id.startsWith("anthropic/"))
return;
改为:
function maybeAddOpenRouterAnthropicCacheControl(model, messages) {
const isOpenRouter = model.provider === "openrouter" && model.id.startsWith("anthropic/");
const isClaudeOnCustomProvider = model.id.toLowerCase().includes("claude");
if (!isOpenRouter && !isClaudeOnCustomProvider)
return;
这样只要 model ID 包含 "claude"(不区分大小写),就会自动注入 cache_control。
⚠️ 注意:OpenClaw 更新或 npm update 后会覆盖这个改动,需要重新打 patch 。
改完后实测各模型缓存情况:
| 模型 | Cache 命中 | 计费是否正常 |
|---|---|---|
| Claude Sonnet 4.5 | ✅ | ✅ 正常(降约 91%) |
| Claude Opus 4.5 | ✅ | ✅ 正常(降约 91%) |
| Claude Opus 4.6 | ✅ 后台显示命中 | ❌ 仍按全量计费 |
| Claude Opus 4-6 | ✅ 后台显示命中 | ❌ 仍按全量计费 |
Sonnet 4.5 和 Opus 4.5 缓存命中后费用从 ~$0.035 降到 ~$0.003 ( 9k tokens 测试),效果很明显。
但 Opus 4.6 和 Opus 4-6 虽然后台日志显示 cache 命中了,实际扣费还是按全量计算,感觉是 HodlAI 后端对这两个新模型的 cached token 计价还没适配好。
cache_control 标记有用同样方案的朋友可以试试,省不少钱。
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.