Magic Context 大模型防痴呆插件

[yidinghe]

https://github.com/cortexkit/magic-context

再牛的大模型，上下文过长都会变成痴呆。

这个 harness 插件的作用就是管住上下文，让你在一个会话里面可以永远聊下去。具体就是：

1. 一个项目只需一个会话，这个插件会主动控制上下文的长度，将不需要的内容清理掉，将暂时不需要的记忆存档，需要时又重新加入上下文。
2. 多个项目的记忆可以共享，包括环境配置、命名风格、设计意图，你可以将多个项目放在一个 workspace 里面来共享记忆。
3. 用户画像，记录用户的开发习惯、表达习惯，让大模型更精准的获知用户意图。

有人会问这有什么用，回答是聊天更自然了，我可以直接说 “上周让你改的那个配置我不记得了”，然后 Agent 就主动找出来给我看。这就极大地降低了开发者的心智负担。

插件支持 pi 和 opencode ，值得大家试一试。

[fantasts]

很早就开始用了，最近出了 astra 成本有点贵了，开始思考是否真的需要这玩意。

这个插件代价是会降低缓存命中率。

开启 magic-context 缓存命中率下降大概 5%，成本上升 30%。

最近跑了几个任务都是 A/B 对比，一个启用 magic-context ，一个走远端压缩。

每次任务会话任务 tok 消耗在 1.5 亿。

A/B 都很好的完成了任务。没有发现 Magic Context 明显优于 openai 的远端压缩。

目前已经卸载该插件了。

[yidinghe]

@fantasts 我觉得缓存命中率很正常。你成本高大概率是没有控制上下文，MagicContext 的核心作用就是控制上下文，当你上下文控制在 160K 以内的时候，每次请求的总消耗就很少，命中率稍微低点没关系。如果你不做控制，上下文涨到 800K ，那整个 token 消耗直接飙升几倍，这时候命中率看上去高几个点，实际上是因为分母大了几倍而已。或者说，这个任务你以为要 150M token ，实际上 30~40M 就能完成。

[fantasts]

@yidinghe 我是设置的最大 256k 上下文，实际使用中 magic-context 会只是用 80%作为硬上限。
成本上升 3 成是插件官方的说法，我实际多次 A/B 对比同任务缓存命中下降 5%，使用总 token 差不多。5%的缓存下降换算成成本上升大概 30%，没有额外计算小模型的层本。验证了官方说法提高 3 成成本没问题。