2 万字硬核拆解我的开源项目, Growth-Harness :「无限运行时 runtime」和「预注册学习自进化引擎」

1 小时 38 分钟前
 darrenlopez
最近在做的一个非参数化 Agent 自进化机制项目,全量开源,等我的下一台 mac mini 到了我打算挖掘一个能用本地算了连跑 30 天场景

文章链接:
https://mp.weixin.qq.com/s/jp4OLuDKy2AuTvj0jzlEBg


无限运行时 Runtime

我一直在思考一个问题, 为什么大部分 Agent harness 的设计,都会给任务强行加一个硬停止条件, 而且这个机制大部分 harness 的实现方式是硬编码的, 这非常不 AI native , 我从 2020 年之后开始做企业软件, 我深知一个任务的边界在复杂场景里有多么的模糊, 这就需要 agent 有很长链路的执行能力,需要能自己处理上下文, 遇到各种失败的情况可以自愈,任务流意外中断能继续恢复而不是重头开始。

最好的上下文压缩是不压缩

而我在写 growth-harness 的时候,干脆不设硬轮次上限。任务该跑多久,交给 Agent 自己判断:每跑 30 轮,它停下来审一次自己做到哪了、还有什么没做完、值不值得接着跑,需要就继续,不需要就收尾。所以真正限制它的不是轮次,而是你敢给 AI 多少 token 预算。

我个人认为现在的 personal agent 在拥有了用户大量的 memory 之后,可以尝试使用这个策略,因为大量 memory 已经给这个自我审计设定了真实场景的边界。这个体验大概率会提高不少,因为你不能让用户总是回到产品里给 Agent 下一步的交互(这是假 7*24h )

Pre-registered Learning 预注册学习机制

从第一性的角度看,任何在上下文层面做 agent 经验进化的,本质都是一套记忆系统,只不过对存什么结构,怎么召回,怎么用 做了特定领域的改造,在 growth-harness 这个项目中,我构造了一套由「意图」「经验」「效用」三元组构成的一套经验进化引擎, 我叫他 预注册学习( Pre-registered Learning )

预注册最早出现在科研领域,表示在做实验之前,先公开假设和判断标准,结果回来之后,对问题的这个预定义不准改,事前就把一个问题假设的预定义冻结,实验完成后进行对比复盘,这样形成对比然后把每次实验过程产生的经验记录在案从而调整下一次实验动作。

这与我们在 agent 领域想要实现的 Agent 越用越聪明,能够根据任务经验自我进化,能够越来越快速和更少步骤的正确实现任务是一样的目标
134 次点击
所在节点    分享创造
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1254695

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX