爱意满满的作品展示区。
darrenlopez

2 万字硬核拆解我的开源项目, Growth-Harness :「无限运行时 runtime」和「预注册学习自进化引擎」

  •  
  •   darrenlopez · 1h 32m ago · 128 views
    最近在做的一个非参数化 Agent 自进化机制项目,全量开源,等我的下一台 mac mini 到了我打算挖掘一个能用本地算了连跑 30 天场景

    文章链接:
    https://mp.weixin.qq.com/s/jp4OLuDKy2AuTvj0jzlEBg


    无限运行时 Runtime

    我一直在思考一个问题, 为什么大部分 Agent harness 的设计,都会给任务强行加一个硬停止条件, 而且这个机制大部分 harness 的实现方式是硬编码的, 这非常不 AI native , 我从 2020 年之后开始做企业软件, 我深知一个任务的边界在复杂场景里有多么的模糊, 这就需要 agent 有很长链路的执行能力,需要能自己处理上下文, 遇到各种失败的情况可以自愈,任务流意外中断能继续恢复而不是重头开始。

    最好的上下文压缩是不压缩

    而我在写 growth-harness 的时候,干脆不设硬轮次上限。任务该跑多久,交给 Agent 自己判断:每跑 30 轮,它停下来审一次自己做到哪了、还有什么没做完、值不值得接着跑,需要就继续,不需要就收尾。所以真正限制它的不是轮次,而是你敢给 AI 多少 token 预算。

    我个人认为现在的 personal agent 在拥有了用户大量的 memory 之后,可以尝试使用这个策略,因为大量 memory 已经给这个自我审计设定了真实场景的边界。这个体验大概率会提高不少,因为你不能让用户总是回到产品里给 Agent 下一步的交互(这是假 7*24h )

    Pre-registered Learning 预注册学习机制

    从第一性的角度看,任何在上下文层面做 agent 经验进化的,本质都是一套记忆系统,只不过对存什么结构,怎么召回,怎么用 做了特定领域的改造,在 growth-harness 这个项目中,我构造了一套由「意图」「经验」「效用」三元组构成的一套经验进化引擎, 我叫他 预注册学习( Pre-registered Learning )

    预注册最早出现在科研领域,表示在做实验之前,先公开假设和判断标准,结果回来之后,对问题的这个预定义不准改,事前就把一个问题假设的预定义冻结,实验完成后进行对比复盘,这样形成对比然后把每次实验过程产生的经验记录在案从而调整下一次实验动作。

    这与我们在 agent 领域想要实现的 Agent 越用越聪明,能够根据任务经验自我进化,能够越来越快速和更少步骤的正确实现任务是一样的目标
    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5224 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 06:14 · PVG 14:14 · LAX 22:14 · JFK 01:14
    ♥ Do have faith in what you're doing.