手搓了一个 agent 架构能减少 长 coding 任务的 llm 往返和 token 开销 80%左右。有 benchmark 和测试脚本以及数据集!

14 小时 7 分钟前
 yohjisakamoto
这个想法其实非常简单。假设 Codex 需要修改文件并运行测试,通常需要经历以下流程:
第 1 轮——应用补丁(修改 package 文件)
第 2 轮——应用补丁(修复 Bug )
第 3 轮——应用补丁(修改测试脚本)
第 4 轮——执行构建
第 5 轮——运行测试和代码检查
第 6 轮——如果使用 Playwright ,Codex 还需要额外一轮读取截图等媒体文件
我们的思路是使用宏命令,将整个流程放入一个 RAG 中,从而在单轮内完成。例如:
步骤 1:检查运行环境
步骤 2:应用补丁(修改 package 文件)
步骤 2:应用补丁(修复 Bug )
步骤 2:应用补丁(修改测试脚本)
步骤 3:执行构建
步骤 4:运行测试和代码检查
步骤 5:读取媒体文件
我使用 Codex 和 GPT-5.6-Sol High 对这种方式进行了测试。结果显示,它可以减少约 40%–80% 的大模型交互轮次,同时节省接近相同比例的 Token 。
具体实现和测试基准可以在项目的 Markdown 文档中找到。我使用 DeepSWE 任务和完整代码仓库重写任务进行了测试:
repo:https://github.com/Tura-AI/tura
benchmark 文档: https://turaai.net/docs#benchmark-current-test-set-record
590 次点击
所在节点    分享创造
2 条回复
yidinghe
14 小时 1 分钟前
我有点怀疑,如果用自然语言描述这个流程(比如用伪代码来严格定义),直接放到提示词,是不是也能达到类似效果。也许会增加几百个 token ,但是对长任务而言可以忽略。
yohjisakamoto
6 小时 11 分钟前
@yidinghe 不太可能,因为这是执行架构完全不一样,工具调用层是没法消费的。你简单看一下就能理解。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1228308

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX