读了一堆 RSI 的论文,感觉都是在炒 RL 的冷饭

6 小时 35 分钟前
 tangyehui

现在 RSI 的工作漫天飞,看来看去,绕不开几个核心问题:

  1. 怎么更高效地 sampling ,找到值得尝试的改动?
  2. 得到新 variant 后,怎么准确判断它有没有变好?
  3. 怎么保持多样性,避免越进化,路越窄? 探索与利用、评估、多样性,都是熟悉的老问题。严格说,这些方法不全是 RL ,但换成“自进化”的名字,也没让这些问题消失。

我们想做的是 RSI 领域的 scikit-learn:基于 Meta-learning 思路,把进化算法模块化。目标是让 GEPA 、RRSI 、Harness² 这类算法更容易实现和比较。目前已经实现了一个 GEPA 变体,用任务轨迹和评测反馈迭代优化 Agent 的提示词、工具和工作流。

当前实验结果表明:在 AutomationBench 的 100 道公开 Marketing 题上,Luna + Gear 优化后的 DSH ,目标完成率达到 88.88%,高于 Astra + Codex 的 84.08%。这批题参与过优化,泛化效果还需独立验证。另外,同用优化后的 DSH 时,Luna 的单任务 API 等价费用比 Astra 低约 95%,不含优化开销。

如果你在学习 RSI ,可以从 Gear 的完整实验入手;如果你在研究算法,可以复用执行和评测流程;如果你想用在自己的业务里,准备一套任务和验收标准,就可以开始优化专属 harness 。

Github: https://github.com/rsi-gear/gear

Paper: https://huggingface.co/spaces/WizardTY/GEAR

666 次点击
所在节点    程序员
4 条回复
strobber16
4 小时 49 分钟前
自进化就是,AI 论文也用 AI 写。就自进化了
godymho
4 小时 32 分钟前
这个图很厉害,用什么 skill 生成的
tangyehui
3 小时 31 分钟前
@godymho remotion
tangyehui
3 小时 30 分钟前
@strobber16 大灌水时代

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1252488

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX