AI-关于移动端自验证能力的疑问?

1 月 26 日
 jolly336

根据 Claude Code 的 Boris 经验分享 ( https://x.com/bcherny/status/2007179832300581177),里面提到了在 AI 编程实践中,「 AI 自行验证闭环( Self-Verification Loop )」是决定输出质量的关键能力之一。 通过为 AI 引入验证自身结果的能力(如自动运行测试、校验 UI 行为、比对预期输出),可以让 AI 在「编码 → 验证 → 修正」之间形成自动化闭环,而不是一次性生成代码即结束。 这种闭环机制本质上让 AI 从“代码生成器”升级为“具备自我纠错能力的执行体”,是实现稳定、高质量 AI 编程输出的基础。

在移动端研发场景中,APP 应用效果强依赖真实的手机进行运行与验证,可以在 AI Coding 后构建出产物部署到手机上预览让 AI 自查。但这里涉及一个问题,如何让 AI 进入到修改的目标页面,不想每次认为手动点击?

能想到的思路是:1 ) 对每个页面的入口点击建立一条条线路信息,可以召回让 AI 按线路进去目标页面; 2 )让 AI 利用手机的截屏来 OCR 识别自己判断进入,但过程漫长且不可控,消耗 token ;

备注:在仓库里面还有 AB 配置的实验开关这些,细节不少。

大家有什么好的办法吗?

1223 次点击
所在节点    人工智能
5 条回复
maolon
1 月 26 日
我最近在开发 app ,感觉最简单朴素也是最实用的方法,直接写一个 e2e run book 的 md 让他读这个 file 然后按照固定行为检查(调用模拟器的 mcp )。
另外 token 消耗这个问题基本无解,就算是现在配置过的 mcp 只返回文字 layout 和按钮 id ,在关键步骤他还是要截图然后 agent 这边读图,依然是很烧 token 的行为(不如说自动化测试就没有不烧 token 的),好消息是未来 token 会越来越便宜,变成随便烧也没事的状态
Dabney
1 月 27 日
@maolon 老哥有最佳实践可以参考一下么?
jolly336
1 月 28 日
@maolon 一个大 APP 的话,可点击的入口多,操作路径长,多,如果把路径穷举写到 md 文件里,成本高且需要人工维护,而且现在不止一个 APP ,想做一个泛化的通用 UI 自验证能力,感觉还得想办法做一个自动化采集的方案,自动维护操作路径
maolon
1 月 28 日
@Dabney 对不起,没有啥最佳实践,只能算是在摸索这方面
maolon
1 月 28 日
@jolly336 你说的很有道理,如果要考虑泛化和可维护确实是一个挺难的问题,不过我觉得 runbook 的方法可能还是可行的(可以针对每个 app 一个 runbook ),从人维护变为使用 agent 来维护这个 runbook 里的路径,你只需要启发式的告诉这个维护 agent 需要检查哪些东西,甚至可以让他自行检查代码库和意图来写维护这个文档,人只做最终审核。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1188545

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX