不懂就问，刚才看到一个很好的 AI 应用场景，想问一下这个是怎么实现的。

[is101]

看起来像是 AI 操作手机，手机 UI 界面每个控件被彩色框出来，框上还有数字标记，想问下这个是怎么实现的呀？

应用场景视频： https://share.cleanshot.com/npxzbc0G

没搞过安卓开发相关项目 问了下 gpt 回答是 AutoJs ？ 不是吧...

[crysislinux]

可能是用的 Android 的测试功能 https://developer.android.com/guide/topics/ui/accessibility/testing

[Fooooo0]

搜 mobile-use , UI-TARS

[jon97]

框像是是开发者模式中的“显示布局边界”，或者是配合了 uiautomator 抓取布局自己绘制的？

[leehaoze98]

像是微软的这个 https://github.com/microsoft/OmniParser

[leehaoze98]

@leehaoze98

[mqnu00]

android 开发者模式 不是有 ui 标注功能吗？

[iflint]

但凡是能适用于任意三方进程的就来两种模式，一种是 Droidrun 、Maestro 那种去基于无障碍系统/uiAutomator 去 dump UI 布局信息然后画框的；另一种是走的纯截图然后视觉识别以后画框的。 当前主流的就还是通过拿无障碍信息

[iyaozhen]

统称 computer-use ，其实很成熟了。可以是纯视觉方案，可以加一些元素辅助

[is101]

@leehaoze98 #4 看了下感觉确实是这个 👍