codex 的电脑控制用的是什么技术？

[jiuzhougege]

在 macos 右上角菜单栏有个电脑的图标，图标右下角有个小人头像。 在被控制的 app 左上角也有显示这个图标； 可以在后台操作这个 app ，不阻塞用户使用电脑。

[supuwoerc]

Computer use 吧

[jiuzhougege]

@supuwoerc 这个我也知道，但是底层是怎么实现的？
Accessibility API 是独占的，应该不是 Accessibility API 实现的

[cubecube]

https://github.com/e2b-dev/open-computer-use
开源实现，原理差不多吧，codex 不一定用的这个

[vitality]

就是用的录屏 API + Accessibility API 。
至于非独占：点击不控制光标，而是直接对目标进程的元素执行动作；输入不发全局键盘事件，而是设置元素的值、选中文本。所以不需要动光标也不抢焦点，只需要在后台运行。

[zephyru]

啊，你是说后台使用电脑么？这部分，windwos 的话比如有 https://github.com/sebaxakerhtc/rdpwrap 同样不一定用的是这个，只是说类似的东西很多

[okkk]

openai 收购了初创公司 Software Applications Incorporated (SAI)，苹果 “快捷指令”（ Shortcuts ） 应用的原创团队，Codex 后台操控 macOS 应用的核心组件，用的是 Sky 的客户端程序