个人业余项目，做了一个可以物理操作 iPhone 的 agent，不知道有商业前景吗？

[fzuccq]

淘宝美团常用的 app ，都没有 API ，agent 没法直接调用。走 ADB 容易被风控，豆包手机那条路似乎也很坎坷不好走。

我想，如果能用硬件直接托管 iPhone ，用摄像头观察屏幕，用机械臂点击，或许能绕过大部分风控检测。搞了几个月，agent 跑通了，使用起来还可以。

目前，最大的问题不是可行性的问题，是 token 太贵，点击一次 token 花费 0.2 元。

大家觉得这种 agent 有商业前景吗？

项目地址： https://github.com/physiclaw/PhysiClaw

硬件组装手册和代码都开源，硬件 DIY 成本 1000 元左右。

[1273712403]

感觉没必要，这一块豆包手机之前做的效果你应该也知道，总有一天这块苹果会自己做的

[fkdtz]

效果挺牛逼的，完成度很高
但速度慢，费用高，真的放到生产环境可能不太能落地

[fzuccq]

@1273712403 这块大厂做肯定有许多优势，尤其是 Apple ，但是各家都推出自己的 agent ，然后互相屏蔽对方，反倒割裂，用户不方便。

[shuijingAGI]

如果需要 token 可以私
https://www.v2ex.com/t/1230103?p=1#reply1

[fzuccq]

@fkdtz 商业化落地还有很多事情要做，商业可行性分析搞清楚，才能知道是否值得放手一搏。

[winglight2016]

很早就看到这种设备，就是手机农场了——而且实现技术已经升级了几代了，现在就是用那种机械装置来点屏幕。有没有用 AI 我不知道，但是这个技术已经非常成熟了。

[fzuccq]

@shuijingAGI 多谢好意哈，但是 agent 每一步都需要发送手机屏幕图片，涉及用户重要隐私数据，不太可行哈。

[fzuccq]

@winglight2016 至少硬件层应该是已经很成熟了。

[notommorrow]

我想要一套，不过我不擅长组装硬件，可以从你这边订购一套吗？你定个价格

[fzuccq]

@notommorrow 非常抱歉哈，我这边不出售成品。零件需自行购买组装，组装手册可以在线查看，每一个步骤都非常详细。如果装配遇到困难，可以联系我，我可以提供帮助。

[DiamondYuan]

@fzuccq

需要焊接吗？ 是否还需要电烙铁。

[fzuccq]

@DiamondYuan 电磁铁的线不够长，需要延长线焊接。但焊接不是必须，胶带捆扎也行，但不如焊接牢固。

[Exception615]

让 codex 操作 iPhone 镜像 这种也还可以

[fzuccq]

@Exception615 利用 iPhone 镜像，对 Apple 耦合度太高一旦 Apple 政策变动，开源项目就很被动。个人使用镜像肯定没问题的。

[tho]

没看完，不过按键精灵 20 年前就有了。

灰产一个小机房上万台都这样跑。

[fzuccq]

@tho 硬件机械结构大同小异，背后的设计理念和应用目的却差异很大，灰产用简单的视觉算法，主要用于刷量，大批量执行重复简单的动作。我的思路是一个 agent 可以可靠使用手机的大部分常用 app ，能自动适应不同 app 和小程序页面导航，成为个人的生活助理。

[Unitent]

请教下 为什么你 b 站发了一个视频就能火

[mulu]

star 支持

[txican]

极客湾 用得着 也有钱

[zerovoid]

机械臂+外置大模型，
太麻烦太贵，

大模型厂商做手机不行，
但是手机厂商自己做内置大模型可以，

比如小米有 mimo ，
华为有盘古，
苹果也有自己的大模型。

[fzuccq]

@Unitent 有技术难度的视频，肯定火不起来，无脑视频才能火。我用了 B 站的推广，要不然冷启动就只有个位数播放量。

[fzuccq]

@zerovoid 每家都有自己大模型，每家都拒绝别家模型调用自己的服务，结果就是生态割裂，用户不便。

[byte10]

楼主可以看看安卓的 autojs 的原理，安卓有辅助 api ，应该会容易很多，而且正规一些。

[fzuccq]

@byte10 纯软件技术栈，容易被风控，如果上了规模的话

[byte10]

@fzuccq 那有没有另外一个技术路线，贴膜的方式，进行触控呢，感觉那种

[byte10]

@fzuccq 就是有没有一种类似贴膜的触控方式，给手机贴上😂，主要是物理的触控看起来好笨拙。其实收集数据应改用 api 去收集，而触控可以交给物理来。

[Unitent]

@fzuccq #121 投了多少呢

[qwer666df]

这种理论上是不是能做看抖音那种广告视频, 然后自动滑 , 最近正打算做这种没想到已经有了

[fzuccq]

@byte10 我刚开始做的时候，想过贴膜方式完成触控点击，搜索发现还处在学术试验阶段，分辨率和稳定性都达不到，成本也很高。收集数据用 api ，android 还可以，iPhone 应该是做不到，Apple mirror 耦合太强。但软件技术栈，量大起来，随时被封杀。

[fzuccq]

@Unitent 1w 多 rmb

[fzuccq]

@qwer666df 我硬件开源了，组装手册可以在线查看。如果纯刷抖音广告视频，建议 agent 后端不要接入大模型，token 太贵，直接视觉算法驱动或者简单 python 脚本驱动硬件点击滑动刷视频，性价比就很高了。

[imqiyue]

@fzuccq 如果只是让 AI 来做这些事情，是不是可以不用考虑用什么系统？安卓就行？另外 iPhone 在 macOS 上有一个软件叫 iPhone 镜像，通过 macOS 连接真机，可以在 macOS 上直接通过鼠标操控手机。

[fzuccq]

@imqiyue 如果只是刷广告视频，ADB+脚本最具性价比。mac 镜像也可以。如果场景操作路径和坐标可预测，就不需要上大模型。

[Blanke]

android root 后注入系统服务，系统层面获取截图和注入事件，不要碰和注入目标进程，可以试试

[ca2oh4]

@fzuccq 你说的这些不是豆包手机的功能吗

[qiaoqianda]

@Blanke root 过不了硬件的强校验，自己 hack 一下还行，让其他人一起用的开源项目，这个路线太过激进。

[qiaoqianda]

@ca2oh4 豆包是在操作系统底层抓取虚拟屏幕和底层事件注入，这种路线问题不在于技术，而在于生态。没有大厂愿意 app 被其他厂 agent 操作，放弃和用户的直接交互，广告可是他们的收入大头。

[bluesenzhu]

挺好的创意，也可以考虑使用本地部署的端侧多模态的模型

[liushui]

glm 有一个手机操作的模型

[qiaoqianda]

@bluesenzhu 如果本地部署的模型能力能跟上，那 token 成本就可以忽略了，应用场景就很多了。

[taonyx]

kickstarter 看看 nanokvm-go ，单线 type-C

[Torpedo]

@fzuccq #5 那可以把图片特殊处理，用便宜的模型识图

[duanxianze]

不需要你这么搞啊，马上下一代 AI 手机就出来了，超级小爱现在就能做到你说的这些事

[fzuccq]

@Torpedo 目前是摄像头拍照后，scale 缩小，本地 OCR 和 icon 检测，把预处理结果和图片一起发给大模型。大模型做规划和识图，返回给 agent 执行。

[fzuccq]

@duanxianze 超级小爱不知道能做到哪个程度，点外卖，购物都没问题吗？

[sanmuisme]

夸一下楼主的执行力，我也有基本差不多的想法，一直没有去实际尝试执行

[Latin]

最近刚出的
https://github.com/OpenMinis/OpenMinis

[runking]

可以走电脑的蓝牙模拟成键盘鼠标的吧

[fzuccq]

@runking iPhone 没有键盘接口，iPad 有

[fzuccq]

@Latin 它这个思路倒是挺有创意的，就是不知道和 claude ，chatgpt, gemini 手机端定位区别在哪里

[duanxianze]

@fzuccq #145 可以，只不过限制比较多，更多的不是技术问题，还是法律问题

[fzuccq]

@duanxianze 大厂做事情，除了技术，要考虑很多问题，法律、声誉，个人做开源项目，就没那多顾忌了。

[xidianlz]

楼主做了我一直想做的，不过我最近发现 macos 其实有个功能是「 iPhone 镜像」，不是可以不用硬件了。

[oma1989]

直接 硬件 HID 啊

[simo]

研究方案，自己搞着玩玩还行
真用的话，成本、效率都不行，还是看使用场景。
这套好玩的是，不只是操作手机，可以扩展很多现实中的其他动作

[fzuccq]

@xidianlz mac 镜像个人用户玩没问题，开源项目或者商用，估计不行了。如果只是个人来用，有很多便宜的技术方案。

[fzuccq]

@oma1989 iPhone 没法接 HID 吧？

[fzuccq]

@simo 扩展到其他动作，能帮忙举个例子吗？比如什么场景？

[simo]

@fzuccq
比如，出远门，家里小动物没人管，托管到外面不放心，可以弄个看护的，投喂、逗玩、开关电器。有精力，可以再配个移动底座，加上远控，可以大模型托管，也可以人工管控。
另外你现在这个，每次都要移走，才能看屏幕，可以改进下，如果能通过屏幕通过截图的方式来，iphone 不知道有什么方案，android 肯定没问题，这样不用每次都移动才能看到屏幕。

[fzuccq]

@simo 你列举的场景非常有启发性，哈哈。agent 其实支持截屏，在摄像头拍摄不清晰时，agent 会调用截屏。但是截屏事件，app 是可以检测的，京东 app 在商品详情页截屏后会触发分享弹窗，所以我在提示词中要 agent 尽量避免截屏。