🚀我在安卓设备上复刻了豆包手机功能!最懂你的安卓 AI 助手 Kitten 来了!

4 小时 8 分钟前
 WJZ0821

Kitten 项目地址(点我!!!)

前言

大家肯定都或多或少听说过豆包手机的魔力:跟 AI 说一句话,豆包自动在后台帮你打开 APP ,并操作应用。但必须购买他们的努比亚定制豆包手机才能玩起来,现在我做了一个 Kitten 助手,利用特权进程+无障碍权限完美复刻了豆包手机的核心功能:在副屏操纵 APP ,无需用户操心。

给大家简单看下 UI 界面。

上图是一个测试用例,目前是已经执行完任务了的结果,正在执行任务时,副屏会在卡片的右侧显示,并且支持点击放大,让你可以看到 AI 是怎么操控你的 APP 的。

UI 设计上参考了 ios 的液态玻璃,使用了安卓侧的一个开源液态玻璃实现,在输入框和底部 tab 、设置的开关中均可体验到丝滑的液态玻璃效果。

目前项目只是测试版,还有很多不足之处,API Key 这些需要大家手动输入,市面上的 AI 基本都支持。

技术细节

使用 APP 需要先开启开发者模式,软件会监听无线调试服务,得现在手机的无线调试中配对上,才能够使得 Kitten 拥有能够拉起副屏的特权进程,这是必要的。并且代码完全开源,没有任何后台偷偷上传的动作,大家可以放心使用~

具体的屏幕识别,会优先使用无障碍服务获取页面节点,如果 AI 觉得有必要的话就会调用截图,获取副屏当前画面内容来辅助判断。

感谢大家~

更多细节就放在 GitHub 的 README 主页里了,就不再赘述,希望大家多多评论,多多 star🌟~

149 次点击
所在节点    分享创造
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1253979

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX