从今年 4 月份我就想做一款通用极简的桌面端+语音 AI 助手,专注于 browser use 和 computer use 两个方向,因为个人的技术积累有限,就决定率先从相对简单一点的 browser agent 能力入手。
项目的 agent 部分大量参考了 Hermes agent 、open claw 的代码实现,操作浏览器这块主要通过 cdp 。因为桌面端使用的是跨平台方案 Electron ,所以使用体验上跟原生浏览器差非常多。
关于交互方式是我最最纠结的,至今为止也是。我一直崇尚 human in the loop ,一个好的框架是帮助用户解决绝大多数问题,但是关键节点是应该允许用户参与其中的,比如下单、付款、方案选择、偏好问卷收集。现在开源社区有很多类型的 browser agent ,体验上我个人不是特别喜欢,也无法满足我说的人参与循环。Electron 上能满足我开发需要的只有 webcontnetview ,交互上也能勉强达到及格。也正是因为这个方案,内存方面优化空间也有限。
前期困扰我比较大的问题就是 token 消耗,browser agent 的核心说的形象一点就是把页面变成一个 dom 地图,然后扔给 llm 一堆工具,让它导航到对应的目的地。一般是看一眼、走一步非常消耗 token ,后来也是开源社区给的灵感,我把一堆工具抽象了一下,只提供给 llm 少数几个工具,然后我内部做工具调用编排,这样原来看一步走一步,就变成了看一步,走多步,再加上 Hermes 自学习沉淀 skill 的特性,越用越快越用越省,除了这些之外还对历史会话中的 dom 做了剪枝优化,在不破话缓存的情况下也节省了大量的 token 。再加上 DeepSeek v4 flash 既便宜又好用,目前还能坚持。
产品的使用场景我觉得对于身处不同行业的人来说是不一样的,比如 软著申请机构、签证申请机构、自动化测试,细分领域可做的很多,刚开始我做这个产品就是想先解决自己的问题,帮我现在 boss 投简历,目前还不敢这么干怕封号。 当前支持多任务共同执行,支持 Linux 、mac 、win 3 个平台
关于这个产品我最开始是想开发出来卖钱的,但是现在觉得实在太难,计划开源(整理整理,需要一点时间),因为有小伙伴问了是什么浏览器插件,所以就想着分享出来。目前消耗的所有 token 都是个人自费(我是个小卡拉米打工族),我充了 500 快,如果有小伙伴想要体验的,可以下载玩玩,我会发内测码。
如果有小伙伴想要交流技术的也可以➕v 聊聊,比如怎么做内存优化,怎么做数据收集的表单数据安全存储。
东西做的一般,不喜勿喷,谢谢各位大哥。
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.