开发了一个桌面端 browser agent,欢迎体验

6 小时 36 分钟前
 Unitent

从今年 4 月份我就想做一款通用极简的桌面端+语音 AI 助手,专注于 browser use 和 computer use 两个方向,因为个人的技术积累有限,就决定率先从相对简单一点的 browser agent 能力入手。

项目的 agent 部分大量参考了 Hermes agent 、open claw 的代码实现,操作浏览器这块主要通过 cdp 。因为桌面端使用的是跨平台方案 Electron ,所以使用体验上跟原生浏览器差非常多。

关于交互方式是我最最纠结的,至今为止也是。我一直崇尚 human in the loop ,一个好的框架是帮助用户解决绝大多数问题,但是关键节点是应该允许用户参与其中的,比如下单、付款、方案选择、偏好问卷收集。现在开源社区有很多类型的 browser agent ,体验上我个人不是特别喜欢,也无法满足我说的人参与循环。Electron 上能满足我开发需要的只有 webcontnetview ,交互上也能勉强达到及格。也正是因为这个方案,内存方面优化空间也有限。

前期困扰我比较大的问题就是 token 消耗,browser agent 的核心说的形象一点就是把页面变成一个 dom 地图,然后扔给 llm 一堆工具,让它导航到对应的目的地。一般是看一眼、走一步非常消耗 token ,后来也是开源社区给的灵感,我把一堆工具抽象了一下,只提供给 llm 少数几个工具,然后我内部做工具调用编排,这样原来看一步走一步,就变成了看一步,走多步,再加上 Hermes 自学习沉淀 skill 的特性,越用越快越用越省,除了这些之外还对历史会话中的 dom 做了剪枝优化,在不破话缓存的情况下也节省了大量的 token 。再加上 DeepSeek v4 flash 既便宜又好用,目前还能坚持。

产品的使用场景我觉得对于身处不同行业的人来说是不一样的,比如 软著申请机构、签证申请机构、自动化测试,细分领域可做的很多,刚开始我做这个产品就是想先解决自己的问题,帮我现在 boss 投简历,目前还不敢这么干怕封号。 当前支持多任务共同执行,支持 Linux 、mac 、win 3 个平台

关于这个产品我最开始是想开发出来卖钱的,但是现在觉得实在太难,计划开源(整理整理,需要一点时间),因为有小伙伴问了是什么浏览器插件,所以就想着分享出来。目前消耗的所有 token 都是个人自费(我是个小卡拉米打工族),我充了 500 快,如果有小伙伴想要体验的,可以下载玩玩,我会发内测码。

如果有小伙伴想要交流技术的也可以➕v 聊聊,比如怎么做内存优化,怎么做数据收集的表单数据安全存储。

东西做的一般,不喜勿喷,谢谢各位大哥。

https://fandcode.com/

460 次点击
所在节点    分享创造
12 条回复
lozzow
2 小时 33 分钟前
你这个登录是透明的呀,还有,你这个内测邀请码半天都没有发过来,还是说需要人工处理你们这个?你的整个浏览器本身也是通过 Electron 去实现的吗?
Unitent
2 小时 11 分钟前
@lozzow 人工处理的佬 就是设计的透明的
Unitent
2 小时 10 分钟前
@lozzow 发了,浏览器是 electron 的一个内嵌容器 https://www.electronjs.org/zh/docs/latest/api/web-contents-view
lozzow
1 小时 50 分钟前
@Unitent #3 那这样的话,有些网站是过不了风控的吧?那你这个问题就大了呀。不是很了解啊,感觉上是这样的。他的行为和 chromium 是一样的吗?
Unitent
1 小时 37 分钟前
@lozzow #4 是的,行为一致,但是指纹不一样,目前在研究替代方案了。
hellodigua
57 分钟前
我想问问它和 OpenCLI 的区别是啥
Unitent
49 分钟前
@hellodigua 首先技术实现就不一样,实现功能也不一样,交互逻辑也不同
hellodigua
46 分钟前
因为你提到“专注于 browser use 和 computer use 两个方向”

看起来好像和 OpenCLI 是竞品的关系,OpenCLI 毕竟主打的也是 browser use
musi
40 分钟前
@lozzow #4 好奇有哪些场景会过不了风控,因为 codex 的 in-app browser 也是基于 electron 实现的
Unitent
33 分钟前
@musi 有一些政府网站,12306 这些 还有社媒平台,以及 boss 直聘这些,反爬比较严格的
Unitent
31 分钟前
@hellodigua #8 相关的竞品挺多的,技术底蕴和产品稳定性还是他们更胜一筹
musi
31 分钟前
@Unitent #12306 基本没反爬吧,之前写抢票脚本都不用特殊处理
至于社媒平台,我了解到好像小红书打开 f12 就会标记,要是有自动化操作就直接封号
X 我用 codex 自动化操作目前还没有什么问题

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1231668

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX