moli: 从零做了一个给 AI Agent 的浏览器

3 小时 57 分钟前
 ldm0

之前润到了一个创业公司去做浏览器相关的东西(

我们有个需求就是需要大规模部署用于网页抓取/RL 训练的浏览器实例,Chrome 在我们的调研之下有点难以裁剪。所以我们尝试从头弄了一个轻量级无头浏览器。

为了达到足够高的兼容性,我们花了比较久的时间把浏览器兼容性弄到了一个不错的程度。你能想象到的 Cookie, WebStorage, IndexedDB, OPFS, iframe, Worker 等等, 包括浏览器安全相关的支持我们都花大力气做了。渲染结果和 Chrome 不能达到 100%,但是对于网页抓取/RL 训练也是完全够用了。

从我们内部 benchmark 看,应该是市面上无头浏览器里面兼容性最好的。

我们已经在生产环境部署了一阵子了,效果不错,实测内存是 Chrome 的 1/7 ,冷启动速度 5x ,然后 CPU 占用是 2/3

在渲染架构这块也有一些小巧思,写了一篇文章记录一下小巧思: https://browser.lexmount.cn/blog/moli-ai-browser

说服领导把这玩意开源了。对于普通用户来说,可以给 Agent 轻量的过 WAF 抓取你想要的网页(知乎,公众号 etc.)

有兴趣的可以看看: https://github.com/lexmount/moli

292 次点击
所在节点    分享创造
6 条回复
ldm0
3 小时 54 分钟前
因为是无头的,所以不是给人看的,没有 GUI ,可以 CDP/WebDriver 连接上去。

在各种 CDP 命令的适配上,应该是 Chrome 之下的 T0 :P
ldm0
3 小时 36 分钟前
moli 虽然没有 gui ,但是依然能把网页渲染好,这里是一个拳皇游戏的例子
![拳皇]( )
ldm0
3 小时 35 分钟前
可以在 Hermes 或者 OpenClaw 里面安装 moli, 帮助 Agent 访问更多的网页。
Unitent
2 小时 46 分钟前
没有出路了,我也做了个 browser agent
ldm0
2 小时 35 分钟前
@Unitent 这个倒不是纯粹 Browser Agent ,是重做一个 Browser 。

因为现在产物只有 40M ,内存占用也是 70M 左右,比传统浏览器小很多,所以有机会嵌入到一些别的东西里面。

也是刚刚起步做完,未来想想看看能不能挖出更多给个人用户的使用场景。
gotoschool
2 分钟前
手里有个域名适合你 mlml

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1236833

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX