在浏览器里跑本地大模型,我写了个 45M 参数的 Agent 插件(离线 / 免 API Key)

8 月 12 日
 luzhong

看 Needle 2 的文章时手痒,直接把模型编成 WASM 塞进了 Chrome 扩展里,做了个能在浏览器里本地跑的大模型 Agent 。

欸,啪,插件就做好了,很快啊! WASM 一编、模型一塞、浏览器一装,离线就能跑,全程不用 API key 。

它大概能干什么:

技术栈:

演示:

安装:

  1. 下载: https://github.com/beancookie/chrome-needle/releases/latest/download/chrome-needle.zip
  2. 解压后到 chrome://extensions/ 开启开发者模式 → 加载已解压的扩展程序 → 选择解压文件夹

开源地址: https://github.com/beancookie/chrome-needle

第一次发这类分享,轻喷,欢迎 star 和提 issue 。有什么好的想法或者想让它支持的工具都可以聊。

1779 次点击
所在节点    分享创造
1 条回复
luzhong
8 月 12 日
方式一(一键安装,推荐)

1. 下载扩展包:
https://github.com/beancookie/chrome-needle/releases/latest/download/chrome-needle.zip
2. 打开 Chrome 浏览器,在地址栏输入 chrome://extensions/ 并回车。
3. 开启右上角的 “开发者模式”(如未启用)。
4. 将下载好的 .zip 文件直接拖拽到扩展程序页面中,Chrome 会自动完成安装。

---

方式二(手动解压安装)

1. 下载扩展包(同上链接)并解压到本地文件夹。
2. 打开 chrome://extensions/,开启 “开发者模式”。
3. 点击 “加载已解压的扩展程序”,选择刚才解压出的文件夹即可。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1233947

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX