一个 15MB Rust 二进制文件的 Agent CLI,零运行时依赖,旨在充分发挥任何模型的性能

8 月 12 日
 Koimiao
Ante 是一个仅 15MB 的二进制文件,它管理着自己的推理引擎。添加一个 GGUF 文件,即可在您自己的硬件上拥有一个完整的编码代理:无需 API 密钥,无需帐户,模型调用也永远不会离开您的计算机。

GitHub link:https://github.com/AntigmaLabs/ante
🙏希望感兴趣的朋友们能帮忙点点 star⭐️

实测:电脑是 MacBook Pro M4 Max ,基于当前可⽤运⾏内存,提示最适合的可运⾏离线⼤模型为 Qwen3.6 27B ( 17GB )。并且本地跑起来,切换、对话都⼗分⽅便。Ante 对本地模型做全⽣命周期管理:模型下载、加载前预估、启动停⽌。
1826 次点击
所在节点    Local LLM
8 条回复
Tink
8 月 12 日
如果电脑性能弱的话咋办呢
shidianxia
8 月 12 日
🌟了,想问下如果用第三方 api 的话,使用起来体验相比 codex 之类有什么差别吗?
Koimiao
8 月 12 日
@Tink 可以换参数量更小的模型,或者先用项目送的 token 过渡一下
Koimiao
8 月 12 日
@shidianxia tui 使用的体验会比 codex 好很多,比较接近 claude code 。而且相较于 codex 和 claude code 项目专门做过 system prompt 这部分的优化,相对来说会比较省 token
xiaoz
8 月 12 日
请问是否支持 ACP 协议接入呢?
mohanz
8 月 13 日
@xiaoz 有 open pr 但可能还要看
Koimiao
8 月 13 日
@xiaoz 目前 Ante 不原生支持 ACP 接入。Ante 使用自己的 Op/Evt 协议,通过 ante serve 提供 JSONL 标准输入/输出或 WebSocket 通信
rev1si0n
9 月 4 日
和 ollama 有什么区别

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1233880

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX