推荐一个开源 LLM 网关: Bifrost,支持负载均衡和故障切换

3 月 26 日
 xiaoz

Golang 开发的,低占用、高性能。主要特点是可以聚合多家 AI 大模型统一调用,且支持负载均衡故障切换,避免免费大模型出现 429 的尴尬。

Github 开源地址: https://github.com/maximhq/bifrost

写了一篇文章介绍如何部署和配置:https://blog.xiaoz.org/archives/22835

1895 次点击
所在节点    分享发现
13 条回复
GlobalNPC
3 月 26 日
字节内部抓包工具也叫 Bifrost
xiaoz
3 月 26 日
@GlobalNPC 网上搜了下叫 Bifrost 的项目好像还不少,不特别指明是大模型网关,AI 都不知道说的哪个。
leena
3 月 26 日
有一个代理 app 也叫这个名字,不过好久没更新了
wm5d8b
3 月 26 日
高级功能都得企业版,免费版不如 one-api 的分支
xiaoz
3 月 26 日
@wm5d8b 看个人用途吧,one-api 很多功能我用不上,我主要用 Bifrost 的负载均衡和故障切换。Bifrost 路由更强大一些。
hellskof
3 月 27 日
@leena 安卓 APP 吧,装过,很久没更新了,后面没用了
daimaosix
3 月 28 日
支持给接口配置代理吗
xiaoz
3 月 29 日
@daimaosix #7 ,刚刚看了下支持 HTTP 和 SOCKET5 代理。参考: https://h.webp.top/2026/03/29/ftvwKEAX.png
daimaosix
3 月 29 日
@xiaoz #8 感谢,看上去不错,打算迁移过来试试
daimaosix
3 月 30 日
@xiaoz 我没太理解,这个负载平衡和故障切换好像就是不同的 AI 提供商来回切,如果我有两个 codex 的 API 没用吧。。。模型提供商只能添加一个,base_url 也只能有一个。。。
xiaoz
3 月 30 日
@daimaosix #10
1. Codex 应该没有提供标准的 API 供第三方工具调用或接入吧?
2. 模型提供商确实只能加一个,但是一个提供商可以设置多个密钥,参考: https://h.webp.top/2026/03/30/zexexyhQ.png
3. 另外如果你想实现相同的渠道多个不同的密钥,也可以添加自定义渠道,可以自己填写 base_url ,参考: https://h.webp.top/2026/03/30/wrE9fXvd.png
4. Bifrost 的强大来自灵活的路由规则,可以实现渠道商轮询负载、也可以根据模型来负载,看你的需求和具体情况,我写了一篇文章简单介绍路由规则: https://blog.xiaoz.org/archives/22857 更多使用的话你可以参考下官方文档,另外官方文档有个 AI 机器人,不懂的也可以直接问文档页面上的机器人。
daimaosix
3 月 30 日
@xiaoz #11 感谢,看到自定义了,看了很多网关,这个够简洁稳定
xiaoz
3 月 30 日
@daimaosix #12 ,不客气,希望对你有帮助。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1201256

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX