[开源自推] My AI Gateway | 适合个人的 AI 聚合网关 重点是熔断重路由

[zhuangjie]

My AI Gateway （ MAG ）

适合个人的 AI 聚合网关，开发该项目重点是将多个渠道“模型聚合”、“故障转移”与“熔断”，一个入口模型可以指定多个模型，支持配置熔断范围（模型/apiKey 级别）,熔断冷却后自动可用，一个渠道可以支持多个 apiKey 。

熔断类型：

• 模型：当模型不可用时，只熔断该 apikey 的该模型；
• apiKey 级别: 当模型不可用时，熔断整个 apiKey ；

效果：

需要的话可以部署看看

部署：

git clone [e-mail]:My-Search/my-ai-gateway.git
cd my-ai-gateway
cp .env.compose.example .env.compose
bash update.sh
# 卸载：docker-compose down && cd ../ && rm -rf ./my-ai-gateway

访问面板： http://<你的 ip>:3990

使用： http://<你的 ip>:3990/v1

开源地址： https://github.com/My-Search/my-ai-gateway

项目用 AI 开发的，可能有一点问题，可以提交 PR 完善。

[PowerDi]

请教一个问题，为什么网关都是以"模型"作为 key 的可见范围，大家没有遇到过同一个模型不同的渠道分别用在 A 和 B 服务器上的情况吗