大家好,我是 ZGI 的产品运营 Eddie 。
最近我们把 ZGI 开源了,正在继续打磨里面的一些企业 AI 运行能力。 我自己最近比较关注一个问题:当一个团队同时用 GPT 、Claude 、DeepSeek 、Qwen 、Gemini 这些模型时,到底应该怎么管理?
一开始可能没什么感觉,大家各用各的 API Key 、各接各的平台。 但项目多了以后,问题会慢慢出来:
API Key 到处散落; 谁在用哪个模型不清楚; Token 花在哪不好统计; 高阶模型谁能用、谁不能用也不好管; 想切模型或者统一调用入口,也会变得很麻烦。
我们在 ZGI 里做了一个 Model Gateway ,想把多模型接入、调用、权限、Token 统计这些放在一起处理。 但说实话,这块我们也还在持续优化,所以很想听听大家真实的使用经验。
想请教几个问题:
你们现在是怎么管理多个模型的? API Key 一般放在哪里? Token 成本会做统计吗? 团队里会限制谁能用 GPT / Claude 这类高阶模型吗? 有没有遇到过模型切换、账单归因、权限管理方面的坑?
如果你也在做 Agent 、RAG 、工作流、多模型接入这类东西,欢迎一起交流。 不一定要夸,也非常欢迎直接拍砖。哪些地方设计得不合理、哪些功能看起来没必要、哪些文档看不懂,都可以直接反馈给我。
我更希望能和大家深度聊聊:企业里的 AI Agent 到底需要什么样的运行环境,才是真的能长期用下去。
如果有人感兴趣,我可以在评论区放一下 ZGI 的 GitHub 和官网地址。