EDDYANNNG
V2EX  ›  问与答

大家现在 AI Agent 都是怎么管理多个大模型的?

  •  
  •   EDDYANNNG · 3h 52m ago · 229 views

    大家好,我是 ZGI 的产品运营 Eddie 。

    最近我们把 ZGI 开源了,正在继续打磨里面的一些企业 AI 运行能力。 我自己最近比较关注一个问题:当一个团队同时用 GPT 、Claude 、DeepSeek 、Qwen 、Gemini 这些模型时,到底应该怎么管理?

    一开始可能没什么感觉,大家各用各的 API Key 、各接各的平台。 但项目多了以后,问题会慢慢出来:

    API Key 到处散落; 谁在用哪个模型不清楚; Token 花在哪不好统计; 高阶模型谁能用、谁不能用也不好管; 想切模型或者统一调用入口,也会变得很麻烦。

    我们在 ZGI 里做了一个 Model Gateway ,想把多模型接入、调用、权限、Token 统计这些放在一起处理。 但说实话,这块我们也还在持续优化,所以很想听听大家真实的使用经验。

    想请教几个问题:

    你们现在是怎么管理多个模型的? API Key 一般放在哪里? Token 成本会做统计吗? 团队里会限制谁能用 GPT / Claude 这类高阶模型吗? 有没有遇到过模型切换、账单归因、权限管理方面的坑?

    如果你也在做 Agent 、RAG 、工作流、多模型接入这类东西,欢迎一起交流。 不一定要夸,也非常欢迎直接拍砖。哪些地方设计得不合理、哪些功能看起来没必要、哪些文档看不懂,都可以直接反馈给我。

    我更希望能和大家深度聊聊:企业里的 AI Agent 到底需要什么样的运行环境,才是真的能长期用下去。

    如果有人感兴趣,我可以在评论区放一下 ZGI 的 GitHub 和官网地址。

    1 replies    2026-07-02 19:48:29 +08:00
    zisen
        1
    zisen  
       1h 36m ago
    我用 cpa 或者 axonhub 的时候,如果 claudecode cli 更新了或者 provider 更新了,就会导致暂时的不可用
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3120 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 13:25 · PVG 21:25 · LAX 06:25 · JFK 09:25
    ♥ Do have faith in what you're doing.