想输入一句话,让 Claude / GPT / Gemini 同时回答、并排比较。现成工具不顺手(收费 / 不让填 key / 不能并排),就自己搭了。
做法:
- 把访问统一成一个 OpenAI 兼容接口
- 前面套 Open WebUI (并排 + 合成一个答案)
- 两个服务 Docker 跑在群晖 NAS ,24h 常驻
- key 只存服务端,永不下发浏览器
- 规则分流:只让国外模型域名走代理,国内直连
踩的坑:半夜崩是 NAS 的 inotify 实例数满了;代理坏节点用"健康检查指向真实模型接口"自动剔除。
写成长文 + 架构图了: https://zerblion.github.io/zrxl_blog/#/post/2026-06-21-multi-model-ai-gateway 顺便问下,大家的自托管多模型都怎么搞的?