[开源自荐] ModelMoor:把本地/远程模型、商业 API 和订阅账户收进一个本地地址

2 小时 39 分钟前
 Kingfish404

最近在 Mac 上同时使用自托管模型和几个云端 API ,经常要在不同客户端里反复改 Base URL 、模型名和 API key 。远程机器上的 vLLM 、SGLang 、Ollama 还要单独维护 SSH 端口转发。于是我做了 ModelMoor ,现在把它开源出来。

ModelMoor 是一个原生 macOS 菜单栏应用,也带 CLI 。它可以把 SSH 后面的 OpenAI-compatible API 转发到 Mac ,再把远程模型、直接连接的商业 API ,以及 ChatGPT/Codex 、Claude Code 、Kimi 、Grok 等订阅账户中选定的模型,统一放到一个本地地址:

http://127.0.0.1:17777/v1

客户端只需要保存一个 Base URL 和一个 ModelMoor API key 。每个公开模型名会固定路由到指定的上游模型,对应凭据分别保存在 macOS Keychain 。它不会自动切换模型、负载均衡或重试付费请求,路由关系是显式的。

目前主要解决三个场景:

  1. ssh -L 把 DGX 、GPU 服务器或家里设备上的 vLLM 、SGLang 、Ollama 接到 Mac 。
  2. 把 SSH 模型和 DeepSeek 、Kimi 等兼容 API 汇总到一个本地 OpenAI-compatible 地址。
  3. ssh -R 把 Mac 上的 Unified API 送回远程开发机,让远程工具继续使用同一个模型列表。

另外做了模型发现、健康检查、SSH 断线恢复、多 API key 、SSE 流式转发和用量统计。监听地址默认只绑定 loopback ,API 凭据放在 Keychain ,Gateway 默认开启 bearer token 验证。

项目目前是 v0.2.0 ,支持 macOS 14 及以上,使用 Swift 开发,MIT License 。现在还是很早期的版本,安装、交互和兼容性上肯定还有不少可以改的地方。欢迎试用,也很想听听大家实际接了哪些模型和客户端,以及遇到了什么问题。

项目主页:https://kingfish404.github.io/ModelMoor/

GitHub:https://github.com/Kingfish404/ModelMoor

下载:https://github.com/Kingfish404/ModelMoor/releases/latest

131 次点击
所在节点    Local LLM
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1235915

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX