做了一个开源的 LLM 私有化部署平台 LLMPod，想找一些有 GPU 的朋友参与测试

[btpanel]

最近我们做了一个新项目 LLMPod，定位是开源的私有化 LLM 推理服务平台，目前正在招募首批体验用户。

做这个项目主要是因为自己部署大模型之后，会发现“把模型跑起来”其实只是第一步。

后面还有 GPU 节点管理、推理引擎、模型部署、API Gateway 、故障切换、API Key 、配额、调用日志以及多用户权限等一系列问题。

LLMPod 希望把这部分能力整合起来。

目前主要包括：

• 接入和管理自己的 GPU 节点；
• 可视化部署、管理模型；
• 支持 vLLM / SGLang 等推理引擎；
• 将模型发布为 OpenAI 兼容 API ；
• 统一管理外部模型 API ；
• API Key 、配额、用量及调用日志管理；
• 路由、权重和 Failover 。

开源自托管版本可以免费使用。

目前项目还处在比较早期的阶段，所以这次主要想找一些真正有 GPU 服务器或者有多模型 API 管理需求的朋友参与测试。

如果实际部署过程中遇到兼容性问题、Bug ，或者觉得产品设计有什么不合理的地方，都欢迎反馈。

官网： https://llmpod.ai

GitHub： https://github.com/llmpod/llmpod

另外说明一下，LLMPod 和之前的 AingDesk 不是同一个方向：AingDesk 更偏本地 AI 客户端，LLMPod 更偏模型部署、推理服务和 GPU 基础设施管理。