有没有通用的 openai 协议兼容 sdk

[patrickl]

有没有一个通用的项目，可以使用 openai 协议兼容了包括 anthropic 、gemini 、google 、azure 等等各家的协议？服务内部实现 openai 协议向各个模型协议的转换，外部对接都是 openai 协议。

公司内现在有很多的模型平台，我都是手动做了类似 openai-sdk --> anthropic-sdk 的转换。我自己在用的 aihubmix 是基于统一的 OpenAI API 协议。

请教有没有类似的开源项目 or sdk ？

[2han9wen71an]

关键字:newapi

[grfdwerwe]

或者 oneapi ？

[SingeeKing]

https://github.com/Portkey-AI/gateway

[since2021]

portkey 挺好的

[neteroster]

new-api ，要是你觉得太重了也可以考虑下面这个
https://github.com/yym68686/uni-api

[yechentide]

LiteLLM, Requesty 。个人推荐前者，可以私有部署

[StarUDream]

这个就符合你说的： https://github.com/BerriAI/litellm

如果还需要记录大模型的请求和响应，可以再集成 https://github.com/langfuse/langfuse

[xiaochena]

不知道 https://ai-sdk.dev/ 是否符合你的需求