我在做一个客户端应用，客户端需要调用大模型能力，但显然不能在客户端直接暴露模型 API Key ，因此必须通过一个中间层来完成请求转发、鉴权和控制使用。我理解从架构上完全可以自己实现，但实际拆下来涉及用户身份、请求转发、限流、用量统计、Key 管理等，感觉成本和复杂度都不低。
我想确认的是：这类“客户端安全调用模型”的场景，是否已经有比较成熟的 SDK 、托管服务或通用方案可以直接使用？ 理想状态是：我不需要从零搭一整套后端，只需要做很薄的一层配置或少量 glue code ，就能实现隐藏真实模型 Key 、按用户/设备限制使用、统计用量，甚至支持后续计费。
如果自己实现是不可避免的，那有没有被广泛采用的 “最快可落地”的部署方式或最小架构？比如开箱即用的网关、代理或参考实现，而不是从鉴权、存储、并发控制全部手写。希望听听老哥老姐们类似场景下的实际经验和推荐。
 |
1
maocat 2 小时 41 分钟前 via Android
oneapi newapi
|
 |
2
ikooma 2 小时 38 分钟前
oneapi ，docker 部署一个，有自带的账号和权限管理功能
其实这个问题问问 ai 就会给你推荐 |
 |
5
TArysiyehua 2 小时 7 分钟前
直接弄两套 key 呀，测试环境一套，线上一套，你打包是本地电脑打包的？
|
 |
6
Solix 2 小时 2 分钟前
不应该是后端接 API ，然后后端暴露你们自己的接口给前端吗，哪有大模型直接接前端的，我只在纯客户端产品里足迹填 API 见过
|
 |
8
Cruzz 1 小时 55 分钟前
我们自己做，当然我们的产品也不是单纯的前端直接调用模型能力，
|
 |
9
unco020511 1 小时 48 分钟前
vercel ai 网关,符合你的要求,其实上面说的 oneapi newapi 大致也是做这个事的
|
 |
11
iOCZS 1 小时 23 分钟前
代理
|
 |
12
furlxy 1 小时 16 分钟前
客户端调自己服务器用自己的 token ，服务器调模型 api 是另一个 token
前面那套要自己做，确实有不少考虑的，负载、限流防刷啥的 |
Select Language