为什么这些大模型 API 都不提供临时 API KEY

[tt83]

永久 API KEY 只敢放在服务端或者个人使用。

通过服务端下发临时 API KEY 到客户端，用户本地直接请求大模型 API ，不仅能减轻服务端压力，也能提高用户端响应速度。

云厂商的对象存储一直都这么做，为什么现在这些大模型厂商都简单粗暴就搞一个永久 API KEY 也不能通过 API 来更新？

[leeg810312]

你只考虑功能本身当然没有问题，所以你只有技术思维。但 API 产品还有计费需求和合规考量，API Key 一是区分谁使用谁付费的依据，还有滥用时可以停用，放在客户端 Key 会泄漏，别人的使用记在你的费用，别人滥用你的 KEY 导致被停用，你愿意吗？

[maocat]

产品+架构思维一点都没有

1. 为什么要把用户的数据留到本地？
2. 我宣传用 GPT-5 实际是 GPT-3.5 你怎么知道？
3. 阿里云服务调用阿里大模型接口响应是不是更快？
4. API KEY 有速率限制，你是在后端直接轮换 KEY ，还是在前端用临时 KEY 出错了换新 KEY 再进行 Retry ？

[realpg]

对象存储有这玩意是因为这玩意完全可控...

我们干的最黑的事儿, 也不过是偷了王者荣耀的 sts 把我们自己的文件放上面免费存了几年

且后续人家直接可以通过比对数据库和实际文件把不是应该有的文件都删了...

你敢做临时 api key 我就敢 1 小时给你生成几十万美元 token 账单

[009694]

大模型那输出速度，你的后端转发离瓶颈远着

[igeeky]

安全问题不用考虑了? 如果模型直接输出了意料外的内容. 产品下架都是小事, 还有更严重的.

[nicoljiang]

临时 key （让前端直接用）是一个非常糟糕的设计。

[ZiShuo]

你都直连大模型厂家了，我还怎么收集训练素材优化自家的模型？付费上班的牛马数据标注员为什么不用起来？

[liyafe1997]

@tt83
「我猜你说的那些逻辑也可以放在客户端」
1. 这部分逻辑不想被「开源」
2. 客户端不可信，有时不想行为被客户更改。

[linecode]

问题是很多都要代理才能访问，客户端不能要用户买个代理吧

[HaibaraDP]

后端的逻辑比如负载、限流之类的规则不要了吗

[FloatingLeaves]

完全没必要啊，对象存储的功能相对单一，但是这种 key 一旦在客户端被拿到，随便干啥都可以了，根本限制不了。

[SingeeKing]

OpenAI 其实已经有了，新的 ChatKit 就支持这种用法

[SingeeKing]

@SingeeKing 当然，它有归它有，但这个感觉还是初级阶段

S3 支持 pre-signed url 有很大的一点原因是大文件上传走服务器中转成本太高了，因此有这个东西，而且可以限制上传的文件类型、大小甚至 MD5 可以有效防止滥用

但是至少 ChatKit 的现有实现，一旦生成了 client_secret ，用多少量可就是用户说了算了…… 广泛使用还是得等一个优化的速率&费用限制接口

[ACCI]

通过 new-api 中转下?

[tt83]

@iyaozhen #17 我们的 prompt 不加密，甚至鼓励用户自己修改。想请教 LLM 这种时长比较长的 stream 请求影响大不大，比如一个 2 核 4g 的服务器大概能能支持多少并发，对带宽要求高不高