关于大模型中转站的两个问题

2 月 27 日
 Kinnikuman

先不考虑这些渠道是如何获取的(逆向/注册机等),我有两个问题:

  1. 比如中转站的大模型能力和官方的大模型能力一致吗?比如中转站的 opus4.6 和订阅 claude 官方的 opus4.6 ,在 cc 里使用,有人对比过吗?

  2. 隐私安全性,中转站都能拿到所有请求信息,理论上只要是中转站想,就可以收集所有的请求内容。个人用用无所谓,但我还真见过很多公司买中转站使用的。关于隐私方面,应该无解吧?毕竟中转站要解析请求,然后 2api 将请求转发给大模型后端,类似 MITM 的角色。所以用的时候,只给 AI 业务逻辑代码,任何环境变量隐私信息都要放到安全的位置不给权限。

3991 次点击
所在节点    程序员
9 条回复
doraemonki
2 月 27 日
隐私无解
jqknono
2 月 27 日
中转站加一个 grep ".*key.*"就可以套出很多有价值的信息了, 用中转站的话最好在容器内开发.
levn
2 月 27 日
拿你的数据去训练
kaichen
2 月 27 日
中转站这么便宜,你觉得可能吗?肯定要掺水,或者把你的数据当作训练数据卖给其他厂商(比如模型厂,比如数据公司),然后你在里面打的所有信息都会被中间各种人看个遍,包括但不限于运维,数据标注员。

而且不仅是隐私,还有劫持,假如中转站被人黑了,假装模型给你返回一个恶意工具调用,把你的 ssh keys 或者什么密码拿出来发到某个地方,你能咋的?
dassh
2 月 27 日
会存在提示词污染,不同家的 system prompt 不一样,然后:
模型:我人麻了

本来你正常 cc 说的问题,到模型端是
[cc system prompt]
[your input]
用中转,例如人家是 kiro 反代出来的,就会变为
[cc system prompt]
[kiro system prompt]
[your input]

要是中转不讲究,把 kiro ,antigravity 的负载均衡出来,你多轮对话
[cc system prompt]
[kiro system prompt]
[your input1]
[cc system prompt]
[antigravity system prompt]
[your input2]

就更好玩了
imunoko
2 月 27 日
1. 中转站不同获取的渠道的倍率不同,价格不同,一些的中转站提供官方直连、云服务厂商自己部署、订阅、逆向等多种方式,不同渠道可能能力有些差别。效果越好也就越贵了,像逆向一些免费平台提供的接口,这种通常很便宜,可能有功能限制,质量差、不稳定、数据被用作训练数据等问题

2. 因为是中转,你所以的数据基本是在人家服务器裸奔,全凭中转站的良心。坏一点的中转站可能还有 Prompt 注入的问题,套取敏感数据,模型掺假以次充好

可能好的中转站也是有的,但不能赌中转站人品,在公司的代码尽量走靠谱的官方渠道(让公司报销),自己拿中转站写写小工具和玩具就行了
shyrock2026
2 月 27 日
哪些算中转站?

硅基? openrouter ?
Kinnikuman
2 月 27 日
@shyrock2026 就比如最近在 v 站做(da) 公(guang) 益(gao)挺多的 bytecatcode 这种。
sentinelK
2 月 27 日
以上两个问题对于用户而言都无解。
这也是中转站价格比官方便宜的主要原因。

btw ,即便是官方,你依然也没有任何能力能够知晓模型实际的运行版本,你也没法知晓官方是否会污染你的提示词。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1194415

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX