我想做个市场调研,想问问大家现在在使用各种 AI 服务的痛点
我们团队看到的问题:
- 各种中转站基本都是 newapi / sub2api 套壳,你用的中转站后面可能是另外无数个中转站,号称源头的实际上并无法证明。中间人作恶的成本很大 (参考 https://arxiv.org/abs/2604.08407 )
- 账目不清醒,后台都是 newapi 这种界面,提供的 log 信息很少,各种倍率,充值算法,计算很复杂。
- 我觉得 LLM 每次的请求需要一个类似 chrome network inspector 这样的工具查看究竟做了什么,例如各种 tool calls 返回,这样人类对 agent 的 workflow 可以进一步优化。中转站本来能提供这个信息,但是市面上似乎极少
- 模型路由:很多 LLM 请求实际上可以用更便宜的模型做路由,目前 cloudflare AI Gateway 有很强的路由功能,但是中转站基本因为太暴利了都不去考虑这个事情。这个是用户自愿进行路由,不是掺水。
还有什么问题我没想到吗,认真请教