remnet
304.52D
V2EX  ›  问与答

我们想做一个靠谱的,面向开发者服务的中转站,大家有什么需求吗

  •  
  •   remnet · 22h 0m ago · 388 views

    我想做个市场调研,想问问大家现在在使用各种 AI 服务的痛点

    我们团队看到的问题:

    1. 各种中转站基本都是 newapi / sub2api 套壳,你用的中转站后面可能是另外无数个中转站,号称源头的实际上并无法证明。中间人作恶的成本很大 (参考 https://arxiv.org/abs/2604.08407
    2. 账目不清醒,后台都是 newapi 这种界面,提供的 log 信息很少,各种倍率,充值算法,计算很复杂。
    3. 我觉得 LLM 每次的请求需要一个类似 chrome network inspector 这样的工具查看究竟做了什么,例如各种 tool calls 返回,这样人类对 agent 的 workflow 可以进一步优化。中转站本来能提供这个信息,但是市面上似乎极少
    4. 模型路由:很多 LLM 请求实际上可以用更便宜的模型做路由,目前 cloudflare AI Gateway 有很强的路由功能,但是中转站基本因为太暴利了都不去考虑这个事情。这个是用户自愿进行路由,不是掺水。

    还有什么问题我没想到吗,认真请教

    connectError
        1
    connectError  
       21h 8m ago   ❤️ 1
    这类服务最大的难点从来不是技术,而是信任。

    你愿意把上游、成本结构和运营方式透明到什么程度?又如何证明自己没有虚标额度、偷偷换模型、记录请求或倒卖数据?

    程序员不是不愿意付钱,而是不愿意把代码和数据交给一个无法验证的黑盒。

    更现实的问题是,如果你真的做到透明、可审计、可信,这些都会带来额外成本;而如果又想靠低价走量生存,两者天然存在冲突。

    所以与其宣传价格优势,不如先回答“为什么我应该相信你”。在这个问题没有足够说服力之前,我不会考虑使用。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5731 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 02:42 · PVG 10:42 · LAX 19:42 · JFK 22:42
    ♥ Do have faith in what you're doing.