如果想在 V2EX 获得更好的推广效果,欢迎了解 PRO 会员机制:
https://www.v2ex.com/pro/about

如果你经常使用铜币置顶主题,持有 V2EX Solana Token 会在每日签到时获得额外铜币:
https://www.v2ex.com/solana
dyk98
V2EX  ›  推广

Folkbench:同一模型在不同中转站的身份探针一致率、可用率、价格对照(附公开接口)

  •  
  •   dyk98 · 11h 22m ago · 358 views

    大家好,这是 Folkbench(folkbench.com)的介绍帖,我是运营。

    它是什么

    一个 AI 中转站目录和对照工具。同一个模型(比如 Claude Opus 5.5、GPT 6 Sol),把各家线路的这些数据放在同一张表里:

    • 身份探针一致率:同一时段回答同一组身份探针题(知识截止时间、最新版本这类问题),与参考答案一致的比例,同时附上模型指纹字段
    • 近 24 小时可用率、首字延迟
    • 公开价格和官方价对照

    当前数字(2026-11-16 21:52 北京时间抓取)

    • 降智监控:快照收录 117 条探针结果,覆盖 12 家站点、27 个模型 ID,汇总一致率 95.5%
    • 榜单:8 个模型,公开快照共 80 个"站点 × 分组"条目,其中 21 个有近 24 小时监测数据
    • 目录:28 家中转站(23 家已入驻,5 家按官网目录收录)

    需要先说明的

    • 排序沿用站内规则,包含合作档位与运营加分;部分数据为展示样本,页面上有标注
    • 探针接口只给每条线路最新一次已发布的结果,不等于过去一段时间的全部请求
    • 只公开匿名题目 ID,不公开题面和回答

    公开接口(只读,供参考,字段可能调整)

    链接

    数据有错可以直接回复,或者到 https://folkbench.com/corrections?utm_source=v2ex&utm_medium=community&utm_campaign=intro-post&utm_content=corrections 提交,我们会核对。

    Supplement 1  ·  10h 18m ago

    上一帖把 Folkbench 降智监控的入口和当天快照数字放出来了。这篇把检测方法本身讲清楚:它在测什么、为什么 HTTP 通断和模型榜单看不出这个问题、一致率怎么算、公开了什么、以及哪些情况不能当成“换模型”的证据。

    要抓的不是接口挂了,而是接口看起来正常。

    中转站处在调用方和模型厂商之间。请求可以一直返回 HTTP 200,回复也流畅,但中间层仍可能出现三类网络指标区分不了的情况:

    1. 静默替换模型:请求的是旗舰型号,高峰或长上下文时被路由到更便宜的轻量模型或旧快照。
    2. 削减推理预算:模型名不变,但推理强度被调低,或内部推演步数被提前截断,还没充分思考就给出结论。
    3. 截断上下文或压低输出上限:丢掉部分早期对话或收紧输出长度,多轮任务里就会漏条件、逻辑断裂。

    短问答依然可以很流利,有时因为推演更短,首字还更快。所以只看通断、延迟和“会不会说话”,回答不了“这条线路交付的是不是你要的模型,以及推理深度有没有被砍”。常见模型榜单测的是官方或单一部署下的能力上限,同样不覆盖这条中转链路。

    直接问模型“你是谁”也不管用:网关可以在系统提示里写入指定型号,被替换的模型也可以复述这套话术。固定的公开考题同样容易失效——它们往往已经进了训练数据;而且长期重复同一道题,服务端可以识别后返回静态缓存,或只给检测流量放行更好的上游通道。

    题目怎么出,体征看什么。

    降智监控里,对同一个模型、在同一时段,向各家中转站发送同一组身份探针题。题型包括知识截止时间、“你知道的最新版本是什么”这类问题,并会把近期真实事件和时间线写进题目。题面会随时间更新,每次换问法,并带随机编号,用来降低静态缓存和针对性应付检测的空间。被切到旧快照的线路,更容易在新近事件的时间顺序或知识截止边界上露出错位;被过度压缩的轻量模型,也更容易在多条件约束上失真。

    只看最终对错不够。一个替代模型可能碰巧答对客观题;原模型被砍掉一半思考预算时,文字仍可能通顺。所以同一轮请求里还会记录:

    • 模型指纹字段(接口返回的身份相关字段)
    • 输入 token 数、思考 token(中位数)
    • 有数据时的缓存检测信息

    这些按“模型 × 服务分组”分别统计,不用一个全站平均数把不同分组混在一起。

    关于输入 token,有一条比较硬的对照:同一段输入、同一个模型,算出来的 token 数应当相同。和同模型其他线路对不上,通常说明换了模型,或请求前面被加了额外内容。思考预算被压低时,最终回复看起来也许还连贯,但思考 token 和探针一致率往往会一起掉下来。

    Supplement 2  ·  10h 17m ago

    参考答案从哪来,一致率怎么算。

    中转站分数单独往下掉,至少有两种解释:这条线路自己换线或砍了预算;或者厂商官方快照有波动,或这批新题在官方接口上的通过率本来就在那个区间。没有同时段对照,绝对分数回答不了“是谁变了”。

    因此,同一组探针会在相同监测窗口里,用直连模型厂商、不经过第三方中转的官方 API Key 再跑一遍,作为对照基线。页面上的比对规则是:把每个回答归成一个简短类别,再和该模型在可信线路上的参考答案比对。单条结果的一致率是 agree / total;快照的汇总一致率是各条公开结果的 agree 之和除以 total 之和。本期不设身份异常阈值,数值直接公开,不做“已经换模型”的判定。一次回答或某一个孤立百分比,不能单独作为模型被替换的证明,需要结合作答次数、连续时间窗口、token 结构和指纹一起看。

    2026-11-16 21:52(北京时间)抓取的公开快照:收录 117 条探针结果,覆盖 12 家站点,汇总一致率 95.5%。公开接口给出的是每条线路已发布的汇总,不是过去一段时间的全部请求;汇总条数不是执行次数。

    公开什么,为什么不公开题面。

    公开接口里,每条结果对应一条“模型 × 中转站 × 服务分组”的已发布汇总,字段包括 agree / total、输入 token 范围、思考 token 中位数、模型指纹字段 identifiedModelId、测量时间,以及匿名题目 ID 列表 probeKeys(格式为 folk- 加 8 位十六进制)。题面、回答和原始运行记录不公开。原因很直接:题面一旦固定公开,就更容易被缓存或针对性处理;只公开题目 ID,仍然可以核对“测的是哪一组题”,但不会把题面交出去。

    已知限制。

    模型指纹不是万能的。站点上写得很清楚:GPT 6.1 Sol(又名 astra-minor)本质上是 GPT 6 Astra 降低了循环推理深度的产物,两者共享同一底模,不可能通过模型指纹方法区分。上述快照里,GPT 6 Astra 有 9 条结果的指纹字段显示为 GPT 6.1 Sol,这类情况不能当成降级证据。

    方法页还有一条测量窗口上的限制:短时测试不代表永久可用,一次成功请求也不能代表所有模型、地区或账户等级。降智监控目前也不并入总榜排序:总榜看可用率、速度和价格,这里只把同一模型在各家的探针结果放在一起看。排序沿用站内规则,包含合作档位与运营加分;部分数据为展示样本,页面上有标注。

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4734 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 03:02 · PVG 11:02 · LAX 19:02 · JFK 22:02
    ♥ Do have faith in what you're doing.