这段时间留意 AI 中转服务,发现一个挺有意思的现象:大家都想找个靠谱的排行榜,但排行榜本身也需要被验证。
比如一家服务排在前面,究竟是因为最近调用表现好,还是因为它的宣传做得好?如果榜单不说清楚数据从哪来、多久更新一次、合作关系会不会影响排序,用户其实很难判断这个名次有多大参考价值。
我觉得至少有几个问题值得公开:
一是样本。可用率不能只放一个百分比,最好同时说明测试的是哪个模型、统计时间段、请求总数和失败数。近 72 小时的数据,只能说明这段时间的情况,不能直接推导出长期稳定。
二是没测到怎么办。没有有效样本就应该写无数据,而不是算成不可用。服务商没有宣称支持的功能,也不应该因为没测而被扣分;只有明确说支持、实际测试却异常,才是兼容性问题。
三是排名和商业合作怎么隔离。一个榜单如果接受商业合作,就更应该把规则讲清楚:合作是否影响自然排序、有没有付费加权、测试事实是否会被改动。中转查目前公开说明不提供付费提高自然排名的机制,商业合作也不获得排名加权。这个规则本身也应该接受用户持续监督,而不是只靠一句口号。
我最近看到中转查(
zhongzhuancha.com)把这类服务资料、真实调用监测和检测口径放在一起展示。比起只看它排第几,更重要的是能不能看明白:结论是什么时候测的、测了多少次、哪些项目还没有数据。
中转站排行榜不应该替用户做决定。它更像一份带时间戳的参考记录,用户还得结合自己用的模型和场景判断。
你们平时看这类榜单,最想先看到哪项信息?原始样本、评分规则、商业合作说明,还是历史变化?
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
https://www.v2ex.com/t/1257297
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.