请教下 AI 中转站模型真伪测试跑分标准

7 月 3 日
 laov2

因为有的中转站会造假,所以就整了个 AI 中转站的跑分网页。 网站上个月就做出来了,但之前比较忙,还没有开始真的按计划跑。

这段时间我也接触过其他的一些中转站,按正常来说,比如 GPT5.5 模型,是支持图片的, 但是为什么我在使用一些中转站的时候,提示他不支持图片?如果做其他内容测试吧,又判断出来是 GPT5.5 的模型?

我现在的跑分测试是 25 个,考虑到网络延迟的情况,很多都做了最低标准的限制。 我自己是想加上图片测试的,但是测试几个结果和我想象的不一样,是我提示词不对吗。

各位还有什么好的建议,可以尽可能的去测试模型的真伪?

https://www.jingxialai.com/apirank/

现在网站上的几个中转站有这两天新提交的,也有我在其他群里面看见,我加进去的。

这是我现在的:

① 自我认知探测 ② API 响应字段核查 ③ 字母计数测试 ④ 单词逆序测试 ⑤ 语言陷阱题 ⑥ 数学推理 ⑦ 组合数学 ⑧ 数值比较 ⑨ 精确格式控制 ⑩ 响应速度分析 ⑪ 一致性重复测试 ⑫ 幻觉检测 ⑬ 复杂指令遵循 ⑭ 反事实推理 ⑮ 高级逻辑推理 ⑯ 代码生成 ⑰ 流式输出检测 ⑱ 知识截止日期探测 ⑲ 中文能力深度测试 ⑳ 异构语言查错 (Rust) ㉑ 多轮对话记忆测试 ㉒ 函数调用能力探针 ㉓ 多模态盲降级探测 ㉔ 空间方向推理测试 ㉕ 极端字符约束能力

2002 次点击
所在节点    程序员
3 条回复
laov2
7 月 4 日
我更新了跑分测试的问题,还是 25 个大方向,但是问题增加到 42 个,然后用随机的方式。
wkzq
7 月 5 日
有个问题: 标签里面提到了 openai 和 claude, 但是实际跑分只有 gpt, 是不是不太公允
laov2
7 月 5 日
@wkzq 这有什么关系。。。那个标签只是代表这个网站提供 claude 的模型,测试的时候只选同一种模型就行了,因为提供 openai 的更多,那么选择跑 chatgpt 的模型更合适一点。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1224844

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX