最近看了论坛里、各个微信群里面,大家都会用鹈鹕骑自行车来测试模型是否降智,发现大家很多时候都是截图发完就没了,同一个模型,换一个思考档位,换一个工具,跑出来的差别也挺大的,事后想要对比,找不回原件,于是做了一个站,专门存这些作品: https://pelicanbenchmark.com/
我先说一下收什么:
- Classic SVG:Simon Willison 那句原始英文题面,一点都没有做改动。
- Animated HTML:会动的 html 版本。表单里面填你实际用的提示词就好了。
主要收 SVG 和 HTML 源码,不是截图。每一件作品都会记下模型、思考档位、实际用的提示词这些。
我在做这个站的时候想过的几个点:
- SVG 直接用图片( img 标签)显示,里面的脚本不会执行。
- 动画作品会跑作者写的 JS ,所以放在单独的子域下,用 sandbox="allow-scripts"的 iframe 播放,作品不能往外发请求。只放行 jsdelivr 、cdnjs 、unpkg 、Google Fonts 这几个 CDN 加载资源。
- 作者的代码一个字不改
- 列表页面只显示静态封面,不会出现同时跑一堆动画的情况;手机上需要点击 play 才开始播放
- 提交时会有格式检查,是否重复检查,引用名单外的域名的时候会出提示
没做点赞、投票、排名,目前大部分作品还都是我自己跑的,缺 qwen 、minimax 等等,有的话欢迎各位补充~
不用注册,署不署名随意,想要撤回可以发邮件。怎么收、怎么查、有哪些局限都写在/methodology 了,欢迎各位挑毛病
额外说明一点啊,这个测试首先是由 Simon Willison 提出的,那我这个站和他一点关系都没有,也不会代表任何模型厂商。