前几天闲着没事,把 1000 个中文大站挨个抓了遍 /llms.txt ,想看看这帮大厂的 AI 准备工作做得咋样,结果挺有意思的。
1000 个站,真正放了 llms.txt 的,只有 30 个。3%。
剩下的是啥呢? 164 个返回 200 ,打开一看是网页壳——这个最坑,状态码看着没问题,AI 抓到的却是个壳,等于白给。412 个直接 404 。还有 390 个压根抓不到,WAF 拦的拦、超时的超时,这部分不算没有啊,别误会。
满分的有 9 个,B 站、Gitee 、魔搭、SHEIN 、TAPTap 、环球网这几个,确实做得认真。
说几个有意思的:百度,404 ,啥也没有。淘宝京东拼多多,返回 200 ,打开全是 HTML 壳。抖音,404 。字节的 Coze 倒是做了,但 50 分,74 个警告,链接重复一堆——做了跟做好是两码事。阿里系里面,唯一满分的是魔搭社区。
顺带还测了 100 个独立站,好一些,19% 有文件。不过博客圈只有 7%。毛病都差不多:链接光秃秃一个地址没描述,或者缺一句摘要,都是花半小时就能修好的小事。
测的时候顺手做了个小工具站
cetxt.com ,输个域名就能体检打分,没文件的话 30 秒给你生成一份。开源的,
github.com/yehyakin/llms-txt-cn ,觉得有用可以去看看。
1000 条完整数据放这了,能搜能筛:
cetxt.com/survey/样本就是公开排名凑的近似样本,不是什么官方榜单。方法上的局限都写调查页里了,欢迎来拍砖。
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
https://www.v2ex.com/t/1246434
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.