网站 robots

2016-03-09 21:29:35 +08:00
 ifake

为禁止搜索引擎爬虫,之前写了个 robots.txt 文件放在网站根目录下

记得以前用站长工具测下来, robots.txt 怎么写的,那么测出来的就是相应内容

然而小于等于 1 个月前,开始发现测出来的 robots.txt 内容,不再是自己写的内容

前几天干脆删了 robots 文件,然后今天经工具测试,说是 robots.txt 依旧有效

顿时我莫名了……

异想天开的问题是: robots.txt 这文件,记得必须是上传在网站根目录下的?

既然我没加,别人应该不可能通过其他方式“替我”设置了 robots.txt 这玩意儿吧?

1451 次点击
所在节点    问与答
4 条回复
Sn0wM4n
2016-03-09 21:33:28 +08:00
.htaccess 文件呢?
ifake
2016-03-09 21:35:32 +08:00
@Sn0wM4n .htaccess 从一开始就没有动过,这次问题出来后,也还是特地去看了下,内容就还是原来默认的。
jugelizi
2016-03-09 21:57:01 +08:00
pi1ot
2016-03-09 22:20:52 +08:00
可能是你使用的测试工具自己的问题

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/262327

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX