关于 robots.txt 的一点疑问

[le0rn0]

php 或 jsp 站点，可通过 xxx.com/robots.txt 直接查看内容，这时候蜘蛛可以按规则来；

如果，像 django 、 flask 等，在 url 中没有定义，访问 xxx.com/robots.txt 就会返回 404 ，此时的 robots.txt 是否还有效？

若无效，是否要定义一个一个以 /robots.txt 结尾的 url 来使其生效？

有其他方法吗？

各位在做项目时是如何保护后台登陆地址的？（如防止搜索引擎收录）

Thanks EveryOne ！

[Delbert]

在网站根路径下创建一个 robots.txt 文件就不会走框架路由了吧？

[loading]

后台登陆地址也要保护…你是多么不相信你的表单验证代码？


你可以每次都变化登陆地址…

[zakokun]

最好的方法是直接写在框架里面咯. /robots.txt 指向一个方法,这个方法输出相关的内容
或者直接写在 nginx 的 http 配置里面

[le0rn0]

@Delbert 没，还是走路由的

[kn007]

对于后台地址，比如 wordpress ，我是加简单验证。

利用 nginx 的 auth_basic_user_file 。

https://kn007.net/topics/wordpress-how-to-protect-the-wp-login-php-and-wp-cron-php/

这种方式，基本上你 robots 不定义，搜索引擎也不会收录

[le0rn0]

@loading 2333 ，最好就是连登陆地址都不要让人知道

我之前似乎见过那种，既没有 robots.txt ，搜索引擎也没有收录其后台相关任何信息，请教下这是怎么实现的，谢谢

[popu111]

后台地址每 7 天重新随机生成并 mail 我还有救么 XD

[le0rn0]

@zakokun 输出了 robots 内容，后台地址直接知道了， 2333

[le0rn0]

@popu111 6666666 ，你更强，当搜索引擎收录你登录页时而你却改变了地址，深藏功与名

[le0rn0]

@kn007 受教，多谢！顺便问下你这语义 url 是调用的翻译吗

[kn007]

@le0rn0 是的。
加了简单认证，还能防止简单爆破，何乐不为。

[lhbc]

meta
http://zz.baidu.com/academy/detail?id=37

[le0rn0]

@lhbc 这是？？？

[des]

robots.txt 你就不能弄个静态文件么？速度还快。

另外 robots.txt 是君子协议，不要把敏感地址放入 robots.txt 中，不要把敏感地址放入 robots.txt 中，不要把敏感地址放入 robots.txt 中。因为很重要，所以要说三遍

[billlee]

靠保密 url 来保护后台的都是刷流氓

[le0rn0]

@billlee 2333 ，求不流氓的方法

[v1024]

你看各个框架的 demo 里几乎都会在路由里写 robots.txt 的，直接返回对应文件。

[le0rn0]

@v1024 多谢

[msg7086]

靠隐藏地址来保护的做法叫做 Security through obscurity 。
https://en.wikipedia.org/wiki/Security_through_obscurity
通过让人找不到入口来达到安全性，而非设计一个安全的入口。
个人用用当然无所谓，就是小心别用在企业项目里就好了。

[honmaple]

我是加了简单验证，像登陆普通用户那样先登陆，然后在手动输入后台地址，如果有管理员权限则进入后台，如果没有登陆或者没有管理员权限则返回 404,另外 @popu111,我也试试隔几天就更换后台地址