Nginx.conf屏蔽搜索引擎蜘蛛,一些蜘蛛根本不回来流量但是抓取的太多了 浪费网站流量，想只让百度和谷歌的蜘蛛访问，别的蜘蛛来的话 直接跳转到大网站比如百度。

2013-05-31 22:35:51 +08:00
 soho176
找到 下面的代码 但是这个代码 返回的是403 我想让他 直接访问跳到别的网站，跳到百度去。
if ($http_user_agent ~* (soso|bing|sogou|yahoo|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)){
return 403;
}
6977 次点击
所在节点    NGINX
4 条回复
luztak
2013-05-31 22:45:57 +08:00
记得PHP的做法是Header("Location:http://www.baidu.com");
你可以试试写个no_other_spider的filter,碰到别家机器人就把Header 301到百度
binux
2013-05-31 22:48:59 +08:00
rewrite .* http://www.baidu.com/ break;
infong
2013-06-01 01:10:10 +08:00
return 301 http://www.baidu.com/;
revlis7
2013-06-01 01:20:59 +08:00
应该再加上一个360spider

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/70813

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX