爬虫301是什么情况？

2014-01-15 14:15:47 +08:00
 gavinzgz
小爬了几次，爬不动了，curl指令返回：
<html>
<head><title>301 Moved Permanently</title></head>
<body bgcolor="white">
<center><h1>301 Moved Permanently</h1></center>
<hr><center>nginx</center>
</body>
</html>
真狠，连浏览器也上不去了，这可咋整？
3304 次点击
所在节点    问与答
5 条回复
binux
2014-01-15 14:36:40 +08:00
-L, --location Follow redirects (H)
gavinzgz
2014-01-15 14:38:55 +08:00
@binux http301好像不会造成浏览器上不去，应该是一种防爬虫策略的伪装。
binux
2014-01-15 15:00:28 +08:00
@gavinzgz 因为浏览器行为是跳转
vibbow
2014-01-15 18:11:48 +08:00
你是不是爬到了
http://example.com 之类的
因为这样会跳转到
http://example.com/
txlty
2014-01-15 21:09:51 +08:00
你需要的信息在header里，不在正文里。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/97100

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX