浏览器正常浏览,爬虫出错,都有哪些可能性?

[dedewei]

错误信息:
requests.exceptions.ConnectionError: ('Connection aborted.', error(104, 'Connection reset by peer'))

加了headers也不行

这个问题经常出现,浏览器正常,但爬虫不行.
1.想问问都有哪些可能性,遇到时有个线索可去google.
2.模拟浏览器是不是只加headers就行? 是不是模拟成功的话就不会出错(浏览器能正常访问)?

[wdd2007]

你对比一下浏览器的请求和爬虫请求有哪些不一样的地方？

比如 useragent、比如 cookie？

[willsplashing]

你确定python发出去的request和Chrome devtool里capture的request一模一样吗？

[willsplashing]

还有如果你爬虫一下子发很多request有些网站可能会有rate limit

[dedewei]

@wdd2007
@willsplashing 没有cookie,其他复制粘贴上去了

[dedewei]

@willsplashing 爬了二十个页面就断了,然后时而行时而不行

[ETiV]

firebug抓一次浏览器的请求，再用curl模拟提交（firebug有复制curl请求的功能），再一点点精简curl的参数

[cxl008]

@dedewei 中间断掉的话考虑被对方服务器bang了 增加爬取时间间隔 或是用 分布式部署

[withrock]

可能和cookie有关，如果不需要登录就可以抓取的话，建议关闭cooke
ps:我也写了个爬虫玩玩，互相学习。
http://git.oschina.net/mktime/scrapy-douban-group

[libo26]

header与浏览器一致的话多半是频率限制了吧，增加时间间隔/换IP

[kkx]

用selenium 包治

[ioven]

burpsuite抓包，对比和浏览器的区别

[ming2281]

了解一下HTTP协议,然后这些大都知道怎么避免了