爬去大众点评

[qybing]

使用 Scrapy 爬取大众点评商铺信息（例如 URL： http://www.dianping.com/shop/19484059 ），在 def parse(self, response):函数里 response 的状态为 200，而内容却为空 body={byte} b 这是为什么

[f2f2f]

触发他家的安全机制了，直接返回空页面

[vansl]

大众点评需要控制好频率

[qybing]

@f2f2f 触发安全机制，不是应该到重定向到验证码的网页吗

[f2f2f]

@qybing 他家的重定向发生在已经进入到点评网站后。返回空白页是你直接 URL 访问的情况下。单位里公网 IP 就一个，经常遇到。

[qybing]

@f2f2f 加上 IP 代理，是否可以规避这个返回为空的问题

[ksharp8]

应该做了反爬虫处理，可以用 wireshark 抓一下包分析分析

[qybing]

我加上 IP 代理，返回为空，如果不加代理频繁访问为空，不频繁正常，这是哪里出现了问题，大佬们