请教：亿级数据，且有一定的反爬机制，爬虫怎么避免惊动监控且快速爬取

[ton4]

当爬虫遇到数据量巨大且防爬机制做的好的网站时，就很尴尬，爬的太快，会被封；速度降下来，进度条就不再前进了。 请教各位 V 友们，面对大型网站随时可能更改反爬策略，需要做出如何选择呢？

1、放慢速度，尽量不被发现，以时间换数量

2、全速爬取，能爬多少是多少，被封了再想办法

3、还有其他好方法吗，求教

[R18]

代理池了解一下

[zhjits]

多买 IP 地址

[golmic]

愿意付费我可以接

[ton4]

@R18 @zhjits 目前用的这个 https://github.com/jhao104/proxy_pool 能找到百来个代理。
几亿的数据 几百个代理够用吗

[boom7]

都亿级数据了你还想着用免费代理…差这点钱？

[beforeuwait]

这种情况哈，多代理的是必须的。

[ton4]

@boom7 哈哈 刚开始玩数据

[ton4]

@beforeuwait 多代理搞起啊，有好用的推荐一下

[ton4]

@golmic 加你了

[sw10]

几百个代理，有点少。我维护的一个商用代理池，一天的代理量都有 40 万。

感兴趣的话，可以了解下：
/t/424630

[golmic]

@ton4 微信没收到请求

[golmic]

@ton4 公众号 pydatame 有我联系方式

[woscaizi]

@sw10 私密代理是如何达到 10 万的呢，好奇。

[woscaizi]

@sw10 宽带重播吗？

[ton4]

@golmic OK 加你公众号了，明天找你聊

[lihongming]

免费不太可能。
我知道一家跟你差不多的，亿级数据，有反爬措施。不仅如此，要爬的信息还是付费的，每个付费账号只能爬几千条。
他们在公司附近租了个民房，里面拉了 N 条宽带，电信联通移动等，能拉的都拉，能装几条就装几条（本来联通限制每个地址只能装 2 条，但搞定装机师傅，可以以邻居的地址装）。房间里放个机柜，服务器上跑的全是爬虫，爬几条就重新拨号换 IP、换账号……

[gabon]

某代理网站买动态代理爬了一亿多的微博数据。

[gabon]

@lihongming 原来是这样。。之前买的时候还在想他们怎么搞的

[knightdf]

@lihongming 牛逼

[simonsww]

@lihongming 这种的话，在一个地方，不停的拨号每天能获取的 ip 也是有限的吧，就算电信+联通+移动，每天 ip 数应该有限吧。（不过我没试验过）