请教：亿级数据，且有一定的反爬机制，爬虫怎么避免惊动监控且快速爬取

[ton4]

当爬虫遇到数据量巨大且防爬机制做的好的网站时，就很尴尬，爬的太快，会被封；速度降下来，进度条就不再前进了。 请教各位 V 友们，面对大型网站随时可能更改反爬策略，需要做出如何选择呢？

1、放慢速度，尽量不被发现，以时间换数量

2、全速爬取，能爬多少是多少，被封了再想办法

3、还有其他好方法吗，求教

[Antidictator]

emmmmm，趁监控不注意？(看到"怎么避免惊动"，突然想皮一下)

[ton4]

@Antidictator 刚觉得它没注意你，立马就被封掉的失落感啊😣

[afpro]

现在爬人家数据都这么明目张胆的嘛

[afpro]

就没考虑过发个邮件购买一份数据？

[vtwoextb]

重启路由器 机制 源码 https://github.com/hizdm/dynamic_ip

[ton4]

@afpro 发个邮件给谁

[ton4]

总结下来，简单粗暴的方法就是买非常多的代理 IP。但是还是有问题的，同类型的服务请求数量剧增，同样会引起注意，最好能模拟用户，在用户活跃的时间点里浑水摸鱼。

[fate0]

免费的 https://github.com/fate0/proxylist 了解一下