scrapy 代理 ip 失效后更换 IP

[Fizzyi]

求助各位 v 友，我使用 scrapy 框架爬取数据使用了代理 ip，想问下如何在当前 ip 失效或者被封了之后自动更换 ip 呢

[tikazyq]

需要记录代理 ip 的有效性，如果是使用了 API，先缓存到数据库中。

顺便打个广告，Crawlab 是一个专注于爬虫的集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台，非常适合对爬虫管理、爬虫工程化有要求的开发者及企业

https: //github.com/tikazyq/crawlab

[lucays]

有中间件的，在 middleware 里写，至少按照 response.status 判断是不是 200

[popbayun]

建个代理 IP 池，失效或被 ban 就从池子里剔除掉