V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 4011 days ago, the information mentioned may be changed or developed.
我司有好几个proxy可以用，但是都不太稳定。
我想的就是假设有n个Proxy，在爬取失败的时候首先自己重试3次。如果重试失败就切换到下一个proxy。如果成功就继续使用当前的proxy，如果失败就一直切换代理直到没有可用的代理。如果最终还是失败了，就以某种方式记录一下，下次重新爬一遍。
不知道我的想法在scrapy之中如何实现？
如果有例子代码就更好了~
最终目的就是保证目标url能被正确的爬出结果。如果有其他更好的解决方案也麻烦说一下~
多谢！
我想的就是假设有n个Proxy，在爬取失败的时候首先自己重试3次。如果重试失败就切换到下一个proxy。如果成功就继续使用当前的proxy，如果失败就一直切换代理直到没有可用的代理。如果最终还是失败了，就以某种方式记录一下，下次重新爬一遍。
不知道我的想法在scrapy之中如何实现？
如果有例子代码就更好了~
最终目的就是保证目标url能被正确的爬出结果。如果有其他更好的解决方案也麻烦说一下~
多谢！
 |
1
AlloVince May 7, 2015  1
|
 |
2
RangerWolf OP @AlloVince 非常感谢！正是我需要的！
|
 |
3
bengtuo May 7, 2015
Scrapy 还是不够好
|
|
4
bengtuo May 7, 2015
要写 太多的代码
|
 |
5
zts1993 May 7, 2015
写一个DOWNLOADER_MIDDLEWARES
|
 |
6
binux May 7, 2015
squid
|
|
7
RangerWolf OP @binux 还得自己维护一个squid就太繁重了
|
|
8
RangerWolf OP @bengtuo 那有什么推荐的吗？
要写的代码多一点没什么，重要的是能有解决方案。 如果能在网上找到相应的解决方案的代码就更好了 |
 |
9
messense May 7, 2015 1
我用的修改自 scrapy-proxies 的 RetryMiddleware，禁用 Scrapy 自带的 RetryMiddleware
https://github.com/messense/douappbook/blob/master/douappbook/middlewares.py#L10 |
 |
10
ultimate010 May 9, 2015 1
我以前就是把代理ip存到redis中，每次抓取查询换ip，封装下使用很方便。
|
Select Language