我正在写一个爬虫（gevent+requests+redis-py），出现了一些问题，看看各位有啥好的解决方案没？

[penkchow]

我的爬虫大致思想的是这样的，我想爬取某些列表页面上所有的列表url，有很多页，我遍历这些页面，然后抓去这些页面上的内容，当某个页面请求出错的时候，我就将它保存到一个数据库，下次从这个数据库里面把错误的取出来，然后再处理，这样一直循环，直到所有的都被处理完。不多说了，直接代码吧（更详细的问题描述见代码的注释）：

https://gist.github.com/penkzhou/a657720be302f72269ca

不知道各位对我这段代码有什么看法，或者吐槽也行，自己找了一些相关资料，成效不大。

[jander]

应该加上
from gevent import monkey; monkey.patch_socket()

[penkchow]

哦，我加了monkey.patch_all()就包括了吧，官网文档有说明： http://www.gevent.org/gevent.monkey.html
@jander

[jander]

哦，没看仔细。
redis连接异常。你的代码使用redis.ConnectionPool, 其实redis可以直接连，内部已经使用pool实现：
redis.StrictRedis(host='localhost', port=6379, db=0)
你可以直接连试试。

[jsonline]

每个月都有一个人来问爬虫的问题。

[penkchow]

@jander 额，连接池不是比直接连并发性更好么？

[penkchow]

@jsonline 每个月总有那么几天……有人问爬虫……

[jander]

@penkchow 已经有缺省的连接池，不用你操心。

[penkchow]

@jander 你的意思是因为我用了这个连接池才会出问题的

[jander]

@penkchow 我的意思：你的redis连接有问题，试试不同的方案。

[penkchow]

Okay，试试。