pycurl 相比 requests 是不是效率要高一些？

[yakczh]

[zhwei]

pycurl是封装的curl, 效率要高点，但是requests更加人性化，更易用，如果用于爬虫的话推荐requests，毕竟效率可以通过多线程或者异步提高。

[piglei]

如楼上所说，“效率”这个东西到了网络库上来说，最大的问题是IO，所以库本身的执行效率来说并不是那么重要。和效率有关的指标还是IO相关的，比如这个库是不是支持keep-alive，是不是支持异步化等等等等。

[cute]

搜索human_curl

import human_curl
r = human_curl.get('http://v2ex.com')

requests不支持100 continue.

[wangfengmadking]

还有就是requests原生不支持socket5代理。。。

[pubby]

一直用gearman

再用node写一个worker,支持socks5代理

爬虫直接将抓取任务交给gearman,异步执行

[zhwei]

@cute api和requests一样啊，好东西！