使用 tornado 这种异步请求框架做爬虫，效率高么？

2016-01-17 20:54:51 +08:00
 agentwx
3569 次点击
所在节点    问与答
14 条回复
loading
2016-01-17 21:03:52 +08:00
爬虫要什么效率…不然大家都不会用 python 写了。
好写才是重点，很多时候都是网速不给力。
binux
2016-01-17 21:05:30 +08:00
高
lepture
2016-01-17 21:16:12 +08:00
@loading 所言得之
Garantion
2016-01-17 21:18:22 +08:00
celery
ethego
2016-01-17 21:18:51 +08:00
@loading 正因为网速不给力所以异步带来的效率提升才是惊人的，根本不是你说这的这样。
ethego
2016-01-17 21:19:17 +08:00
@Garantion celery 不能解决阻塞的问题吧
Garantion
2016-01-17 21:24:28 +08:00
@ethego 这个不太清楚 一般我会在调度的时候就尽量考虑阻塞的问题 有什么好办法吗？
ethego
2016-01-17 21:25:51 +08:00
@Garantion gevent ， python3 的话有 asyncio
Garantion
2016-01-17 21:26:41 +08:00
@ethego 对对对 你一说这个 我上次偷懒没用 gevent 看来的确要用一下 学习一下 多谢多谢
loading
2016-01-17 21:27:35 +08:00
@ethego 带宽跑满了，能更快？
ethego
2016-01-17 21:30:04 +08:00
@loading 如果不开多线程或者协程，能跑满带宽？
loading
2016-01-17 21:34:21 +08:00
@ethego 我没说不开多线程…你看下楼主问题好吧。
ethego
2016-01-17 21:36:27 +08:00
@loading 楼主问的是是 tornado ，不是 python ， tornado 是通过 ioloop 的方式解决阻塞的问题。
ericls
2016-01-18 02:27:58 +08:00
是很高的

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/251414

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX