如何控制 scrapy 的 downloader 的并发量为 1（即 Requests 请求类似串行的效果）

2017-05-28 09:43:19 +08:00
 Zioyi
3542 次点击
所在节点    Python
4 条回复
Yc1992
2017-05-28 11:49:31 +08:00
current_request
settings 里面的这个选项设置的为 1
Zioyi
2017-05-28 19:33:34 +08:00
感谢， 我试过了，没有打达到我的预期，难道是因为我自己写了 下载器中间件的缘故。
wingor
2017-06-05 17:01:31 +08:00
CONCURRENT_REQUESTS
Default: 16

The maximum number of concurrent (ie. simultaneous) requests that will be performed by the Scrapy downloader.
wingor
2017-06-05 17:01:47 +08:00
https://doc.scrapy.org/en/latest/topics/settings.html

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/364393

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX