scrapy 下载卡住 如何设置超时？

2017-08-08 15:57:28 +08:00
 xiaoyu9527

正在下载 xxxx 正在保存 xxxx

就卡住了

这里写的是一个循环语句。

8195 次点击
所在节点    问与答
1 条回复
860670496
2017-08-11 14:08:00 +08:00
settings 里自带参数，比如：

DOWNLOAD_TIMEOUT = 300

如果觉得不能满足要求就写个继承 DownloadTimeoutMiddleware 的类就好

https://doc.scrapy.org/en/1.4/topics/downloader-middleware.html#module-scrapy.downloadermiddlewares.downloadtimeout

顺带蛋疼的话还可以利用下面这个类获取状态写进度条
class scrapy.downloadermiddlewares.stats.DownloaderStats

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/381397

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX