大家新年好~菜鸟想问下 Scrapy 中 Request 出错跳到 errback 的函数里之后又怎么跳回去呢?

2018-02-17 18:31:53 +08:00
 ChenJinluo
Request 失败,程序跳转到 errback 的函数里之后还能重新跳回去继续执行程序吗?
我因为 IP 代理用不了 Request 没成功,在 error 里删除该 IP 代理后怎么继续 Request 之前没成功的 url 呢? 就有点像汇编里的跳转。
3130 次点击
所在节点    Python
5 条回复
ChenJinluo
2018-02-17 18:54:33 +08:00
nicevar
2018-02-17 20:49:12 +08:00
回调的 failure 里有 request 对象
ChenJinluo
2018-02-18 17:21:26 +08:00
@nicevar 有是有,可是这达不到我的目的-。-
ws1689371
2018-02-18 19:54:10 +08:00
改写下载器中间件不就行啦
HarveyDent
2018-02-19 20:05:07 +08:00
你应该是想重试吧,你可以参考一下 RetryMiddleware。写了一个类继承 RetryMiddleware,process_exception 里边做的重试。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/431040

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX