大家新年好~菜鸟想问下 Scrapy 中 Request 出错跳到 errback 的函数里之后又怎么跳回去呢?

2018 年 2 月 17 日
 ChenJinluo
Request 失败,程序跳转到 errback 的函数里之后还能重新跳回去继续执行程序吗?
我因为 IP 代理用不了 Request 没成功,在 error 里删除该 IP 代理后怎么继续 Request 之前没成功的 url 呢? 就有点像汇编里的跳转。
4421 次点击
所在节点    Python
5 条回复
ChenJinluo
2018 年 2 月 17 日
nicevar
2018 年 2 月 17 日
回调的 failure 里有 request 对象
ChenJinluo
2018 年 2 月 18 日
@nicevar 有是有,可是这达不到我的目的-。-
ws1689371
2018 年 2 月 18 日
改写下载器中间件不就行啦
HarveyDent
2018 年 2 月 19 日
你应该是想重试吧,你可以参考一下 RetryMiddleware。写了一个类继承 RetryMiddleware,process_exception 里边做的重试。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/431040

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX