关于统一处理 Scrapy spider 异常的问题

[Jelly]

Scrapy 项目中有多个 spider ，某些 spider 在处理 response 的时候会出现异常（如 xpath 解析后得到空的 list ，这时去 list[n]的时候就会抛 Indexerror ），有没有什么办法可以统一管理这些异常？ 自己写 SpiderMiddleware ， spider 抛出异常的时候 process_spider_exception 方法并没有被触发...... 求建议~

[zhuangzhuang1988]

pycharm 调试下流程就好了.

[knightdf]

scrapy,直接看源码的,很清楚的

[1130335361]

可以参考一下这个
http://stackoverflow.com/questions/11069128/how-to-process-all-kinds-of-exception-in-a-scrapy-project-in-errback-and-callba

[mudy]

请问你找到解决办法了吗？谢谢！！！