scrapy 批量写入，不足数量如何收尾

[360safe]

请问：
我在 Pipelines 的__init__中设置了一个变量 AAA，代码里写着：
if len(AAA)> 500:
汇总写入一次数据;
AAA= []

请问：最后程序结束的时候，如果 AAA 不足 500，如何收尾。

[bazingaterry]

结束的时候还有一个函数（一时之间想不起名字

[jigloo]

判断一下当前时间，超过上次记录时间比如 1 分钟的话，即使不足 500 条也写入。算是最简单的 workaround 了。

[sikariba]

就用一楼的那个，收尾的时候再写一次。closed 函数。
https://docs.scrapy.org/en/latest/topics/spiders.html#scrapy.spiders.Spider.closed

[naomhan]

pipline 里有个 close_spider 可以在这里导出

[1O]

都是🐸，你看你都丑成啥样了。

[360safe]

谢谢大家，明白了，都怪自己没有细看官方文档。谢谢大家，学习成长了。

[360safe]

@1O 一样丑……