Python scrapy pipelines 里面的 item 怎么按里面的一个字段值排序?

2017-05-10 18:18:08 +08:00
 bb2018
比如 item 里面有一个 infoid 的字段。item['infoid'] 对应的是一些数据。

怎么在 pipelines 里通过 item['infoid'] 对应的值给 item 排序后再让后面的 pipelines 处理它?

sorted(item.items(), key=lambda infoid:infoid[1])

这样排序后总是提示:TypeError: string indicesmust be integers, not str
不知道还有什么办法可以在 pipelines 里存入数据库前给 item 按相应的字段值排序后再处理?
3652 次点击
所在节点    Python
5 条回复
knightdf
2017-05-10 19:17:06 +08:00
pipeline 处理 item 应该是无序的,只是 pipeline 有权重高低顺序之分
dsg001
2017-05-10 19:38:05 +08:00
使用 orderdict 排序吧
zsz
2017-05-10 19:53:22 +08:00
pipelines 处理数据本身就是根据数据获取的顺序处理(流式),如果抓取的数据比较少,可以缓存到 cache 中,最后排序入库,不然还是直接入库,用 infoid 建立一个索引字段
freestyle
2017-05-11 09:59:46 +08:00
sorted(item.items(), key=lambda i:i["infoid"])
freestyle
2017-05-11 10:01:08 +08:00
4#回复错了
data = item.items()
sorted(data, key=lambda i:i["infoid"])

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/360459

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX