天生支持增量更新的爬虫有哪些？

2018-08-25 01:59:53 +08:00
 GuDream8
不局限于语言
1765 次点击
所在节点    问与答
5 条回复
chen2016
2018-08-25 07:47:42 +08:00
我想知道天生赚钱的体质是什么，不局限于我爹是谁
loading
2018-08-25 08:17:31 +08:00
幽灵蛛不知行不行。
qsnow6
2018-08-25 09:30:09 +08:00
SCRAPY
helloiac
2018-08-25 10:04:46 +08:00
啥叫增量更新？
glacer
2018-08-25 12:00:24 +08:00
增量更新实际上就是重爬，通过对 url 或某个字段的值进行排重，新增或变化即入库，否则忽略。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/483042

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX