想问问各位爬虫的策略

2018-07-02 10:19:52 +08:00
 lk2589
目前在做一个爬虫，老板的要求是要我抓取网页和解析分开，也就是把网页的正文全部保存下来，解析可以延后。
想问问你们的策略是抓取和解析放在一起了还是分开了？
以后的爬虫数据更新是如何更新？全部更新？
3280 次点击
所在节点    Python
21 条回复
teaser
2018-07-03 13:41:42 +08:00
分开更好

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/467378

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX