首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 换工作是一件经过深思熟虑的严肃事情
• 频繁换工作是 loser 做的事情
• 公司应该提供给员工尽可能好的条件
• 这里不欢迎苦大仇深的公司
• 原则上这里不欢迎猎头发帖,除非是懂技术的猎头
• 如果你自己从来没有从期权上赚过钱,就不要在招聘时强调期权
• 招聘时请尽量给出薪酬范围
• 求职时请附上自己的薪酬要求
• 说话前经过足够的思考是好习惯
• 上传一个有意义的头像会更体现你们公司的品牌和诚意
• 请不要在 1 天的时间内在酷工作节点发布超过 3 个主题
• 在不同节点下发布内容相同的主题这种行为不科学
V2EX  ›  酷工作

爬虫如何实现增量爬取?

  •  
  •   PHPer233 · 2018-07-26 23:59:20 +08:00 via iPhone · 1432 次点击
    这是一个创建于 453 天前的主题,其中的信息可能已经有所发展或是发生改变。
    有一个论坛,每天都有新的帖子发表,我想让爬虫每天只爬取新增的帖子,而不是把已经爬过的帖子都爬取一遍。这种需求该如何实现?求思路。。
    4 回复  |  直到 2018-07-27 09:52:07 +08:00
        1
    caiem   2018-07-27 00:02:59 +08:00 via iPhone
    帖子是自增 id 么.增量时读取 max id 就行了嘛
        2
    qsnow6   2018-07-27 00:25:21 +08:00 via iPhone
    去爬帖子列表页, 每次都把当前页的 url 和数据库中的对比,如果没有重复的说明,这一夜都是新的 URL,然后下一页,直到出现部分重复或完全重复的页面
        3
    thedog   2018-07-27 00:26:03 +08:00 via Android
    redis?
        4
    fiht   2018-07-27 09:52:07 +08:00 via iPhone
    实现增量一个最简单的办法是每天抓取一下首页 链接。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3270 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 25ms · UTC 10:26 · PVG 18:26 · LAX 03:26 · JFK 06:26
    ♥ Do have faith in what you're doing.