首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
V2EX  ›  问与答

问一个数据处理的技巧,定时采集一个页面上的链接,怎么比对、记录第二次采集发生的新增、减少?

  •  
  •   qinrui · 208 天前 via iPhone · 423 次点击
    这是一个创建于 208 天前的主题,其中的信息可能已经有所发展或是发生改变。
    采集信息包括链接及标题,其中链接有可能增加、减少以及减少之后又恢复,应该怎么进行比对和记录呢?
    2 回复  |  直到 2019-03-27 19:50:02 +08:00
        1
    x1596357   208 天前 via iPhone
    一堆 diff 算法,找找吧
        2
    C1tas   208 天前 via Android
    定向采集可以提前所有需要的链接拼接后算 hash 第二次如果 hash 相同就终止
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   935 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 20ms · UTC 22:15 · PVG 06:15 · LAX 15:15 · JFK 18:15
    ♥ Do have faith in what you're doing.