90928yao
V2EX  ›  互联网

某些白嫖网站的爬虫是怎么做到精确爬别人的文章的。各个网站博客页面元素都不同阿

  •  
  •   90928yao · Mar 9, 2020 · 2332 views
    This topic created in 2443 days ago, the information mentioned may be changed or developed.

    很好奇他么是怎么做到的,那么多网站,页面结构都不一样。他们的爬虫是做到只提取文章,忽略不相关的元素的,甚至还很不要脸的去掉了转载信息。 针对某个网站还能理解,好好分析页面元素,然后慢慢来。但是他们是怎么实现的呢,这个超出我的知识范围了。求大佬赐教

    5 replies  •  2020-03-10 09:24:40 +08:00
    polythene
    polythene
    Mar 9, 2020
    1
    这算是正文提取的范畴了吧,已经有很多现成的解决方案了,比方说这个:
    https://github.com/polyrabbit/hacker-news-digest/tree/master/page_content_extractor
    90928yao
    90928yao
    OP
    Mar 9, 2020
    2
    谢谢解惑 @polythene 搜了下正文提取 关键词 都上机器学习了 井底之蛙了
    yuzo555
    yuzo555
    Mar 9, 2020
    3
    有些比较规范的程序有固定的正文区域;有些常见程序规则固定的(比如 WordPress 这类);再不济可以通过可见文字的密度来识别哪个区域是正文
    itskingname
    itskingname
    Mar 9, 2020 via iPhone
    4
    https://github.com/kingname/GeneralNewsExtractor

    这是我写的正文提取工具
    90928yao
    90928yao
    OP
    Mar 10, 2020
    5
    @itskingname 谢谢大佬。。。学习了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1022 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 18:47 · PVG 02:47 · LAX 10:47 · JFK 13:47
    ♥ Do have faith in what you're doing.