V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
ghos
V2EX  ›  问与答

目前自媒体信息泛滥,是否存在一种自写爬虫信息收集的开源工具呢?

  •  
  •   ghos · Jul 17, 2019 · 2190 views
    This topic created in 2476 days ago, the information mentioned may be changed or developed.

    起因

    现在获取信息的渠道真的是五花八门,想要自建一个服务来汇集一下自己感兴趣的信息。想要发出来跟大家讨论讨论,通过搜索引擎搜到了几个方案,于是抛砖引玉看看有没有更好的方式。

    方案

    huginn

    huignn 可以通过跑一些任务来收集信息然后制作成 rss feed 但是主要问题是 huignn 自定义那套 dsl 太难用了,能用代码解决的问题非要用 dsl,十分的别扭。

    rsshub

    rsshub 可以通过写 js 来进行页面抓取和解析配合 Tiny Tiny RSS 可以保存抓取到的信息,十分不错。

    想向诸位请教一下,除了这两种方式有没有其他更好用的信息收集方式呢?

    1 replies    2019-07-17 13:51:27 +08:00
    ghos
        1
    ghos  
    OP
       Jul 17, 2019
    急!在线等~
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3004 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 15:12 · PVG 23:12 · LAX 08:12 · JFK 11:12
    ♥ Do have faith in what you're doing.