目前自媒体信息泛滥,是否存在一种自写爬虫信息收集的开源工具呢?

2019-07-17 11:01:35 +08:00
 ghos

起因

现在获取信息的渠道真的是五花八门,想要自建一个服务来汇集一下自己感兴趣的信息。想要发出来跟大家讨论讨论,通过搜索引擎搜到了几个方案,于是抛砖引玉看看有没有更好的方式。

方案

huginn

huignn 可以通过跑一些任务来收集信息然后制作成 rss feed 但是主要问题是 huignn 自定义那套 dsl 太难用了,能用代码解决的问题非要用 dsl,十分的别扭。

rsshub

rsshub 可以通过写 js 来进行页面抓取和解析配合 Tiny Tiny RSS 可以保存抓取到的信息,十分不错。

想向诸位请教一下,除了这两种方式有没有其他更好用的信息收集方式呢?

1404 次点击
所在节点    问与答
1 条回复
ghos
2019-07-17 13:51:27 +08:00
急!在线等~

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/583708

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX