有没有一种爬虫服务,只需要我指定网站和规则,就可以定时爬数据,并且可以提供我指定格式的 json api 的

2018-03-03 13:47:55 +08:00
 Brucepac

如题,希望各路大佬知道,告知一下。

PS:本人比较喜欢看自然科学相关的文章,经常看环球科学的网站,加上我是做 iOS 开发的,所以我想用 swift 做一个 app 方便看文章。

本来是想自己做全栈的,包括设计和前后端(前后端全用 swift),但是由于我对爬虫方面的知识不太了解,我想先完成 app,后期再用 Perfect 自己学习写爬虫程序。所以要是有现成的爬虫并且是开源的就最好了😄。

9302 次点击
所在节点    程序员
46 条回复
zlstll
2018-03-05 08:48:13 +08:00
mark 一下
dingdong
2018-03-05 10:10:12 +08:00
提供这种服务的网站,如果存储了爬虫数据,在国内会面临法律风险吧
Jaeger
2018-03-05 10:28:27 +08:00
midysky
2018-03-06 14:48:15 +08:00
发源地云采集引擎,专门干这个事的。刚刚已开源。https://github.com/finndy/finndycloud
midysky
2018-03-06 14:55:16 +08:00
[发源地] 数据源市场有 10 几万个网站的规则。很多开发者发布的免费规则可以使用。
8bits
2018-12-15 15:04:50 +08:00

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/434481

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX