奇思妙想：灵光闪现，想搞一个爬虫平台，有没有可能会火？

[dbfox]

（不喜勿喷：都说了是灵光闪现）

想法是这样子的：

首先有这样一个平台，可以让爬虫爱好者提交爬虫上来 （不仅仅是可以爬网站，还可以爬公众号、头条号 ====）

比如：某爬虫爱好者，提交了一个 V2EX 最新帖子 和 最热帖子的爬虫进来

然后：这个爬虫可以让其他用户订阅使用

当聚集了一定的爬虫爱好者，每天会产生很多内容

主要的意义：聚合碎片化的阅读，为用户节约时间

当然一个平台需要不断的优化调整才能达到更好的体验，
这只是一个小小的想法，不知道能吸引到人来写爬虫不

[weer0026]

这个让我想起来 golang 的爬虫框架 pholcus 了，思路很像。

[wmhx]

http://www.ruguoapp.com/ ?

[haker]

八爪鱼

[QQ2171775959]

爬一下爬，要是能汇聚一批人和信息的也是有一点用处的

[fiht]

提交了一个爬虫上来：
提交的爬虫放在你的服务器上跑么...
不如 rss 靠谱

[ThinkMan]

几个月前，我也有这种想法。一模一样。

[Zzzzzzzzz]

秒变分布式 CC 平台.....

[dbfox]

@ThinkMan 搞个爬虫，以虫会友
@fiht 也可以在我家用电脑上跑，跑好了提交给服务器也可以，具体没想那么多细节

[wulin]

订阅 1024

[Shura]

v 站有人做了个自动签到平台就是这个思路，我发现最难的是“某爬虫爱好者，提交了一个 V2EX 最新帖子 和 最热帖子的爬虫进来 ”，很难做到让人提交爬虫脚本，到最后平台基本也就是作者自己提供的脚本最多了。

[ZSeptember]

神箭手

[qfdk]

跳蚤大神不是早就搞了 这轮子不用造了

[Arnie97]

这根 RSS 有什么本质差别…

[yech1990]

Google 阅读器还在的时候，google 和 yahoo 有类似的实现。Google RSS 关闭后，我也有和楼主一样的想法。

虽然现在有一些类似的方案，但都是闭源收费的服务为主。

之前打算在 github 开个 organization, 分享一些爬虫代码，定义一套接口规范，最终输出类似 RSS 的 xml 格式。

零散写了一些脚本后就放弃了。一方面工程浩大，一方面代码水平太差，一个人连 demo 都实现不了，实现不了 demo 的话，不可能有其他人贡献代码。另外就是现在 RSS 阅读似乎是时代的逆流了，不知几年后 RSS 的用户，也就没太多折腾的动力了。

楼上很多推荐聚合阅读的，应该是没明白楼主的出发点吧。。。

[naiba]

即刻+1

[Norie]

即刻+2

[Aresn]

你听说过 feedly 吗

[haogefeifei]

即刻+3

[haozhu]

即刻+4

[dorothyREN]

我看行