鸟巢网页数据采集系统 V2.2

[sohoer]

做个简单易用通用型采集器不容易，这个项目已经花了 6 年时间，还没完还将继续。

3 年前第一次发布

http://v2ex.com/t/65371#reply149

第一次发布后有人说太复杂，有人说应该提供独立的 WEB 管理界面等等，花了 3 年时间在这个版本都有实现，并且做了很多的重构与功能完善。

三年前注册的用户，可以直接安装使用(鸟巢采集器个人用户终身免费使用)，

项目地址

https://github.com/speed/newcrawler

目前还不打算开放注册，准备再测试一个月（请不要申请邀请码）

鸟巢采集器

http://www.newcrawler.com

测试帐号(请使用海外节点，因为 GAE,OpenShift 都已被墙)

username:test 
password:test

演示视频

http://video.newcrawler.com/newcrawler_v2.2.mp4

http://ww3.sinaimg.cn/large/5e24c9a7gw1f2sj1vgfx8j20zk0rhtg2.jpg

[sohoer]

上一次发布有人说访问太慢，
所以我自己实现了分布式同步，目前有三个节点， aliyun 、 gae 、 linode
被墙的资源如 GAE 请使用 linode(海外节点)访问

[frankmdong]

好毅力 已 star

[xiaogouxo]

楼主太刁了。已 star

[walkershow]

楼主牛逼啊！

[sohoer]

@leehon 一直都是一个人开发

有时候想想都觉得自己很强大，坚持这么久做一件事情
无数次编译，数不清的重构，每一次重构都很痛苦
刚开始程序员生涯的时候做过很多垃圾站，也用过不少采集器
后面知道 GAE 免费，于是想用很多的 GAE APP 来搭一个免费的爬虫网络（违反 TOS ）
基于 GAE 开发后发现 PAAS 平台限制太多，后来加上了标准的 JAVA 环境支持
目前同时支持 GAE 与标准 JAVA 环境，开发上也增加不少难度，
谁让我想吃免费的蛋糕呢！

最后大家都能有免费蛋糕吃

[xingshu]

能留个邮箱么，有点其他需求，希望能通过邮箱沟通。🤗

[sohoer]

@xingshu [e-mail]

[xingshu]

@sohoer 已发，谢谢。

[fengxiang]

手动点赞，楼主能坚持真的很厉害。不像某些项目，一堆 bug 还到处宣扬。

[gimp]

佩服楼主的毅力和能力，点赞！

[mcwanderer]

膜拜

[badcode]

看哭了，我确定是回这贴的

[sohoer]

@badcode 你确定吗？

[DesignerSkyline]

给你点赞啦！希望以后也继续更新

[Flygoat]

垃圾站助手？

[sohoer]

@Flygoat 现在不做垃圾站了，像这样的 http://www.shishibi.com(半成品)

[binux]

选项太多了，来试试 import.io ？

[sohoer]

@binux 大神来了啊！

试用过 import.io 好卡，他也有不少可配置项，并且这种可视化配置并不能做到通用
其实我那两个导出图标都还是从他们家搬来的

[ven]

太强大了！赞！

[sohoer]

@binux

哦你说的应该是那个无需配置的功能，那个复杂点的页面就解析不出来，不确定性太多