鸟巢网页数据采集系统 V2.2

[sohoer]

做个简单易用通用型采集器不容易，这个项目已经花了 6 年时间，还没完还将继续。

3 年前第一次发布

http://v2ex.com/t/65371#reply149

第一次发布后有人说太复杂，有人说应该提供独立的 WEB 管理界面等等，花了 3 年时间在这个版本都有实现，并且做了很多的重构与功能完善。

三年前注册的用户，可以直接安装使用(鸟巢采集器个人用户终身免费使用)，

项目地址

https://github.com/speed/newcrawler

目前还不打算开放注册，准备再测试一个月（请不要申请邀请码）

鸟巢采集器

http://www.newcrawler.com

测试帐号(请使用海外节点，因为 GAE,OpenShift 都已被墙)

username:test 
password:test

演示视频

http://video.newcrawler.com/newcrawler_v2.2.mp4

http://ww3.sinaimg.cn/large/5e24c9a7gw1f2sj1vgfx8j20zk0rhtg2.jpg

[rubyvector]

楼主强人哦.界面细腻,功能强大到难以想像.不知道处理有 IP 限制的页面是否有解决方案

[mazyi]

cool

[shiny]

以前也考虑过写类似东西，但思路不及楼主。看得出花费了大量心血。

[stiekel]

有毅力，一个项目能够坚持这么多年，赞！

[yanyuan2046]

牛逼，能用 6 年做一件事的都是牛人

[server]

牛人，毅力！！

[whahuzhihao]

好棒！楼主好毅力

[pypy]

好厉害！学习楼主这种精神！

[sohoer]

@rubyvector 可以实现基于代理池的网页抓取插件，也可以是独立于采集器的多线 ADSL+ROS 解决方案
其实我的终极目标是基于鸟巢采集器做爬虫共享

多谢各位的友情支持

[mew7wo]

楼主牛人 已安装试用

[kukat]

有 docker image 吗？

[sewyu]

吓到了，好强大。。。。 绝对大神

[sohoer]

@kukat 还没有，之前准备用 BWG 做 DOCKER 弄了好久发现不支持，后续会加上

不有安装脚本也还方便吧


@mew7wo 有任何意见，建议请给我留言，重构太多目前应该还有不少 BUG

[feather12315]

@sohoer 爬虫共享赞一个。

[sylviayoung]

佩服楼主持之以恒的精神！

[leehon]

6 年有点太长，一直是楼主一个人开发吗

[alongdj]

楼主好毅力…

[inoricho]

楼主大触！

[wuyadong]

楼主，吊~！

[zeac]

佩服~