鸟巢网页数据采集系统 V2.2

2016-04-11 10:01:31 +08:00
 sohoer

做个简单易用通用型采集器不容易,这个项目已经花了 6 年时间,还没完还将继续。

3 年前第一次发布

http://v2ex.com/t/65371#reply149

第一次发布后有人说太复杂,有人说应该提供独立的 WEB 管理界面等等,花了 3 年时间在这个版本都有实现,并且做了很多的重构与功能完善。

三年前注册的用户,可以直接安装使用(鸟巢采集器个人用户终身免费使用),

项目地址

https://github.com/speed/newcrawler

目前还不打算开放注册,准备再测试一个月(请不要申请邀请码)

鸟巢采集器

http://www.newcrawler.com

测试帐号(请使用海外节点,因为 GAE,OpenShift 都已被墙)

username:test 
password:test

演示视频

http://video.newcrawler.com/newcrawler_v2.2.mp4

http://ww3.sinaimg.cn/large/5e24c9a7gw1f2sj1vgfx8j20zk0rhtg2.jpg

13218 次点击
所在节点    分享发现
103 条回复
keepcleargas
2016-04-11 11:59:12 +08:00
大牛 膜拜.
Kilerd
2016-04-11 12:01:25 +08:00
太厉害了,坚持了那么久,我很久之前也写过一个,不过完全不通用啊。
mahone3297
2016-04-11 12:05:15 +08:00
什么毅力居然让你坚持了 6 年。。。赞。。。
kutata
2016-04-11 12:06:08 +08:00
这项目的构建方式刷新了三观,好腻害.....
qa52666
2016-04-11 12:29:14 +08:00
牛逼
soulteary
2016-04-11 12:30:43 +08:00
成功炸出来潜水党...点赞。
dong3580
2016-04-11 12:38:35 +08:00
已经 star,真是膜拜大牛啊,
ixinshang
2016-04-11 12:41:02 +08:00
在树莓派贴吧 看过一个类似的 info
sunbeams001
2016-04-11 12:45:40 +08:00
定制度和完成度都好高……膜拜下
Xrong
2016-04-11 12:45:46 +08:00
我了个去啊,牛逼到家啊。。。给楼上点个赞啊
heige853
2016-04-11 12:49:17 +08:00
看了下 好牛逼 颠覆了对以往采集工具的理解~
Asimov
2016-04-11 12:49:29 +08:00
回家试试
missqso
2016-04-11 13:00:27 +08:00
好厉害啊,很多 ux 动画也是非常的精致。
FanError
2016-04-11 13:02:09 +08:00
一登录进去 NPE 了哦

java.lang.NullPointerException
at lllllllllllllll.IIlIIllllIIlllllI.lIlIllIllIIIllI(Unknown Source)
at lllllllllllllll.IIlIIllllIIlllllI.IIIIIllIlIIIIII(Unknown Source)
at lllllllllllllll.IIlIIllllIIlllllI.IIIIIIlllIlllIl(Unknown Source)
at lllllllllllllll.IIlIIllllIIlllllI.IIlIIIlIlIIlIIl(Unknown Source)
at lllllllllllllll.IIlIlllIlllIlIIII.lIIllIllllIIIIl(Unknown Source)
at lllllllllllllll.IIlIlllIlllIlIIII.check(Unknown Source)
at sun.reflect.GeneratedMethodAccessor60.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at lllllllllllllll.IIlIlIllIIIlIlIll.IIIIlIlllIIlIll(Unknown Source)
at lllllllllllllll.IIlIlllIlIllllIIl.call(Unknown Source)
at lllllllllllllll.IIlIIlIIIlIIlIIII.IIlIIlIlIlIlIIl(Unknown Source)
at lllllllllllllll.IIlIIlIIIlIIlIIII.service(Unknown Source)
Caratpine
2016-04-11 13:03:51 +08:00
好厉害,赞赞赞
loadingimg
2016-04-11 13:04:45 +08:00
膜拜一下
ketle
2016-04-11 13:07:08 +08:00
可视化的怎么弄
Sunya
2016-04-11 13:09:56 +08:00
wecl come back 😆。赞
csx163
2016-04-11 13:29:50 +08:00
三年前看过,记得当时根本无从下手,现在真的好用多了。 [赞]
sohoer
2016-04-11 13:40:07 +08:00
@FanError 请切换到海外节点,在 LOGO 边上

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/270075

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX