一个好用的爬虫应该有什么样的功能?有什么有趣的玩法?

2016-11-25 18:09:47 +08:00
 GrahamCloud

这两周,我们做了一个目前来看非常易用的云爬虫:

主页在这里, zaoshu.io

现在,我们提出了很多酷的设想,也在一步一步慢慢完善。 大家快来玩玩。 如果你也有酷的想法,愿意洗耳恭听。 期待可以一起合作。

24694 次点击
所在节点    推广
183 条回复
cougar
2016-11-29 09:53:16 +08:00
说实话,真的很酷
cougar
2016-11-29 09:54:23 +08:00
不过我要的数据貌似是没获取到
GrahamCloud
2016-11-29 11:38:39 +08:00
@cougar 求问是什么数据,能帮到最好。
cougar
2016-11-29 11:42:21 +08:00
@GrahamCloud 我现在页面提示一直在执行中有一小时了,我的账号是 cougar999 ,在 gmail.com ,你应该能看到吧
GrahamCloud
2016-11-29 11:58:15 +08:00
@cougar 看到了,在解决。
kenshinhu
2016-11-29 12:10:22 +08:00
哦,使用示例这里有拉勾的中山区域连接的? 这个怎样实现的?
GrahamCloud
2016-11-29 13:35:31 +08:00
@kenshinhu 结合定位。
GrahamCloud
2016-11-29 15:35:34 +08:00
@cougar 方便的话加下微信或者首页客服里聊聊吧,好像还在卡。认真解决一下。
jaylong
2016-11-29 17:27:42 +08:00
邮件 token 非法
GrahamCloud
2016-11-29 22:36:05 +08:00
感谢!
yu550461029
2016-11-30 11:12:42 +08:00
打算爬一下国家统计局的行政区划,感觉不大会用呢
GrahamCloud
2016-11-30 11:19:04 +08:00
@yu550461029 想爬什么样的,具体说说?
GreatMartial
2016-11-30 11:25:29 +08:00
支持,有空体验一下
blackFool
2016-12-01 12:00:53 +08:00
界面交互不错,爬爬微信公号
quericy
2016-12-02 15:14:31 +08:00
页面元素只能选取,不能直接交互:
http://www.huipinzhe.com/nanzhuang?page=1
遇到有全屏遮罩的还得手动 F12......

如果有的页面需要一系列操作 JS 拼接的数据,是不是就无法采集?
GrahamCloud
2016-12-02 15:17:52 +08:00
@quericy 因为上新 ui 的缘故,完成创建的步骤今天卡住了,采集方面,应该是能支持的。
quericy
2016-12-02 15:22:01 +08:00
@GrahamCloud 和创建步骤无关.我指的是相应页面原有的点击事件,而不是选用无用的元素.不少网站首次访问无 cookie 状态下会有全屏遮罩,这时是无法选取需要采集的列表的元素的

GrahamCloud
2016-12-02 17:10:57 +08:00
@quericy 这个坑确实是有点大,现在还在解决。欢迎加微信: Zaoshuio
saber000
2016-12-04 02:25:16 +08:00
没有 api 吗
GrahamCloud
2016-12-05 11:10:01 +08:00
@saber000 这是这两周的安排。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/323314

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX