开源一个 python 脚本驱动的定向爬虫

[binux]

python爬虫绝大多数都是定向抓取，并进行一定程度的结构化解析

这套爬虫设计采用python脚本驱动抓取动作，适用于各类页面（要实现通用爬虫也没问题）
经过实践证明好用的更新调度机制，以及灵活稳定的抓取环模型
辅以 WEB 化的脚本编写、调试、监控，看图你就懂了：



这套爬虫是我一年多前设计开发的，抓取200个站点，在至少2个商业环境中运行，现在在Apache协议下重写开源。希望能终结各种自己写python爬虫的必要。

github项目： https://github.com/binux/pyspider
快速开始： https://github.com/binux/pyspider/wiki/Quickstart
其他更详细的文档： https://github.com/binux/pyspider/wiki

[cooiky]

这个长时间抓，会被目标站ban掉么

[binux]

@cooiky 有流量控制 和 代理支持

[sjrong]

我已经通过贡献1GB空间来支持啦 呵呵~

[yupeng]

赞，支持一下

[primer]

楼主你好，你这款爬虫适用于非结构式的网页信息爬取吗？

还有如果我想爬取Google play商店上APP下的所有用户评论，能做到吗？ 谢谢楼主！

[binux]

@primer 可以，如果要所有的，需要分析出翻页的url

[simapple]

顶起

[manhere]

@binux 你那个推广链接识别错误，汉字连一块了

[binux]

@manhere 不能改没辙啊。。

[vaneoooo]

@primer 抓这个作用在于？

[sobigfish]

很牛的样子，请问如果采集到了一个索引页，怎么把索引页里的url自动加到task里？并调用不同的Handler

[binux]

@sobigfish self.crawl 用于创建 task，这里设计上不是通过不同的 Handler，而是不同的 callback函数来区分的。一个 Handler 固定处理同一个站点（project）的各类页面。
如果确有必要跨 Handler，第二里程碑会实现 send_message 特性可以实现。

[darklowly]

一天写5个爬虫，有什么好开源节流的价值？

[darklowly]

定向爬一天可以写几十个

[binux]

@darklowly 然后你怎么管理这几十个？怎么知道哪些挂了？

[zhkzyth]

拜读过lz的代码，赞~

[vigoss]

@darklowly 能省一天是一天啊。

[chens]

@binux 请教下啥叫作抓取环模型？

[binux]

@chens 你知道流式吗？把它的头和尾连起来就是环了。

blog上有张图

[chens]

@binux http://blog.binux.me/assets/image/pyspider-arch.png
看明白了，多谢啦。
多问一句，用QQ或者gtalk之类的IM吗？有抓取相关问题请教。:-)