开源一个 python 脚本驱动的定向爬虫

[binux]

python爬虫绝大多数都是定向抓取，并进行一定程度的结构化解析

这套爬虫设计采用python脚本驱动抓取动作，适用于各类页面（要实现通用爬虫也没问题）
经过实践证明好用的更新调度机制，以及灵活稳定的抓取环模型
辅以 WEB 化的脚本编写、调试、监控，看图你就懂了：



这套爬虫是我一年多前设计开发的，抓取200个站点，在至少2个商业环境中运行，现在在Apache协议下重写开源。希望能终结各种自己写python爬虫的必要。

github项目： https://github.com/binux/pyspider
快速开始： https://github.com/binux/pyspider/wiki/Quickstart
其他更详细的文档： https://github.com/binux/pyspider/wiki

[chau]

@binux sudo pip install -r requirements.txt 这句的时候 SLLError:The read operation timed out

[binux]

@chau 网络问题，试试aliyun的镜像 http://mirrors.aliyun.com/help/pypi

[chau]

@binux 小白一名,求详细步骤

[binux]

@chau help/pypi 不就是详细步骤吗？

[chau]

@binux ~/.pip/pip.conf 目录下面没有这个文件......

[binux]

@chau 创建一个

[myAngel]

有一个网站，需要帮个忙。马化腾：156224301

[tobyzhong]

http://v2ex.com/t/104723#reply21 求高人给点提示

[guotie]

学习一下

[sgissb1]

小哥，我真心想了解你的爬虫，别这样～～～～我很伤心的

[sgissb1]

在这里给你说了，其实我不想搞爬虫这块的学习。我倒是想通过爬虫弄点素材，来研究研究，是这样的。

我主要是为了拿到页面然后分析。手动去搞主要是不懂web开发，另外我需要的样本很多，手工。。。你懂的

[chuangbo]

实在是太好用了

[Lycnir]

赞一个

[wico77]

@binux 我安装后怎么 web 调试功能出不来？

[commoccoom]

@binux 请问 怎吗删除已经创建了的 project 我是在本地运行的