图片爬虫 laosj(老司机)，支持分布式，可以自定义下载并发量

[spice630]

最近在做鉴黄方面的东西，自己写了个图片爬虫爬点图。

功能不算强大，但是非常轻量 好用，临时需要爬些数据是极好的。

有现成的示例，编译完可用。

https://github.com/songtianyi/laosj

[ofblyt]

能说一下怎么支持分布式的么？

[spice630]

@ofblyt
redis, 采集 url 放入 redis ，下载器从 redis 取 url 。

[spice630]

@ofblyt
分布式爬取的话，目前并没有很好地支持（因为自己目前还用不上），需要自己写任务分发。

[spice630]

@ofblyt 多机部署 /运行是没问题的。

[spice630]

新加内容:
aiss-darwin 根据接口下载爱丝图片(依赖 redis 作为 url 队列)
jav 获取番号列表及根据番号获取种子文件 (无依赖)
haixiuzu.go 豆瓣害羞组图片抓取和下载(依赖 redis 作为 url 队列)