分享一个自己用 PHP 写的豆瓣妹子图爬虫，每日更新！

[wyan453351466]

访问地址：

http://www.yanshuo.me/r/18douban

感觉 PHP 的爬虫并没有比 Python 差多少啊？异步并发爬取、dom 解析什么的 PHP 做起来都毫无压力的好嘛！

下面贴一下代码，自己封装的一个小的爬虫‘框架’（应该还称不上是框架吧，哈哈）。其实核心主要还是基于两个 composer 包，guzzlehttp/guzzle 和 symfony/dom-crawler。自己在应用层面做了一下封装，比如记录日志、断点续爬、失败请求重试、过滤重复请求、404 页面加入 URL 黑名单。

[foursking]

@wyan453351466 放心放心

[siyiye]

来个每月分期打包下载吧~~~

[dreamery]

不错👍

[wyan453351466]

@siyiye 后期可以考虑搞一个。。传到百度云盘。。

[pagict]

我发现豆瓣各个大尺度的小组已成为新手爬虫项目的基本源了 哈哈😂

[aksoft]

还可以并发了？

[wyan453351466]

@aksoft 可以啊。。

[wyan453351466]

@dreamery 谢谢！

[wyan453351466]

@qq1455018613 😂

[plpptp]

404

[zonzin]

说好的开源呢。等