可能是目前最好用的国产 PHP 爬虫框架 - XCrawler 0.1 版本发布

[wyan453351466]

自己写的一个爬虫框架哈，第一个版本。请大家轻喷。

不知道为什么提起爬虫很多人第一个想起来的是 Python。其实 PHP 写爬虫也可以写的很好，而且个人感觉并不比前者差啊。而且对于 PHP 作为主语言的人来说，用 PHP 写爬虫也更顺手一些。

特性:

• 极易上手，具备完善的文档和示例
• 支持多并发爬取
• 支持基于 xpath、css 选择器解析内容
• 模拟浏览器行为，如 user-agent、cookie、提交表单
• 支持断点续爬、失败重试、代理、并有完善的爬取日志
• 健壮的底层库，HTTP 客户端基于 guzzle，dom 解析基于 symfony/dom-crawler 库

Github 地址: https://github.com/wyan001/xcrawler

查看文档: https://xcrawler.yanshuju.com/docs/

微信交流群

[drug]

膜拜言说大佬_(:з」∠)_

[wwek]

支持~
选 symfony/dom-crawler 绝对是最佳
之前写过一遍博客说 写爬虫时 PHP 解析 HTML 最高效的方法那就是用 DomCrawler!

[ben1024]

phpspider >.<

[zqjilove]

phpspider >.<

[zqjilove]

phpspider 用过几次，感觉还不错。简单明了。

[wyan453351466]

@zqjilove phpspider 的多并发爬取好像是开了多个子进城去爬的。xcrawler 的并发爬取是利用的 php 内置的 curl multi，所以有更高的性能和更低的消耗。另一方面 xcrawler 在爬虫核心组件上直接引用了成熟的组件，所以稳定性上会有更好的表现（ Phpspider 是自己造的轮子）。还有一些其他的好处等待你阅读文档去发现🤣

[wyan453351466]

@wyan453351466 子进程，写错了

[guke1991]

下次写爬虫试试

[Seth8277]

文档在哪里？
https://i.loli.net/2018/04/24/5adf34363448d.png

[lusizeng]

有自动 IP 代理不？

[wyan453351466]

@Seth8277 手机端文档有点 bug，还没处理😂（明天解决下）

[jisibencom]

不是 WEB 操作的，不会用。