一步采集(OneStepSpider) - 网页列表数据的自动识别尝试

[oness]

大家好！ 我是"一步采集"的作者。 地址： http://onestepspider.51pashanhu.com/

一步采集通过分析网页 HTML 结构，尝试自动识别出页面中的列表数据，比如 V2EX 列表的主题数据，包括字段标题、时间、作者、阅读量等等。 还有常见的表格类数据。

并且，程序内还有一套“分页识别算法”，自动分析出下一页，以实现采集分页数据的功能。

优点：相对于其他同类产品，一步采集的速度是有非常大的优势，采集一个常规网页，基本都是在秒级别。

缺点和不足： 对于 Ajax 加载的网页还不支持，详情页的识别还在开发中。

这个产品目前还是一个 Demo 阶段，欢迎大家提供宝贵意见！ 我们持续改进！

[oness]

核心点就 2 个：自动识别列表算法、自动识别分页算法。
下一步的自动采集内容页，涉及正文提取算法。 这个目前有很成熟的算法，很好搞定。

[whung]

收藏下支持一下你

[mingyun]

试了下，速度挺快的，都不用写代码了

[watermelon92]

实测速度的确快啊，怎么做到的

[oness]

@whung
感谢！
@mingyun
@watermelon92
哈哈，相比其他一些云采集是快很多。
不过，可改进的地方还很多

[xiaoqiang0704]

确实很方便。可以进一步分享实现的方式吗

[jayli517]

找东西的时候发现的，已经 200 多天了，不知道还更新不更新了，爬山虎采集器倒是评测感觉挺好的