爱意满满的作品展示区。
xiaotuzi

开发了一个简单的 PHP 爬虫系统,做个轮子,给需要的朋友一点帮助!

  •  
  •   xiaotuzi · Apr 20, 2020 · 3385 views
    This topic created in 2257 days ago, the information mentioned may be changed or developed.

    背景

    自己在一次简单的教学中,给学生讲解并手撸的项目,感觉不错,分享给大家。

    项目

    实现简单的爬虫系统,可创建多个爬虫,然后写对应的规则,爬取对应的内容,然后导入数据库。 类似火车头、蓝天采集等爬虫系统,目前只是基础版本。当然,轮子已经做好了,后面就根据自己的需求添加功能即可。

    开源

    码云: https://gitee.com/Cherry_toto/a_simple_php_crawler_system (如果觉得不错,点个 star❤)

    演示

    http://caiji.test.2wex.com

    有任何问题可以在码云里留言给我!

    希望对有需要的人一点帮助!

    6 replies    2020-04-21 16:23:21 +08:00
    wework
        1
    wework  
       Apr 20, 2020
    keepeye
        2
    keepeye  
       Apr 20, 2020
    兄弟 你这代码 不考虑安全的吗?
    xiaotuzi
        3
    xiaotuzi  
    OP
       Apr 20, 2020
    @keepeye 没考虑。。。你帮忙检查下?
    xiaotuzi
        4
    xiaotuzi  
    OP
       Apr 20, 2020
    @wework 看过第一个 querylist,很不错的 html dom,写爬虫很简单。第二个不明觉厉,哈哈,英文不太好。我的是比较简单的吧,适合爬取一些简单的东西,如果要添加 header 这些,还需要增加一些功能,以及处理函数。其实都是比较简单的二次开发啦。
    wework
        5
    wework  
       Apr 20, 2020
    @xiaotuzi 那个 Ultimate Web Scraper 它那个主要是比较方便处理 cookies 以及一些转跳
    tikazyq
        6
    tikazyq  
       Apr 21, 2020
    很类似 crawlab 的可配置爬虫
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   900 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 41ms · UTC 19:58 · PVG 03:58 · LAX 12:58 · JFK 15:58
    ♥ Do have faith in what you're doing.