V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
zkqiang
V2EX  ›  Python

Crawlab Lite 发布,更轻量的爬虫管理平台

  •  1
     
  •   zkqiang ·
    zkqiang · 2020-07-16 10:51:49 +08:00 · 2541 次点击
    这是一个创建于 1351 天前的主题,其中的信息可能已经有所发展或是发生改变。

    Crawlab 是一款基于 Golang 的分布式爬虫管理平台,产品发布已经一年有余,经过开发团队的不断打磨,即将迭代到 v0.5 版本。在这期间我们为 Crawlab 加入了大量社区用户共同期望的功能,使产品更加专业。但与此同时我们也注意到,部分用户并不是分布式爬虫用户,他们更多只是在单机情况下使用 Crawlab 。其次目前 Crawlab 逐步加入了丰富的功能,也使整个产品逐渐巨化,大部分用户并不能充分使用所有的功能。

    因此 Crawlab Lite 作为 Crawlab 的轻量化版本正式发布,相较于 Crawlab,该版本将专注于解决单机环境下的爬虫管理,并且平台本身不再依赖任何外部数据库,现有以及未来加入的功能都仅限于高频使用的必需功能,做到最大化的功能克制。

    功能特性

    首次发布的版本为 v0.0.1 版本,该版本作为首个体验版本,已经具备了 Lite 版规划的核心功能,相较于 Crawlab 主要区别:

    • 仅支持单机环境下的爬虫管理,不再具备分布式功能
    • 内置依赖 Key-Value 文件数据库,运行不再需要配置外部数据库
    • 删减了大量非必需的功能,平台更加轻量与易用
    • 后端代码大量重构,平台的稳定和速度大幅提升

    运行方式

    我们依然保留通过 docker-componse 这种最方便的方式:

    1. 在任意目录下创建 docker-compose.yml,内容如下:
    version: '3'
    services:
      master:
        image: zkqiang/crawlab-lite:latest
        container_name: master
        ports:
          - "8080:8080"
    
    1. 在目录下运行命令:
    docker-compose up -d
    
    1. 访问 http://localhost:8080

    项目地址

    https://github.com/crawlab-team/crawlab-lite

    项目截图

    爬虫列表

    任务列表

    定时列表

    任务日志

    6 条回复    2020-07-16 20:29:20 +08:00
    xdeng
        1
    xdeng  
       2020-07-16 11:17:07 +08:00
    裸机想试下发现还要装 npm
    tikazyq
        2
    tikazyq  
       2020-07-16 12:52:25 +08:00
    @xdeng 可以 docker 一键安装
    anzu
        3
    anzu  
       2020-07-16 15:51:39 +08:00
    只有 kv 文件数据库也太轻量了,而且为什么用 bolt 不用 sqlite
    tikazyq
        4
    tikazyq  
       2020-07-16 17:12:27 +08:00
    @anzu 只要最后效果不错,用什么都可以,bolt 应该是基于内存的,比 sqlite 更快
    zkqiang
        5
    zkqiang  
    OP
       2020-07-16 20:16:41 +08:00
    @anzu #3 因为一是 sqlite 需要 gcc 不方便,二是 Crawlab 本身就不依赖关系 SQL (社区版是依赖 mongo ),另外 kv 数据库真的很香啊
    xdeng
        6
    xdeng  
       2020-07-16 20:29:20 +08:00
    @tikazyq 我 win 系统只装了 golang
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3313 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 13:20 · PVG 21:20 · LAX 06:20 · JFK 09:20
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.