V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
tikazyq
V2EX  ›  分享创造

爬虫管理平台 Crawlab 社区版 v0.5.0 正式发布

  •  1
     
  •   tikazyq ·
    tikazyq · 2020-07-19 19:14:27 +08:00 · 1511 次点击
    这是一个创建于 1348 天前的主题,其中的信息可能已经有所发展或是发生改变。

    前言

    本次更新包括几个部分:

    1. 爬虫市场
    2. 批量操作
    3. 数据库底层优化

    更新日志

    功能 / 优化

    • 爬虫市场. 允许用户下载开源爬虫到 Crawlab.
    • 批量操作. 允许用户与 Crawlab 批量交互,例如批量运行任务、批量删除爬虫等等.
    • 迁移 MongoDB 驱动器至 MongoDriver.
    • 重构优化节点逻辑代码.
    • 更改默认 task.workers 至 16.
    • 更改默认 nginx client_max_body_size 为 200m.
    • 支持写日志到 ElasticSearch.
    • 在 Scrapy 页面展示错误详情.
    • 删除挑战页面.
    • 将反馈、免责声明页面移动到顶部.

    Bug 修复

    • 修复由于 TTL 索引未创建导致的日志不过期问题.
    • 设置默认日志过期时间为 1 天.
    • task_id 索引没有创建.
    • docker-compose.yml 修复.
    • 修复 404 页面.
    • 修复无法先创建工作节点问题.

    参考

    社区

    如果您觉得 Crawlab 对您的日常开发或公司有帮助,请加作者微信 tikazyq1 并注明 "Crawlab",作者会将你拉入群。欢迎在 Github 上进行 star,以及,如果遇到任何问题,请随时在 Github 上提 issue 。另外,欢迎您对 Crawlab 做开发贡献。

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   955 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 21:43 · PVG 05:43 · LAX 14:43 · JFK 17:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.