scrapydweb：实现 Scrapyd 服务器集群监控和交互， Scrapy 日志分析和可视化

[my8100]

功能特性

• Scrapyd 服务器集群监控和交互

  • 支持通过分组和过滤选中特定服务器节点
  • 一次点击，批量执行

• Scrapy 日志分析

  • 统计信息展示
  • 爬虫进度可视化
  • 关键日志分类

• 支持所有 Scrapyd API

  • Deploy project, Run Spider, Stop job
  • List projects/versions/spiders/running_jobs
  • Delete version/project

GitHub

scrapydweb

欢迎 Star 和提交 Issue

安装

通过 pip 安装：

$ pip install scrapydweb

启动

通过命令行终端运行 "scrapydweb -h" 以查看帮助和选项. 第一次运行将在当前工作目录生成配置文件 "scrapydweb_settings.py"，可用于自定义 Scrapyd 服务器列表等选项.

$ scrapydweb

通过浏览器访问 http://127.0.0.1:5000

运行界面截图

• 集群监控和交互

• 当前节点任务列表

• 日志分析

  • 统计信息展示

  • 爬虫进度可视化

  • 关键日志分类

• 部署项目

• 运行爬虫

• 管理项目

[achaocha]

先 star 再说。

[my8100]

v0.9.4 Add basic auth for web UI

[my8100]

v0.9.5 Add Items page

[SpiderXiantang]

star!

[my8100]

v0.9.6 Support accessing Scrapyd servers protected by basic auth

[my8100]

v0.9.7: Fix the bug that fails to read lastModifiedDate of egg file in Firefox and Safari

[my8100]

v0.9.8: Kill caching subprocess when main process is killed

[my8100]

v0.9.9: Add auto eggifying

[my8100]

v1.0.0rc1: Add Email Notice; Refactor codes