爬虫管理平台 Crawlab v0.4.5 发布

[tikazyq]

前言

本次修复主要集中在 Bug 修复和一些必要的优化。

更新日志

功能 / 优化

• 交互式教程. 引导用户了解 Crawlab 的主要功能.
• 加入全局环境变量. 可以设置全局环境变量，然后传入到所有爬虫程序中. #177
• 项目. 允许用户将爬虫关联到项目上. #316
• 示例爬虫. 当初始化时，自动加入示例爬虫. #379
• 用户管理优化. 限制管理用户的权限. #456
• 设置页面优化.
• 任务结果页面优化.

Bug 修复

• 无法找到爬虫文件错误. #485
• 点击删除按钮导致跳转. #480
• 无法在空爬虫里创建文件. #479
• 下载结果错误. #465
• crawlab-sdk CLI 错误. #458
• 页面刷新问题. #441
• 结果不支持 JSON. #202
• 修复“删除爬虫后获取所有爬虫”错误.
• 修复 i18n 警告.

参考

• Github: https://github.com/crawlab-team/crawlab
• Demo: https://crawlab.cn/demo

社区

如果您觉得 Crawlab 对您的日常开发或公司有帮助，请加作者微信 tikazyq1 并注明 "Crawlab"，作者会将你拉入群。欢迎在 Github 上进行 star，以及，如果遇到任何问题，请随时在 Github 上提 issue。另外，欢迎您对 Crawlab 做开发贡献。

[DJI360]

感谢分享

[tikazyq]

@hfutzj 谢谢支持

[pythonee]

感谢分享

看了下文档，建议增加一些术语解释，比如说阶段这个概念

另外，不知道 scrapy 是不是默认已经集成？

[tikazyq]

@pythonee 是的，现在文档还有些不那么完善，后续我们会进一步逐步完善的。

在 Docker 镜像中，scrapy 是已经集成了的了。

[kaikai5601]

demo 登录出错了

[qsbaq]

demo 登录出错了

[musi]

看了一下是支持多节点部署的？最近刚好想找一个爬虫管理平台管理一些内网环境下的爬虫(机器可通外网，但获取的数据在内网)貌似可以试试？

[tikazyq]

@kaikai5601 密码被更改了，现在可以试试

[tikazyq]

@qsbaq 现在试试

[tikazyq]

@musi 是的，这个本身就是支持分布式的平台，可以多节点部署。Crawlab 分主节点工作节点，主节点主要控制 API 和节点注册等，工作节点主要负责抓取，你可以让主节点在内网，工作节点在外网，这样就可以实现你想要做的事情了。