写了一个 celery 爬虫监控 demo

[adrianyoung]

花了一两周在摸 celery 的坑

然后用 Python 写了个监控脚本针对 celery task 和 worker

主要靠 Prometheus + Grafana, 简单粗暴, 甚至感觉有点爽 ?

跟 flower 比的话, 还能更灵活点，外加有个报警功能

顺手贴下 grafana dashboard 对应模板: https://grafana.com/dashboards/9970

顺手贴下 github: https://github.com/adrianyoung/CrawlerMonitor

相关安装、配置、用法都在 wiki 后面写了备忘

单独监控 rabbitmq 有个比较火的模板 https://grafana.com/dashboards/2121

还有很多可以完善的地方, 后面会慢慢补足

[pandachow]

真是有缘...

[adrianyoung]

@pandachow 哈哈哈哈都是路人

[6d6f33]

感谢。
不过 celery 4 不知道你会不会遇到一个神坑，定时任务的服务会莫名其妙的随机很多天后死亡（停止）。如果遇到了，也解决不了的话，记得去看看 RQ，这个简单点，可定制程度也很高。

[adrianyoung]

@6d6f33 我想吐槽一下的是我现在也没搞懂 celery 到底哪个版本是真正稳定的，定时任务的话肯定就跟时区问题挂钩我还没实际碰到过，如果有问题的话应该上去找找 issue，rq 没用过我了解下。