airflow 使用问题

2018-03-27 11:41:33 +08:00
 kkfnui

之前在论坛问过定时任务的监控问题,发现 airflow。

现在要做数据清洗和数据挖掘的工作,发现 airflow 非常适合用来做调度。但是遇到一些问题:

使用体验

airflow 重启很慢,开始的时候总误认为服务没有启动成功

问题

在 airflow web 界面点击了 Run,但是 job 一直处于 running 状态

比较费解,是按照 使用 Airflow 替代你的 crontab 的流程操作的。 不知道是不是有人也遇到过类似问题。

服务上的两个进程也都正常运行

[root@user_portrait 2018-03-26]# ps -aux | grep airflow
airflow   9871  0.4  0.0 324724 55788 ?        S    02:23   0:22 /usr/bin/python2 /usr/bin/airflow scheduler
airflow   9882  1.9  0.1 946824 78132 ?        S    02:23   1:31 /usr/bin/python2 /usr/bin/airflow webserver
airflow   9908  0.0  0.0 318008 55220 ?        S    02:23   0:04 gunicorn: master [airflow-webserver]
airflow  20250  2.7  0.1 1036560 75780 ?       Sl   03:38   0:02 [ready] gunicorn: worker [airflow-webserver]
airflow  20273  3.8  0.1 1036560 75780 ?       Sl   03:39   0:02 [ready] gunicorn: worker [airflow-webserver]
airflow  20366  7.0  0.1 1036560 73740 ?       Sl   03:39   0:02 [ready] gunicorn: worker [airflow-webserver]
airflow  20516 25.7  0.1 1036560 73740 ?       Sl   03:40   0:02 [ready] gunicorn: worker [airflow-webserver]
2011 次点击
所在节点    问与答
1 条回复
OldPanda
2018-11-21 07:41:39 +08:00
虽然过去了很久,不知道楼主定位到问题在哪里了吗?一直 running 的状态大概是因为 airflow 的前端不会自动刷新?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/441726

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX