Celery 的诡异问题,请大佬们看看

2021-05-08 16:14:29 +08:00
 dreamTa

项目采用 django ( v2.1.7 )开发,用了 django-celery(v3.3.1)做异步

celery 配置如下

import djcelery

djcelery.setup_loader()

BROKER_URL = 'redis://localhost/3'
CELERY_RESULT_BACKEND = 'redis://localhost/4'

CELERY_ENABLE_UTC = False

CELERYD_CONCURRENCY = 20
CELERYD_MAX_TASKS_PER_CHILD = 4

CELERYBEAT_SCHEDULER = 'djcelery.schedulers.DatabaseScheduler'

在执行异步任务的过程中,偶尔会出现任务卡住的情况,具体表现是任务并没有执行,但任务在一个小时后就会再次自动执行,等于是卡整整一个小时

卡任务的情况偶然出现,不规律

当任务卡住的时候,服务器上同时运行的任务并不多,少于 4 个,再次运行任务就能正常执行,查了好久不知道哪里的问题,有没有大佬可以说说排查思路?或者是遇到过类似的问题?

962 次点击
所在节点    Celery
2 条回复
zhoudaiyu
2021-05-09 09:19:17 +08:00
可以装个 flower 看看任务执行情况 pip install flower
dreamTa
2021-05-10 09:57:26 +08:00
@zhoudaiyu 装了 flower,依然看不出问题,flower 上看上去都正常

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/775674

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX