2024 年 Python 实现定时任务和延时任务,性价比较高的方案是什么?

2024-07-15 10:41:01 +08:00
 amon

需要实现多任务的工作流程,支持定时任务、延时任务,能上生产环境,不是玩具。

谢谢各位。

11403 次点击
所在节点    Python
57 条回复
ClericPy
2024-07-15 23:06:26 +08:00
azkaban/airflow, 只要有多任务依赖关系或者定时任务的,一定要上靠谱的,不然真脚本地狱

有条件的 Serverless + 自带调度器(比如 steps 或触发器或 gateway api )也挺好,很多运维的事比开发都麻烦

(虽然在写玩具准备接管一个类似 supervisor 的场景)
HashV2
2024-07-16 09:12:56 +08:00
我只用过 celery ,参数很多,文档要仔细看,不然在生产环境偶尔还是要出问题的。

另外如果你是用 django 的话,django5.0 在开发 django-tasks, 目前还是在开发阶段,稍微再等等应该就可以用了
6167
2024-07-16 09:35:12 +08:00
celery+redis+rabbitmq ,定时和异步任务都用这个
atpex
2024-07-16 10:27:23 +08:00
@julyclyde 肯定是 porn 打多了:p
flmn
2024-07-16 10:36:46 +08:00
python 不是该先试试 Celery 么
shimada666
2024-07-16 11:22:44 +08:00
@amon 还行吧,目前我们服务 xxl-job 配合 pyxxl 这个 python 接入库在跑,额外配了个钉钉告警,挺稳的调试也方便
shimada666
2024-07-16 11:27:17 +08:00
技术选型的时候,其他的 airflow 什么都调研了一遍,最后还是选择 xxl-job ,部署简单,资源占用少,该有的功能(秒级定时、cron 表达式可视化编辑、日志查看、支持任务依赖、任务超时等配置)都有,上手/运维难度极低,如果你想省心,推荐这个
galileo1214
2024-07-16 13:36:14 +08:00
没有一个人用 crontab 吗
clemente
2024-07-16 13:49:35 +08:00
jenkins job
pollux
2024-07-16 15:42:37 +08:00
我推荐使用 https://faststream.airt.ai/latest/ faststream + NATS
julyclyde
2024-07-16 16:32:25 +08:00
@atpex 我还以为是打字速度太快导致的键盘混乱呢
julyclyde
2024-07-16 16:33:01 +08:00
@galileo1214 正常人不会用 crontab 的
因为你不能保证 crond 一直在运行
drymonfidelia
2024-07-17 03:02:26 +08:00
@shuimugan cf 这个有漏任务的概率(确定不是网络问题)
Latin
2024-07-19 09:51:25 +08:00
walker001
2024-07-21 15:40:44 +08:00
@drymonfidelia 有具体的案例看看么
byronwind
2024-07-26 17:09:20 +08:00
airflow / celery
gmyxds
2024-09-11 14:23:02 +08:00
我觉得基于 redis 的 zset 很好用,

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1057323

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX