V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
sirz
V2EX  ›  程序员

Python celery 替代

  •  
  •   sirz · Aug 26, 2024 · 3554 views
    This topic created in 613 days ago, the information mentioned may be changed or developed.
    py 没怎么搞过,现在有个很简单的需求,py 作为消费者消费 rabbitmq 队列,后台执行一些耗时处理。生产者是 Go 。
    试了下 celery 资源吃的挺多,有没有什么简单的组件实现这个功能?
    17 replies    2024-08-27 07:47:29 +08:00
    zengxs
        1
    zengxs  
       Aug 26, 2024
    pollux
        2
    pollux  
       Aug 26, 2024
    qW7bo2FbzbC0
        3
    qW7bo2FbzbC0  
       Aug 26, 2024
    当时选择了自己实现,这种框架对项目原来代码结构侵入比较严重
    zhengxiaowai
        4
    zhengxiaowai  
       Aug 26, 2024
    celery 虽然也不太行,但是相比其他的还是问题算少的
    encro
        5
    encro  
       Aug 26, 2024
    这种问题,

    是 celery 问题吗?

    celery 能吃多少资源?

    肯定是应用才是大头啊。
    bitmin
        6
    bitmin  
       Aug 26, 2024
    如果只是消费 rabbitmq 队列, 装个类似 aio_pika 这样的依赖,直接订阅消费就可以了吧,后台消耗 cpu 的就丢进程池里处理,如果是消耗 io 的直接协程处理
    djangovcps
        7
    djangovcps  
       Aug 26, 2024
    想简单点的话 while True: try except: 失败重试 消费呗
    iorilu
        8
    iorilu  
       Aug 26, 2024
    RQ(redis queue)
    轻量一些把, celery 是比较重得
    Ritter
        9
    Ritter  
       Aug 26, 2024
    rq
    brianinzz
        10
    brianinzz  
       Aug 26, 2024
    tikazyq
        11
    tikazyq  
       Aug 26, 2024
    这种简单需求用不着框架,自己实现就可以了
    fred649
        12
    fred649  
       Aug 26, 2024   ❤️ 1
    试试 Django Q2
    fred649
        13
    fred649  
       Aug 26, 2024
    不好意思,没看到不是 Django 项目
    gaeco
        14
    gaeco  
       Aug 26, 2024
    pioflight
        15
    pioflight  
       Aug 26, 2024
    supervisor 拉一个常驻,然后检测队列,做轮训吧,之前的项目稳定跑几年这块逻辑都不用维护,美滋滋
    MADBOB
        16
    MADBOB  
       Aug 26, 2024
    https://github.com/rq/rq rq 简单好用,比 celery 轻量好多
    R4rvZ6agNVWr56V0
        17
    R4rvZ6agNVWr56V0  
       Aug 27, 2024
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2481 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 64ms · UTC 07:12 · PVG 15:12 · LAX 00:12 · JFK 03:12
    ♥ Do have faith in what you're doing.