如何在 Flask 的 Factory Mode 中使用 Celery？

[mrchi]

如题，诉求是，能够在 Celery 中正常使用 Flask 的上下文。按照 Flask 文档 Celery Background Tasks 的示例，在 Celery App 创建和修改 Task 类的时候需要 Flask App。这就有一个死循环：

• Celery task 定义时需要 Celery app 实例；
• Celery app 创建时需要 Flask app 实例，需要获取配置，重写 Task 类已在 Flask 上下文中执行任务；
• Flask app 是在运行时延迟创建的。

不知道大家都是怎么做的？ 我自己实现了一个丑陋的方法——flask-with-celery-example，大家给给意见有没有漏洞或者 bug 啥的。

---

刚刚想到另一种方法是：

• 把 Celery APP 的配置独立出来，不使用 Flask 的配置，此时不需要 Flask App 作为参数创建 Celery App，可以正常的写任务；

• 在 Flask App 创建的文件中，导入 Celery App，并重写 celeryapp.Task。

[rogwan]

看任务类型吧，如果必须要和 flask 结合，那只能用 flask 的 App 上下文进行绑定。如果只是一些独立的异步任务，是可以做成独立的 celery App。

[greyli]

1. 建议的处理方式：Celery 实例全局创建； Celery 配置加载和 Task 上下文重写在 Flask 工厂函数中进行。
2. 新版本（ 4 ）的 Celery 中的配置采用小写形式，不能通过 Flask 的配置对象读取，所以建议将两者的配置分开处理。

[mrchi]

@rogwan 要和 Flask 结合的一大原因是，用了 Flask-SQLAlchemy，操作数据库用到 db，所以不好独立。

[mrchi]

@greyli 好的，我试一下

[hotea]

目前我是这样搞的，celery_app 在使用的时候创建，创建时传入的参数是一个新的 flask_app.

https://paste.ofcode.org/ueVCWz355YudaPKa5NaqJE

[vZexc0m]

可以独立于 flask， 可以使用 with application.app_context()提供上下文

[hotea]

上面这种方式有个注意点地方就是在视图中需要发送任务（ tasks.foo.delay(*args, **kw)，而在 import tasks 时，tasks 的导入语句要在蓝图之下，否则会循环导入。

还有另外一种发送任务的方式:在视图函数里现用现生成 task_app， 然后 task_app.send_task('tasks.foo'), kwargs={})这种将任务执行函数以文本形式传入。使用起来不如第一种方便，但这种没有循环导入

[mrchi]

@hotea 这种我看到过，如果使用自动化测试工具的话，会不会造成 Celery 应用的 Flask app 环境配置与实际运行的 Flask App 环境配置不一致呢

[mrchi]

@vZexc0m 如果在每个 task 里写的话，感觉相当繁琐，如果重写 celeryapp.task，那么就要拿到 application 了。感觉 2#的方法不错的。

[GoLand]

Celery 就不应该依赖 Flask App，也不用什么 flask-sqlalchemy，直接用 sqlalchemy 不可以么，另外这些配置都单独写，别全部绑在 flask app config 上。并且 celery 和 sqlalchemy 都全局实例化。这样就不存在什么问题了吧。另外，view 层就不应该直接调用 task 吧，再封装一层代理，view 层所有接口都走那层。

https://github.com/Robpol86/Flask-Large-Application-Example

可以看看这个组织方式。还不错。

[rogwan]

@GoLand 有时候没办法，任务请求是从 flask 来的，必须要绑定 flask app

[mrchi]

@GoLand flask-sqlalchemy 对 sqlalchemy 的一些封装，还是很好用的，比如 pagination。

[mrchi]

@greyli

- 将 broker_url，result_backend 等配置可以放在 Flask 配置中，方便不同环境使用不同的 broker 配置，防止任务混乱；
- 其他的配置可以单独写文件存放。

这样如何？

[est]

flask 为了 url 能 decorator 一个便利，制造了 n 多麻烦。LZ 的问题就是一例。

[brucedone]

不推荐将类似 message queue 或者 task queue 与 flask 绑定 ，另外 celery 略重，可以考虑轻量级的 python-rq，方便好用，简单明了，等到了真正不满足的时候再考虑换 celery

[greyli]

@mrchi 这样也不错，不过据我所知，Flask 不会读取小写形式的配置变量，需要注意一下。

[sunhk25]

想问下楼主有没有什么方法把以下两个任务一块启动
celery worker -A manage:add_app -l info
celery worker -A manage:factorial_app -l info


分开的话有以下错误
KeyError: 'app.celerytasks.add.my_add'
KeyError: 'app.celerytasks.factorial.my_factorial'

[mrchi]

@sunhk25 不会吧，我当时测正常的，你是在哪个目录下执行的命令呢？

[sunhk25]

我是在项目根目录 flask-with-celery-example 下执行的命令
※有一点不同的是我是用 virtualenv 建的虚拟环境
好像确实是应不是在同一个文件中引发的错误，查了一下
好像需要配置加载项 app.config['imports']
https://www.jianshu.com/p/807efde55d81

[sunhk25]

我用的 celeryV4
添加任务的命令改了一下就可以了
# @add_app.task(shared=False)
@add_app.task