单独使用 Celery 和 Django ORM 时, celery worker process 复制 main process 的数据库连接?

2017-11-01 11:20:02 +08:00
 noobsheldon

Django 的版本是 1.7, 使用了 django-celery 3.1.17. 直接运行celery worker -l info -A project_name开始执行, 任务并不需要通过请求触发. 其中的 Django 某个 App 的tasks.py定义为

# encoding: utf-8
from __future__ import absolute_import

from some_django_app.celery import app
from .services import use_orm

@app.task
def test():
    print 'Test succeed'


@app.task
def do_some():
    use_orm
do_some.delay()

是否在执行 celery worker -l info -A project_name 时创建的数据库连接先由Main process建立, 然后再生成celery worker process, 从而多个celery worker process共用一个数据库连接?

2026 次点击
所在节点    Python
4 条回复
myyou
2017-11-01 11:40:36 +08:00
Django 没有使用连接池而是持久化, 所以只有你对数据库操作时才会建立数据库链接,刚建立进程时是没有数据库连接的。即使有连接池,进程之间资源也不共享,子进程只是父进程的 copy,并不共享内存,所以你程序中有操作数据库的话,还是一个进程会占用一个连接。
noobsheldon
2017-11-01 12:24:24 +08:00
@myyou 我数据库设置的连接过期时间为 5 分钟, Django 的 Setting.py 中没有设置 MAX_CON_AGE(默认值是 0); 我在 use_orm 中起了一个 RabbitMQ 的消息队列的消费者(start_consuming), 收到消息并利用 ORM 保存数据库. 刚启动 Celery 的时候是正常的, 但是过了 5 分钟后, 再从消息队列接收到消息时, 就会出现 MySQL server has gone away 的错误. 这为啥呢? 能说说你的想法么
myyou
2017-11-01 13:35:23 +08:00
@noobsheldon 独立进程需要手动手动管理数据库关闭。在你使用 orm 的函数起始位置加上 close_old_connections() 例如:
```
from django.db import close_old_connections
def func_use_orm():
close_old_connections()

······

close_old_connections()
```
noobsheldon
2017-11-01 13:38:59 +08:00
@myyou close_old_connections() 没有用, 使用`connection.close()`倒是能行

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/402550

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX