有做 Django+Celery 高可用的兄弟么？帮忙看看我想的这种架构

[zhoudaiyu]

我们现在在一台机器上起了 Nginx Django CeleryBeat CeleryWorker，有单点风险，因此我想做成高可用的架构。在最前面挂一套 LVS 做负载均衡+高可用并提供虚 IP，每台 Web 服务器上启 Nginx+Django+CeleryBeat，再用两台以上的机器跑 CeleryWorker 。我们的 Redis （作为 Celery 的 broker ）是 sentinel 方式部署，且 Mysql 用的是 percona 的 3 主方式部署，这样看来就没有单点了。请问这样的架构是否可行？有哪些潜在风险呢？谢谢大家

[Yeungsin]

CeleryBeat 部署多个的话会导致重复执行任务， 其它的看起来我感觉没问题

[zhoudaiyu]

@Yeungsin 那么这么看 Web 这一坨只能部署成单点？因为只能有一个 beat ？

[linnchord]

CeleryBeat 为什么要跟着 web 启多台？应该用不着，独立一台 broker+beat，后面多台 worker 就行。

[zhoudaiyu]

@linnchord Broker 就是 redis 啊

[Yeungsin]

@zhoudaiyu web 和 beat 需要拆开，web 继续多个， 然后 beat 单独部署

[hushao]

多台 web 、单台 beat

[black11black]

我觉得你要做高可用，选用 django 这个时间点就已经出局了吧..

[zhoudaiyu]

@black11black 莫得办法 老项目

[knktc]

担心部署多个 beat 会有重复任务的话可以看下这个项目： https://github.com/ybrs/single-beat
或是用 uwsgi legion 来实现只启动一个 beat 的效果。

[zhoudaiyu]

@knktc 十分感谢，我还看了一个用分布式锁实现只有一个 beat 在工作的项目 https://github.com/sibson/redbeat

[scriptB0y]

https://github.com/sibson/redbeat 推荐直接用这个。我用了一年了，它用在 redis 里面加锁的方式，起 N 个 beat 进程但是只有一个在运行，其余的待命。一般的高可用是够了。

之前这个锁有个 bug，不过我帮他 fix 了 XD https://github.com/sibson/redbeat/pull/128

[zhoudaiyu]

@scriptB0y 大....大佬....请问这个支持 sentinel 吧，有啥坑么？谢谢

[scriptB0y]

@zhoudaiyu 就遇到这一个，其他的没了。sentinel 应该是支持的，但是我没用过

https://github.com/sibson/redbeat/blob/84743ca5272ceb74b165aa98875f250f877ac1e4/docs/config.rst#sentinel-support

[Allianzcortex]

@scriptB0y 厉害

[yeyuqiu]

我最近也在用 https://github.com/sibson/redbeat，遇到了 timezone 的 1 个坑，之前有人提交过 PR，但是还没被 merge