python rq 的这个库,可以用于分布式吗?

2016-07-29 20:46:21 +08:00
 xinali

github

查了很多资料,中文资料基本都说可以,但是英文资料基本没有出现过,其可以用作分布式队列处理。即使官方给出的 docs 上也没有说过, v2 上有用过它作分布式处理的吗?

分布式处理要求也就一个 master 进行 enqueue ,多个 worker(多个主机 /ip)进行 dequeue

如果这个不行的话,有什么好用的比较好的分布式处理框架吗?

2929 次点击
所在节点    Python
6 条回复
linnchord
2016-07-29 21:33:15 +08:00
不能吧,至少官方没有提供。

这个库设计目的就是最简化队列功能,需要分布式建议 celery 。
wuxqing
2016-07-30 08:19:08 +08:00
可以,你看他自带的例子:
https://github.com/nvie/rq/tree/master/examples

run_worker.py 可以运行在多台主机上
GeekGao
2016-07-30 17:29:42 +08:00
只能应付简单的异步计算需求而已。复杂的分布式计算不是很靠谱(因为 rq 实在是太简单了,个人认为它缺少资源调度、稳定性保障和监控机制),而且对中文支持有 bug ,提交过 patch 忘记作者合了没有。
petelin
2016-07-30 18:56:02 +08:00
跑肯定能跑,你在本地启动 worker 的时候跟在不在一台机器上有关系?指定 redis 地址就得了。
xinali
2016-07-31 01:29:49 +08:00
@GeekGao 你有什么好的分布式方案吗?
GeekGao
2016-07-31 01:58:42 +08:00
@xinali Celery+Flower

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/295883

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX