Python RQ (Redis Queue) 0.4.0 如何？

[dcoder]

还没release，有人知道什么时候release吗？看着支持 Job dependencies.
https://github.com/nvie/rq/blob/master/CHANGES.md

还有，请问现在在用 RQ 的朋友，这个东西稳定性，性能如何？
主要有哪些坑？听说有些 worker 会莫名地挂了。这个能设置好吗？

我看代码base很小，确实是极好的优点!!

[Livid]

用了一年多了，挺满意的。

[dcoder]

Livid老大，你尝试 0.4.0 的 Job dependencies 了吗?

还有，下面这个问题你遇上过吗 ?
<amp-youtube data-videoid="Ttw816mwnQY" layout="responsive" width="480" height="270"></amp-youtube>at 22:19, RQ works are killed aggressively, leave in .pid files
need to cfg it as a reliable solution

[wuxqing]

如果每台服务器上开多个worker，会出现job都跑到单台服务器的情况

[dcoder]

@wuxqing 我没太看懂你的意思，你是说如果一个跑worker的服务器开了很多worker进程的话，job就会都跑到workder进程开得多的服务器上吗？然后其他worker进程开得少的服务器就饿死了？

[Lycnir]

推荐 Basic Message Queue with Redis
http://flask.pocoo.org/snippets/73/

使用中

[dcoder]

@Lycnir 自己写，自己测...?

[wuxqing]

@dcoder 举个例子：
4台服务器，每台服务器运行4个worker
发布4个job，有的时候会出现，4个job在一台服务上跑。其他3台服务器闲着

[Livid]

@dcoder 你的意思是这个东西可能会跑着跑着就崩掉只留下 pid 文件么？

我是用 supervisor 来控制的，如果崩掉就会自动再启动。

[Lycnir]

@dcoder 对 但是还要看具体应用和你要求的性能
目前我是用作api redis做队列也做cache 然后把结果写入sql

[dcoder]

@wuxqing 貌似是个问题，没有 load balance 的能力么? 我从文档里面是没看到

[dcoder]

@Livid 我还没开始大规模跑，回头再来 update 经验. 还听说 rq-dashboard 费资源，你有用吗?

[dcoder]

@Lycnir 我决定还是先用现成的了

[Livid]

@dcoder 几乎不会用到它。

因为如果你需要看一些数据，或是直接操作 rq 的话，稍微研究一下它在 Redis 里的数据结构，然后直接写 Redis 就好了。

[dcoder]

@Livid 请问 Job dependencies 你是自己实现的吗? 还是用的最新的 0.4.0 的source code.

[stillzhl]

@Livid job dependency 之间的参数是如何传递的？比如两个job：a 和 b，b依赖于a的job result，那b如何获取这个job result？

[Livid]

@stillzhl 如果 A 运行结束之后，把结果写到 Redis，然后启动 B 呢？

[stillzhl]

@Livid 哦哦，有点明白了。我在写一个分布式的爬虫，上边的A代表下载页面，B代表页面解析。按照你的说法，我可以在A中发起B的job，并以page response作为参数。