为啥感觉用 Celery 的大公司比较少

2018-10-01 22:35:35 +08:00
 YuuuZeee

RT 不知道是不是个人见识比较少 感觉国内用 python 的远不及 java 的多。。。然后同理导致使用 Celery 的公司也很少。。。

同事们好多都是表示没听说过这个东西=-=

面试的时候好不容于遇到一个用这个的。。。只会用这个发邮件。。。问点消息中间件 /Celery 是如何处理一个 task 的就 GG

个人感觉这个东西是类似调度系统来离线 /异步去执行各类任务的 而且感觉 learning curve 也不高呀。。。咋没啥人用

用 Celery 的筒子们举起你们的小手手!

23556 次点击
所在节点    Python
54 条回复
zhuangzhuang1988
2018-10-01 22:43:48 +08:00
动态语言没啥用.
lfzyx
2018-10-01 22:44:31 +08:00
只会用 celery 发邮件的🙋‍♂️
ericls
2018-10-01 22:58:49 +08:00
挺多的啊 这个几乎是行业标准
Yeungsin
2018-10-01 23:04:40 +08:00
我们在用,不过 worker 太多,撑不住,把 celery 好几个功能都关了,差不多当成普通 MQ 了
zwh2698
2018-10-01 23:08:13 +08:00
从稳定性说 Java 确实优于 python,尤其是大量用户的时候,Java 更有优势
Yeungsin
2018-10-01 23:09:05 +08:00
想起来 4.2.0 有一个内存泄露的 bug 还在等着修复😔
Zzdex
2018-10-01 23:09:32 +08:00
只用 celery 来发邮件,处理定时任务,更深的没研究过,,,
YuuuZeee
2018-10-01 23:20:25 +08:00
@Yeungsin 诶 就是想交流一下这方面大家是如何去管理多个 worker 的。。。。
cz5424
2018-10-01 23:26:16 +08:00
@YuuuZeee flower 了解一下
20150517
2018-10-01 23:37:35 +08:00
因为正常人都用比如 aws sqs 这种云集成的服务,单独开这个不合算
0xABCD
2018-10-02 00:00:42 +08:00
用 py 的人这个应该要知道吧
gstqc
2018-10-02 00:28:22 +08:00
我们用得多,大厂
neoblackcap
2018-10-02 00:36:36 +08:00
其实是跟编程语言相关的,虽然 celery 说自己也是一个 actor 框架,任务队列。但是相对于 Java,你说 actor 框架,他们有 akka,任务队列也不少。还有就是队列什么他们一个都不少,有真线程,最简单的难道不是开一个线程去干,干完了就同步一下以及回调吗?
YuuuZeee
2018-10-02 01:00:13 +08:00
@gstqc 方便透露哪些大厂吗=-=感觉找不到队友呀
Eds1995
2018-10-02 01:40:19 +08:00
celery 坑还是蛮多的,特别定时任务,我们一般用来做定时任务,还有数据导入导出。
Eds1995
2018-10-02 01:44:50 +08:00
还有就是 celery 不支持 redis cluster 集群模式,导致 redis 集群只能用 Sentinel
mathgl
2018-10-02 02:16:23 +08:00
以前在一家做节能的公司做过。架构师是 instgram 的粉丝,架构大量抄袭。其中大量使用 celery

用来分析数据,发邮件,采样。
blless
2018-10-02 03:03:13 +08:00
额 真需要强事务写数据库就好了吧…我是想不出使用场景
janxin
2018-10-02 07:48:08 +08:00
用 Java 的确实比 Python 多,这没什么奇怪的呀
noobsheldon
2018-10-02 08:16:43 +08:00
celery 的任务队列不是就把消息队列包一层,然后帮你写好了生产者和消费者吗?你调 task.delay()的时候,MainProcess 把调用函数及参数序列化一下,然后 WorkerProcess 再反序列化一下调用信息,找到对应的 task,并使用得到的参数进行调用。个人的一点看法,交流一下。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/494477

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX