关于消息队列的延迟消息

2022-09-10 00:07:07 +08:00
 badboy17

之前面试被问到,延迟消息是怎么实现的,kafka 是不支持延迟的,当时答的不好,面试官建议我下来以后了解下延迟消息的实现算法 我发现用 Thread.sleep 不就能很简单的实现延迟的执行一个消息吗,可能存在的问题就是当需要延迟的消息过多的时候,可能会创造过多的线程导致栈溢出,现存的几个延迟消息的实现有时间轮算法,有基于 delayQueue 的 sheduleThreadPool ,大家怎么看这个问题呢

3662 次点击
所在节点    Java
15 条回复
viosey
2022-09-10 00:26:01 +08:00
有一种方案是创建一个 delay topic ,等到延时时间到了再转发给业务 topic
documentzhangx66
2022-09-10 00:29:39 +08:00
你用 Thread.sleep 实现延迟,程序崩了或系统宕机,数据就丢了。

生产系统一般是用数据库来实现延迟并保证数据不丢失。
Ayanokouji
2022-09-10 00:30:26 +08:00
如果延迟一天或一个月呢,中间服务重启了呢
javapythongo
2022-09-10 00:47:30 +08:00
可以看下 RocketMQ 的延迟消息实现
xmh51
2022-09-10 00:48:57 +08:00
其实估计面试官想问怎么用 kafka 的分片有序的特性来实现延迟消息。。
FreeEx
2022-09-10 09:46:50 +08:00
以前写过一篇文章介绍如何使用 kafka 实现消息队列。

https://typesafe.cn/posts/kafka-delay-queue/
BBCCBB
2022-09-10 11:43:41 +08:00
要考虑的是如何支持大量, 任意延时时间的延时消息. 你这些 delayQueue 什么的都只是在内存里.

rocketmq 开源的延时消息实现也不好. 目前开源这块实现最好的是去哪儿开源的 qmq.

https://github.com/qunarcorp/qmq

原理参见这个文章:

https://github.com/qunarcorp/qmq,

按时间段存文件, 加在最近一段时间的消息存储文件. 然后再用 delayQUeue/时间轮之类的来跑.
BBCCBB
2022-09-10 11:45:03 +08:00
Scarb
2022-09-10 17:05:08 +08:00
sodulty
2022-09-10 20:29:12 +08:00
RabbitMQ 有延迟队列插件,小数据量的系统可以直接用
luoqeng
2022-09-10 23:16:08 +08:00
pulsar 支持
badboy17
2022-09-11 12:56:59 +08:00
@BBCCBB 点赞,我其实就是去哪儿出来的哈哈哈,用 qmq 的时候没注意,原来延时消息其实是不那么好实现的
chenshun00
2022-09-11 14:01:01 +08:00
时间轮算法
raaaaaar
2022-09-11 19:37:44 +08:00
延时消息 -> 定时消息?
night98
2022-09-12 00:43:58 +08:00
目前主流的就是时间轮,多重时间轮,秒级分段(类似 zset ),还是要和面试官确认一下具体的提问点,或者具体讨论一下

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/879036

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX