[Kafka] 求助, 同一个服务如何组播消费 kafka 某个 topic 的消息呢?

[BBCCBB]

我现在用的是启动的时候动态生成 groupId, 比如 name + uuid 的方式

但是这样重启后就会导致原来的 consumerGroup 对应的实例都被销毁了.但 kafka 里依然存在原来的 consumerGroup, 监控上看已经被销毁的 consumerGroup 也会发现堆积越来越严重, 有谁知道正确的使用姿势吗??

不胜感激

😢

[sampeng]

@j2gg0s 嗯。然后磁盘就爆了…

[BBCCBB]

@j2gg0s 业务场景你都不清楚你瞎 bb 个毛.

[BBCCBB]

im 推消息, 量小, 所以还不想做路由中心. 所以采用广播.

[j2gg0s]

@sampeng kafka 的磁盘被爆炸了？

[rockyou12]

我觉得最好用其它 mq，kafka 本来就不适合这种场景，你这业务看起来也不需要持久化，redis 的 sub/pub 可能都够了

[lwldcr]

你这个问题 加一个预处理步骤就可以了吧。

比如你一组应用有 10 个实例，那你提前分配好 groupId 名字，如 cg_1, cg_2,..., 然后存到一个地方：DB 、Redis 等

然后每个应用实例启动时 去存储的地方请求分配一个 groupId，用这个 groupId 启动 kafka 消费服务不就完事了

[JKeita]

固定 group id 每次启动清除 offset 怎样？

[yty2012g]

固定 group id，每次设置 offset 到最新应该就可以满足

[IamNotShady]

redis 的 pub/sub 不香吗？

[timonwong]

不要用 High Level Consumer API 就完了，之前用 go 写了一个，也用到了线上一年，不过不保证无 bug

https://github.com/imperfectgo/kafkasub

[timonwong]

原理是手动维护 offset，如果程序不死 retry 的时候保持 offset，程序死了从最新的来，可以按照自己的需求来调整。

不过有一点要注意的真的是 IM 的话，因为 kafka 的 partition reblance IO 相当大，可能造成非常大的 E2E 的 latency，这点要注意（虽然可以通过配置限制 IO 来绕过）。 总的来说，其实不适合 IM 这个场景