请教大家 consumer 消费 partition 的时候,消费完一个 partition 后会怎样,是怎样组织 consumer 和多个 partition 和 offset 几个概念的关系的?

2019-04-25 12:18:19 +08:00
 NicolayShi
消费完成一个 partition 之后是继续消费另一个 partition 吗,
3112 次点击
所在节点    Linux
8 条回复
LeeSeoung
2019-04-25 12:25:05 +08:00
kafka 的情况,一个 consumer 对应一个或者多个 partition,顺序消费,offset 递增,partition 之间互不影响。
MilesW
2019-04-25 12:29:37 +08:00
一般并发的 consumer 数不超过 patition 数,可以指定 consumer 读取哪个具体的 partition
NicolayShi
2019-04-25 18:36:36 +08:00
@LeeSeoung 谢谢,某个 consumer 消费完它对应的 partition 之后会怎么样呢,
NicolayShi
2019-04-25 18:38:21 +08:00
@MilesW 请问 offset 的数值是相对于 partition 还是 topic 而言的~
LeeSeoung
2019-04-25 19:15:21 +08:00
offset 相对 partition 而言,消费完 partition 后还是会根据设置定时获取。
HansCathy
2019-04-25 19:31:55 +08:00
1 个消费组包含 1 个 consumer,消费多个 partition 的情况,消费完一个 partition 会消费另一个 partition。offset 只是标记 partition 中数据顺序,不同 partition 间的 offset 没有关系。
HansCathy
2019-04-25 19:33:20 +08:00
@NicolayShi offset 是基于消费组+consumer+pratition 这三个唯一确定的,这也是为什么一个消费组里面多个 consumer,消费多个 partition 不存在重复消费的问题
HansCathy
2019-04-25 19:35:38 +08:00
打错了 是 topic + 消费组 + pratiton

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/558544

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX