通过消费 kafka 中的 mysql binlog 同步数据，有没有好的办法可以进行 join？ join 的两个表的变更不一定在一个时间窗口内

2021-12-08 14:09:59 +08:00
 lllnever
1082 次点击
所在节点    程序员
4 条回复
lllnever
2021-12-08 14:12:06 +08:00
初步的想法是在 sink 数据库建立单表，再查询单表进行聚合，但是会建立非常多的单表，而且逻辑也比较复杂
SbloodyS
2021-12-08 15:07:29 +08:00
flink 双流 join
lllnever
2021-12-08 15:46:57 +08:00
@SbloodyS 之前也大概看过 flink 的 join ，因为时间窗口不能满足需求，常规 join 的话资源消耗可能太大了
https://nightlies.apache.org/flink/flink-docs-release-1.12/zh/dev/table/streaming/joins.html#%E5%B8%B8%E8%A7%84-join
SbloodyS
2021-12-08 15:49:36 +08:00
这种需求本身就是成本和性能不可兼顾的，要不堆机器，要不就慢

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/820855

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX