lllnever's recent timeline updates lllnever's recent timeline updates |
lllneverV2EX member #298018, joined on 2018-03-08 11:14:06 +08:00 |
| 通过消费 kafka 中的 mysql binlog 同步数据，有没有好的办法可以进行 join？ join 的两个表的变更不一定在一个时间窗口内 程序员 • lllnever • Dec 8, 2021 • Lastly replied by SbloodyS | 4 |
lllnever's recent replies
Mar 16, 2022 Replied to a topic by nidongpinyinme › 程序员 › 求一个旅行路线标注工具 |
用高德地图 api 搞过一个简单的，搜索地址选点，连线，不过手动画线不支持，前端太菜后来没有维护了
Dec 8, 2021 Replied to a topic by lllnever › 程序员 › 通过消费 kafka 中的 mysql binlog 同步数据，有没有好的办法可以进行 join？ join 的两个表的变更不一定在一个时间窗口内 |
@SbloodyS 之前也大概看过 flink 的 join ，因为时间窗口不能满足需求，常规 join 的话资源消耗可能太大了
https://nightlies.apache.org/flink/flink-docs-release-1.12/zh/dev/table/streaming/joins.html#%E5%B8%B8%E8%A7%84-join
https://nightlies.apache.org/flink/flink-docs-release-1.12/zh/dev/table/streaming/joins.html#%E5%B8%B8%E8%A7%84-join
Dec 8, 2021 Replied to a topic by lllnever › 程序员 › 通过消费 kafka 中的 mysql binlog 同步数据，有没有好的办法可以进行 join？ join 的两个表的变更不一定在一个时间窗口内 |
初步的想法是在 sink 数据库建立单表，再查询单表进行聚合，但是会建立非常多的单表，而且逻辑也比较复杂
Select Language