老哥们， mysql 同步到 clickhouse 有没有什么好的方案啊？

[monkeyWie]

google 了一下好像没什么成熟的解决方案，想问问各位大佬有没有什么推荐的？

更新下，老哥们给的方案都是属于比较底层的，预研和维护成本有点高，我想的方案是那种 UI 界面配置好就能同步的那种。后来还是决定用阿里的 DTS 同步，但是 DTS 不支持 mysql 到 clickhouse ，于是换成 mysql 同步到阿里云 ADB mysql ，也满足查询需求啦。

[imherer]

需要实时么？ 不需要的话定时同步就好了，clickhouse 批量写比单条写性能还要好一些

[yingsunwl]

离线：datax ，实时：canal+flink

[monkeyWie]

@imherer 嗯，要实时的

[monkeyWie]

@yingsunwl #2 谢谢老哥，我等会研究下 canal

[1point]

mysql 物化视图就可以吧，不过还没有 GA

[1point]

说错了，叫物化 mysql (materialized-mysql)

[CRUD]

实时增量同步推荐 canal ，我是用它同步到 ES ，适配层自己处理一下写到 clickhouse 即可。

[hj24]

flink

[monkeyWie]

@hj24 #8 是不是用 flink-cdc-connectors 做

[forzen]

我们用的 flink cdc

[swulling]

使用 mysql 的主从同步协议订阅 binlog ，然后转换为写入事件就行了。

这个有很多现成的库

[lolizeppelin]

技术名称 cdc

反正都是解析日志流丢到 kafaka 这样的实现

[jenlors]

https://github.com/long2ice/synch

[F281M6Dh8DXpD1g2]

debezium 写 kafka 那边随便找个啥消费完了往 ck 里写完事

[xxxlester]

debezium

[clf]

MySQL 有 binlog ，解析 binlog 同步到 clickhouse 就行了。

[RedisMasterNode]

debezium 一票，canal 社区活跃度超级低...

[zibber]

用 dts 自己消费到 clickhouse

[hj24]

@monkeyWie clickhouse 也有专门的 connector 吧

[labulaka521]

我们这里是订单扫表，然后批量写入 clickhouse ，clickhouse 批量写性能好点