mysql 数据同步 elasticsearch 方案

[jiobanma]

目前项目想把 mysql 中的数据同步到 elasticsearch 中，接触了几种方案，想咨询一下大家工作中都使用什么方案。

1. mysql 中的全量数据使用 logstash 导入 es ，然后增量的数据通过 canal 监听 binlog 转发到消息队列，然后数据服务监听详细队列，维护 es 中的数据。 [优点] ：代码侵入小，轻量级使用。 [缺点] ：a. logstash 导入大量数据效率低，每次任务最多只能同步 100000 条，并且最少要 1 分钟执行一次。b. logstash 先全量，canal 再接着增量，两个时间点可能会出现数据一致性问题。c. 貌似 canal 的坑不少，并且 github 好像也不怎么维护了。

2. flink cdc 同步 mysql 到 elasticsearch 。看了一下 demo 的演示，感觉挺强大的，完全不用写代码，基本上通过 flink sql 就可以搞定。但是尝试按照官方的教程在本地模拟一下，不知道是不是目前还不支持 es8 ，导致我的数据刚开始可以同步到 es ，但是之后的 CUD 操作都无法同步到 es ，flink 的 webui 也有错误信息。在官方的 github 上咨询了此事，目前还没有回复 https://github.com/ververica/flink-cdc-connectors/discussions/1968 。 [缺点] ：网上的资料较少。

大家工作中都使用什么方案呢

[SoulSleep]

@Morriaty #18 对于你这个补充一下
我们在 es 里只存搜索条件+数据库主键，会有一个单独的服务用搜索条件得到各个表的数据库主键，然后在程序里聚合，查询效果对比：
1.关系型数据库，多表 join ，几亿数据，大概要 5~10 秒
2.现有方案，es+单表聚合，几亿数据，大概 0.x~2 秒

[weofuh]

可不可以历史数据用 datax ，增量数据用 canal 呢？

[Aresxue]

flink 没玩过，但是 canal 绝对是个坑，一个是 cpu 老是莫名其妙跑满，还有对主从模式很多地方都没有支持非常坑。

[barbery]

我们也是用 canal 同步，暂时没发现有什么坑，可能是我们的数据量不大😂

[jiobanma]

@SoulSleep 感谢大佬

[Seulgi]

dts 贼贵啊。

[hotcool100]

flink cdc 太吃内存和资源了，用 canal 好多了

[changdy]

2333 看来只有我一个人用的是 debezium 吗?

[CRUD]

我们是用 canal ，mysql -> canal -> rabbitmq -> 处理服务 -> es

[jiobanma]

@SoulSleep 看您的描述，整个链路都是用 canal 实现的，那历史数据方便怎么同步到 es 呢？我了解的是 canal 对全量数据的同步支持不是很好

[brader]

可以了解下这个项目 https://github.com/brokercap/Bifrost
用 go 写的，也很节省服务器资源

[potatowish]

debezium 支持全量和增量同步，flink cdc 也是基于它

[FawkesV]

学习了

[Desdemor]

canal -> kafka -> 处理服务 -> es

[awalkingman]

@j1132888093
@likeme
那要是写 mysql 成功了，写 es 失败了，，，数据的一致性咋个维护

[v2e0xAdmin2]

@jiobanma https://github.com/colosobo/drc

我们公司用的这个项目，可以全量同步，也可以增量同步。写到 kafka 或者 mq 里，然后 flink 消费写到 es 里。

[v2e0xAdmin2]

@SoulSleep canal 运维太麻烦了。

[QunLeLZ]

我们现在使用的是从 pg 同步数据到 es ，中间还要做一定逻辑处理，还是比较方便的，直接写 SQL 就行了。不过我们用的是阿里的 Flink 服务，自建 Flink 的话会稍微麻烦点，但我理解应该问题也不会太大。

[wmwgijol28]

CloudCanal 社区版

[wxw752]

flink-cdc