logstash 导入数据到 es，这样操作可行吗

[awanganddong]

现在需要从 mysql 多张表组数据到 es 的宽表

然后计划 logstash 分别读取每张表，然后存入 redis ，在 redis 拼接写入 es 。

现在问题在于读到的几张表的顺序可能是乱序的。

所以想问下 logstash 多张表情况下怎么生成宽表到 es 。

[JulianEpoch]

存到 redis 里面拼接是什么意思

我之前是 mysql 视图查出数据然后同步到 es 中

[awanganddong]

logstash 获取 json 数据，然后存入 redis ，再 redis 进行业务的处理。

视图的话，我了解下

[zhangshaohan]

直接用 canal 同步就行了

[awanganddong]

这个感觉太复杂了

[awanganddong]

昨天调研了下，准备用 canal 了

计划 canal server => go cosume => redis stream =>es

以上无法保证数据不丢失

增加个 补偿机制