现在需要从 mysql 多张表组数据到 es 的宽表
然后计划 logstash 分别读取每张表，然后存入 redis ，在 redis 拼接写入 es 。
现在问题在于读到的几张表的顺序可能是乱序的。
所以想问下 logstash 多张表情况下怎么生成宽表到 es 。
This topic created in 1558 days ago, the information mentioned may be changed or developed.
 |
1
JulianEpoch Mar 9, 2022
存到 redis 里面拼接是什么意思
我之前是 mysql 视图查出数据然后同步到 es 中 |
 |
2
awanganddong OP logstash 获取 json 数据，然后存入 redis ，再 redis 进行业务的处理。
视图的话，我了解下 |
 |
3
zhangshaohan Mar 9, 2022
直接用 canal 同步就行了
|
|
4
awanganddong OP 这个感觉太复杂了
|
|
5
awanganddong OP 昨天调研了下，准备用 canal 了
计划 canal server => go cosume => redis stream =>es 以上无法保证数据不丢失 增加个 补偿机制 |
Select Language