logstash 导入数据到 es，这样操作可行吗

2022-03-09 12:05:42 +08:00
 awanganddong

现在需要从 mysql 多张表组数据到 es 的宽表

然后计划 logstash 分别读取每张表，然后存入 redis ，在 redis 拼接写入 es 。

现在问题在于读到的几张表的顺序可能是乱序的。

所以想问下 logstash 多张表情况下怎么生成宽表到 es 。

1869 次点击
所在节点    Elasticsearch
5 条回复
dabai0806
2022-03-09 12:57:24 +08:00
存到 redis 里面拼接是什么意思

我之前是 mysql 视图查出数据然后同步到 es 中
awanganddong
2022-03-09 14:06:05 +08:00
logstash 获取 json 数据，然后存入 redis ，再 redis 进行业务的处理。

视图的话，我了解下
Geekerstar
2022-03-09 17:01:37 +08:00
直接用 canal 同步就行了
awanganddong
2022-03-09 17:26:40 +08:00
这个感觉太复杂了
awanganddong
2022-03-10 08:59:00 +08:00
昨天调研了下，准备用 canal 了

计划 canal server => go cosume => redis stream =>es

以上无法保证数据不丢失

增加个 补偿机制

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/839098

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX