Kafka 数据同步

2022-06-28 11:55:41 +08:00
 yingqiuQAQ

想把 kafka topic 的 json 数据同步到 ES ，目前业界有没有通用的办法? 不需要原生数据所有字段都导入, 需要导入前做一次数据处理。

kafka 小白，有没有大佬指点一下

904 次点击
所在节点    Kafka
3 条回复
novolunt
2022-06-28 13:03:39 +08:00
中间加一层 logstash 做数据处理
SirCarol
2022-06-28 13:17:50 +08:00
https://www.digitalocean.com/community/tutorials/how-to-install-elasticsearch-logstash-and-kibana-elk-stack-on-ubuntu-14-04#configure-logstash
yingqiuQAQ
2022-06-28 14:57:50 +08:00
看来大家的建议都是沿用 elk 这套组件，现有的框架也是这样做的

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/862662

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX