想问下大佬们、近实时将 kafka 数据转存到 hive 中有什么比较好的方案？

2022-12-08 18:09:19 +08:00
 ARMILKCHEN

想实现程序跑完将数据插入 kafka 中某个 topic 、可以自动备份到 hive 表里、有什么比较成熟可靠得方案吗？

887 次点击
所在节点    程序员
3 条回复
darrh00
2022-12-08 18:17:14 +08:00
flume 配置一下就可以了吧
ARMILKCHEN
2022-12-09 18:03:59 +08:00
@darrh00 flume 确实可以实现、但如果想复杂一点比如
插入往一个 topic 名为 user 对应的是往 hive user 表去下沉数据，我不确定 flume 能不能动态实现这样的效果
azkaban
2022-12-10 16:11:50 +08:00
flink 写啊

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/901151

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX