请教个问题, mysql 如何将数据同步到 hive 便于 kylin 使用

2023-02-01 16:48:22 +08:00
 shenqi
目前的需求是将现有数据信息(位于 aliyun mysql rds )放进 kylin 进行分析。

试用了下阿里云的 数据总线 datahub 和 开源大数据 E-MapReduce 和 数据湖 DLF , 也没有对应的 hive 信息。


之前试过 sqoop 将数据迁移到本地 hive ,写起来很麻烦,还需要将类型转换成 hive 特有的类型写好语法。

想问下有经验的彦祖们,如何实现这块。kylin 安装的话依赖 hadoop hive 环境,感觉得同一个环境部署。

假如在阿里云上面将数据迁移成到 hive ( E-MapReduce 那里的集群内的实例),是不是得在这个集群内的实例部署 kylin 。

希望能给个思路。感觉各位彦祖。
673 次点击
所在节点    数据库
1 条回复
shenqi
2023-02-13 11:02:13 +08:00
暂时还是使用 sqoop 临时将数据全量弄到 hive 来测试。
后续估计还是 sqoop 全量 + binlog 和消费器做实时。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/912304

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX