求问 hive 和 sparkSQL 的问题

2018-08-07 11:55:03 +08:00
 mortonnex
如果每天执行一次 job

表是每天建一个,还是更新之前的表?

还有就是,你们是这么写数据到 FS,然后再从 FS 到 hive 的
696 次点击
所在节点    问与答
2 条回复
atomstar
2018-08-07 14:25:42 +08:00
如果是同类数据，肯定是根据时间分区啊 每天写入新的分区即可。
至于数据怎么写入，要看你的源从哪里流来的，可以直接写 hdfs，也是根据日期分区写，然后做一下分区关联
mortonnex
2018-08-07 14:38:56 +08:00
@atomstar 谢谢

如果用 FS 作源,那么一般是怎么写 HDFS 的? 一天中某个时间统一写入?还是持续写入?

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/477555

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX