HIVE LOAD INTO HBASE

2018-12-18 16:40:05 +08:00
 Alias4ck

简单描述 ,我模拟了大概 1400 万的数据进行测试,参考了官方文档( https://cwiki.apache.org/confluence/display/Hive/HBaseBulkLoad) 从使用 HIVE 导入 HBASE 使用 BULKLOAD 的方式 在 MAPREDUCE 生成 HFILE 的过程出现了如下的 bug Caused by: java.io.IOException: Added a key not lexically larger than previous. Current cell = \x5CN/f:agency_name/1545121508950/Put/vlen=12/seqid=0, lastCell = \x5CN/f:sk_tradaeacco_reg/1545121508950/Put/vlen=2/seqid=0 at org.apache.hadoop.hbase.io.hfile.AbstractHFileWriter.checkKey(AbstractHFileWriter.java:204) at org.apache.hadoop.hbase.io.hfile.HFileWriterV2.append(HFileWriterV2.java:265)

在 google 了很多次的 问题描述 大多数 是说行健重复的问题,但我使用的行健是用自带的 ROW_SEQUENCE()生成的序列 (其他的分区 以及某些参数开启这些都做了),结果还是报这个错误。 希望有大佬来帮忙一下解决这个问题

1019 次点击
所在节点    数据库
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/518673

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX