noahliaszn
V2EX  ›  数据库

HIVE LOAD INTO HBASE

  •  
  •   noahliaszn · Dec 18, 2018 · 1542 views
    This topic created in 2773 days ago, the information mentioned may be changed or developed.

    简单描述 ,我模拟了大概 1400 万的数据进行测试,参考了官方文档( https://cwiki.apache.org/confluence/display/Hive/HBaseBulkLoad) 从使用 HIVE 导入 HBASE 使用 BULKLOAD 的方式 在 MAPREDUCE 生成 HFILE 的过程出现了如下的 bug Caused by: java.io.IOException: Added a key not lexically larger than previous. Current cell = \x5CN/f:agency_name/1545121508950/Put/vlen=12/seqid=0, lastCell = \x5CN/f:sk_tradaeacco_reg/1545121508950/Put/vlen=2/seqid=0 at org.apache.hadoop.hbase.io.hfile.AbstractHFileWriter.checkKey(AbstractHFileWriter.java:204) at org.apache.hadoop.hbase.io.hfile.HFileWriterV2.append(HFileWriterV2.java:265)

    在 google 了很多次的 问题描述 大多数 是说行健重复的问题,但我使用的行健是用自带的 ROW_SEQUENCE()生成的序列 (其他的分区 以及某些参数开启这些都做了),结果还是报这个错误。 希望有大佬来帮忙一下解决这个问题

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1182 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 49ms · UTC 17:57 · PVG 01:57 · LAX 10:57 · JFK 13:57
    ♥ Do have faith in what you're doing.