HBase数据导入导出工具

hbase中自带一些数据导入、导出工具

1. ImportTsv直接导入

1.1 hbase中建表

create 'testtable4','cf1','cf2'

1.2 准备数据文件data.txt，上传到hdfs

1,tom,m
2,jack,m
3,lili,f
hadoop fs -put data.txt /user/dw_hbkal/przhang

1.3 使用命令导入

 bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator=',' -Dimporttsv.columns=HBASE_ROW_KEY,cf1,cf2 testtable4 /user/dw_hbkal/przhang/data.txt

1.4 查看hbase数据

hbase(main):069:0> scan 'testtable4'
ROW                                            COLUMN+CELL
 1                                             column=cf1:, timestamp=1533708793917, value=tom
 1                                             column=cf2:, timestamp=1533708793917, value=m
 2                                             column=cf1:, timestamp=1533708793917, value=jack
 2                                             column=cf2:, timestamp=1533708793917, value=m
 3                                             column=cf1:, timestamp=1533708793917, value=lili
 3                                             column=cf2:, timestamp=1533708793917, value=f
3 row(s) in 0.0300 seconds

2. ImportTsv先生成HFile，然后增量导入

2.1 创建数据文件data2.txt，并上传hdfs

1,tom,f
5,jack2,m
6,lili2,m
hadoop fs -put data2.txt /user/dw_hbkal/przhang

2.2 生成HFile

bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator=',' -Dimporttsv.columns=HBASE_ROW_KEY,cf1,cf2 -Dimporttsv.bulk.output=/user/dw_hbkal/przhang/hfile_tmp testtable4 /user/dw_hbkal/przhang/data2.txt

2.3 将HFile文件导入HBase，实际是执行hdfs mv 操作

bin/hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /user/dw_hbkal/przhang/hfile_tmp testtable4

2.4 查看hdfs上cf1的hfile文件，时间戳晚一点的为生成的hfile文件

hadoop fs -ls /hbase/data/default/testtable4/ebaa89a06f73a0ecdc15b53bd88bc3a4/cf1
Found 2 items
-rwxrwxrwx   3 hdfs  bdos        1170 2018-08-08 14:23 /hbase/data/default/testtable4/ebaa89a06f73a0ecdc15b53bd88bc3a4/cf1/0e80f632a7214755a8e84e9fafea36eb_SeqId_6_
-rw-r--r--   3 hbase hbase       1065 2018-08-08 14:45 /hbase/data/default/testtable4/ebaa89a06f73a0ecdc15b53bd88bc3a4/cf1/347598bdf4e34b51909b6965fed11a99

2.5 查看hbase

hbase(main):070:0> scan 'testtable4'
ROW                                            COLUMN+CELL
 1                                             column=cf1:, timestamp=1533709383463, value=tom
 1                                             column=cf2:, timestamp=1533709383463, value=f
 2                                             column=cf1:, timestamp=1533708793917, value=jack
 2                                             column=cf2:, timestamp=1533708793917, value=m
 3                                             column=cf1:, timestamp=1533708793917, value=lili
 3                                             column=cf2:, timestamp=1533708793917, value=f
 5                                             column=cf1:, timestamp=1533709383463, value=jack2
 5                                             column=cf2:, timestamp=1533709383463, value=m
 6                                             column=cf1:, timestamp=1533709383463, value=lili2
 6                                             column=cf2:, timestamp=1533709383463, value=m
5 row(s) in 0.0260 seconds

3. Export数据导出至HDFS

bin/hbase org.apache.hadoop.hbase.mapreduce.Export testtable /user/dw_hbkal/przhang/hbaseexport/testdata //testtable表数据导出到一个hdfs路径,可以设置导出的版本数量、起始时间

4. Import数据从HDFS中导入

hbase org.apache.hadoop.hbase.mapreduce.Import testtable /user/dw_hbkal/przhang/hbaseexport/testdata // hdfs数据导入testtable，导入之前test要先创建

5. CopyTable表复制

hbase org.apache.hadoop.hbase.mapreduce.CopyTable --new.name=test3 test //test中的数据复制到test3表中，复制只会考虑最新的数据