一起学Hive——详解四种导入数据的方式

在使用Hive的过程中，导入数据是必不可少的步骤，不同的数据导入方式效率也不一样，本文总结Hive四种不同的数据导入方式：

• 从本地文件系统导入数据
• 从HDFS中导入数据
• 从其他的Hive表中导入数据
• 创建表的同时导入数据

使用导入数据时，会使用到into和overwrite into两个关键字，into是在当前表追加数据，而overwrite into是删除当前表的数据然后在导入数据。

从本地系统导入数据

在Hive中创建load_data_local表，该表中有两个字段，一个是name一个是age。创建表的SQL语句如下:

create table if not exists load_data_local(name string,age int)
row format delimited fields terminated by ' '
lines terminated by '\n';

在本地文件系统中创建一个load_data_local.txt的文件，然后往里面写入数据，数据之间用空格分隔。数据为：

zhangsan 30
lisi 50
wangwu 60
peiqi 6

执行load data local inpath '/home/hadoop/hive_test/load_data_local.txt' into table load_data_local;命令，即可将本地系统中的文件的数据导入到Hive表中。

在使用从本地系统导入数据大Hive表中时，文件的路径必须使用绝对路径。

有两种方式验证数据是否导入成功，一种是在Hive中执行select * from load_data_local。另外一种是查看hdfs文件系统中的load_data_local目录下面是否有刚刚上传的load_data_local.txt文件，查看命令为：hadoop fs -ls /user/hive/warehouse/bigdata17.db/load_data_local，结果为：

18/10/07 02:37:11 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 1 items
-rwxr-xr-x   3 root supergroup         38 2018-10-07 02:24 /user/hive/warehouse/bigdata17.db/load_data_local/load_data_local.txt

从HDFS中导入数据

在Hive中创建load_data_hdfs表，表中有两个字段，分别是name和age。创建表的SQL如下：

create table if not exists load_data_hdfs(name string,age int)
row format delimited fields terminated by ' '
lines terminated by '\n';

在本地文件系统创建文件load_data_hdfs.txt文件，然后往里面写入数据。

将load_data_hdfs.txt文件上传到HDFS的data目录下面，命令为：hadoop fs -put load_data_hdfs.txt /data

在Hive中执行命令：

load data inpath 'data/load_data_hdfs.txt' into table load_data_hdfs;

即可将数据导入到Hive的load_data_hdfs表中。

从本地系统导入数据和从hdfs文件系统导入数据用的命令都是load data，但是从本地系统导入数据要加local关键字，如果不加则是从hdfs文件系统导入数据。

从hdfs文件系统导入数据成功后，会把hdfs文件系统中的load_data_hdfs.txt文件删除掉。

从其他的Hive表中导入数据

这种方式要求目标表和源表都必须存在。

创建一个要导入数据的目标表，SQL如下：

create table if not exists load_data_local2(name string,age int)
row format delimited fields terminated by ' '
lines terminated by '\n';

导入数据的SQL：

insert into table load_data_local2 select * from load_data_local;

这种数据导入方式也适用于分区表和分桶表的情况。本文只介绍导入分区表的情况，导入数据到分区表分为静态分区和动态分区两种方式。

我们先创建一个分区表，SQL如下：

create table if not exists load_data_partition(name string)
partitioned by(age int)
row format delimited fields terminated by ' '
lines terminated by '\n';

将数据导入分区表必须先在Hive中执行下面两句语句：

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;

静态方式将load_data_local表的数据导入到load_data_partition表的sql语句如下：

insert into table load_data_partition partition(age=25) select name from load_data_local;

这种方式必须显示的指定分区值，如果分区有很多值，则必须执行多条SQL，效率低下。

动态方式将load_data_local表的数据导入到load_data_partition表的sql语句如下：

insert overwrite table load_data_partition partition select name,age from load_data_local;

这种方式要注意目标表的字段必须和select查询语句字段的顺序和类型一致，特别是分区字段的类型要一致，否则会报错。

一张表有两个以上的分区字段，如果同时使用静态分区和动态分区导入数据，静态分区字段必须写在动态分区字段之前。

Hive还支持一条SQL语句中将数据插入多个表的功能，只需将from关键字前置即可：

from load_data_local
insert overwrite table load_data_partition partition (age)
  select name,age
insert overwrite table load_data_local3
  select *

上面的sql语句同时插入到表load_data_partition和load_data_local3表中。这种方式非常高效，对于大数据量并且要将数据插入到多个表的情况下，建议用这种方式。

创建表的同时导入数据

这种方式的创建表的表结构来自于select查询语句的查询字段。

创建load_data_local3并将load_data_loaca的数据导入到load_data_local3表中：

create table load_data_local3 as select * from load_data_local;