14_sqoop数据导入

3.Sqoop的数据导入

　　“导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都存储为文本文件的文

本数据（或者Avro、sequence文件等二进制数据）

3.1语法

　　下面的语法用于将数据导入HDFS：$ sqoop import (generic-args) (import-args)

3.2 导入表数据到HDFS

　　下面的命令用于从MySQL数据库服务器中的emp表导入HDFS：

$bin/sqoop import   \
--connect jdbc:mysql://shizhan2:3306/mysql   \
--username root  \
--password root   \
--table user  \
--m 1  

　　

　　导入成功，会有如下输出：

　　

　　如果没有指定该表导入到那个目录，将使用默认目录,为了验证在HDFS导入的数据，请使用以下命令查看导入的数据:

　　

3.3 导入表数据到Hive

bin/sqoop import --connect jdbc:mysql://shizhan2:3306/mysql --username root --password root --table tb_emp --hive-import --m 1

　　在HDFS中Hive的默认目录下查看：

　　

　　

3.5 导入表数据到HDFS的指定目录　

　　在导入表数据到HDFS使用Sqoop导入工具，我们可以指定目标目录。

　　例如下面的命令是用来导入emp_add表数据到'/queryresult'目录

bin/sqoop import \
--connect jdbc:mysql://shizhan2:3306/mysql \
--username root \
--password root \
--target-dir /queryresult \
--table tb_emp --m 1

 　下面的命令是用来验证 /queryresult 目录中 tb_emp表导入的数据形式

　

　　它会用逗号（,）分隔tb_emp表的数据和字段

3.6 导入表数据子集：

　　我们可以使用Sqoop导入工具导入表的部分数据(子集)，"where"子句的一个子集。它执行在各自的数据库服务器相应

的SQL查询，并将结果存储在HDFS的目标目录。

　　1.下面的命令用来导入tb_emp表数据的子集。子集查询检索员工ID为1(id = 1)的信息：

bin/sqoop import \
--connect jdbc:mysql://shizhan2:3306/mysql \
--username root \
--password root \
--where "id ='1'"  \
--target-dir /wherequery \
--table tb_emp --m 1

　　查看文件：默认使用逗号分隔

　　

　　2.按需导入:

bin/sqoop import \
--connect jdbc:mysql://shizhan2:3306/mysql \
--username root \
--password root \
--target-dir /wherequery2 \
--query 'select id,name from tb_emp WHERE  id>1 and $CONDITIONS' \
--split-by id \
--fields-terminated-by '\t' \
--m 1

　　查看文件：

　　

3.7 增量导入

　　增量导入是仅导入表中新添加的行的技术。

　　它需要添加‘incremental’, ‘check-column’, 和 ‘last-value’选项来执行增量导入。

　　下面的语法用于Sqoop导入命令增量选项，下面的命令用于在tb_emp表执行增量导入：

bin/sqoop import \
--connect jdbc:mysql://shizhan2:3306/mysql \
--username root \
--password root \
--table tb_emp --m 1 \
--incremental append \
--check-column id \
--last-value 2