1.sqoop是什么

Sqoop是一款开源的数据迁移工具,主要用于Hadoop(Hive)与传统的关系型数据库(mysql...)相互之间的数据迁移。

2.sqoop的特点

sqoop的底层实现是mapreduce,所以sqoop依赖于hadoop,数据是并行导入的。

3.sqoop常用命令

sqoop help

1)列出mysql数据库中的所有数据库中的test数据库

 sqoop list-databases --connect jdbc:mysql://localhost:3306/test -usernametest -password
test

2)连接mysql并列出数据库中的表

sqoop list-tables --connect jdbc:mysql://localhost:3306/test --username test --password test

3)将关系型数据的表结构复制到hive中

sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --table users --username test

--password test --hive-table users  --fields-terminated-by "\0001"  --lines-terminated-by "\n";

参数说明:

--fields-terminated-by "\0001"  是设置每列之间的分隔符,"\0001"是ASCII码中的1,它也是hive的默认行内分隔符, 而sqoop的默认行内分隔符为"," --lines-terminated-by "\n"  设置的是每行之间的分隔符,此处为换行符,也是默认的分隔符;

注意:只是复制表的结构,表中的内容没有复制

4)将数据从关系数据库导入文件到hive表中

sqoop import --connect jdbc:mysql://localhost:3306/test --username test --password test 

--table users --hive-import --hive-table users -m 2 --fields-terminated-by "\0001";

参数说明:

-m 2 表示由两个map作业执行;

--fields-terminated-by "\0001"  需同创建hive表时保持一致;



5)将hive中的表数据导入到mysql数据库表中

sqoop export --connect jdbc:mysql://192.168.66.66:3306/test --username test --password test 

--table users --export-dir /user/hive/warehouse/users/part-m-00000 --input-fields-terminated-by '\0001'

注意:

a.在进行导入之前,mysql中的表users必须已经提起创建好了。

b.jdbc:mysql://192.168.66.66:3306/test中的IP地址改成localhost会报异常



6)将数据从关系数据库导入文件到hive表中,--query 语句使用

 sqoop import --append --connect jdbc:mysql://192.168.66.66/test --username test --password test --query "select id,age,name from userinfo where \$CONDITIONS"  -m 1  --target-dir /user/hive/warehouse/userinfos2 --fields-terminated-by ",";



7)将数据从关系数据库导入文件到hive表中,--columns  --where 语句使用

 sqoop import --append --connect jdbc:mysql://192.168.66.66:3306/test --username test --password test --table userinfo --columns "id,age,name"  --where "id > 3 and (age = 88 or age = 80)"  -m 1  --target-dir /user/hive/warehouse/userinfos2 --fields-terminated-by
",";

注意:--target-dir /user/hive/warehouse/userinfos   可以用  --hive-import --hive-table userinfos进行替换

8)mysql导入数据到HDFS   

sqoop import --connect jdbc:mysql://192.168.66.66:3306/test --username root --password 123456 --table test_user --target-dir  /usr/test -m 2 --fields-terminated-by "\t" --columns
"id,name"  --where 'id>2 and id<=6'

sqoop export --connect jdbc:mysql://192.168.66.66:3306/test --username root --password 123456 --export-dir '/usr/test' --table test -m 2

import的主要参数

--connect <jdbc-uri>    jdbc连接地址

--connection-manager <class-name>     连接管理者

--driver <class-name>     驱动类

--hadoop-mapred-home <dir>     $HADOOP_MAPRED_HOME

--help     help信息

-P     从命令行输入密码

--password <password>     密码

--username <username>     账号

--verbose    打印信息

--connection-param-file <filename>  可选参数





Argument     Description

--append     添加到hdfs中已经存在的dataset

--as-avrodatafile     导入数据作为avrodata

--as-sequencefile     导入数据位SequenceFiles

--as-textfile          默认导入数据为文本

--boundary-query <statement>     创建splits的边界

--columns <col,col,col…>     选择列

--direct             使用直接导入快速路径

--direct-split-size <n>     在快速模式下每n字节使用一个split

--fetch-size <n>     一次读入的数量

--inline-lob-limit <n>     最大数值 an inline LOB

-m,--num-mappers <n>     通过实行多少个map,默认是4个,某些数据库8 or 16性能不错

-e,--query <statement>     通过查询语句导入

--split-by <column-name>     创建split的列,默认是主键

--table <table-name>     要导入的表名

--target-dir <dir>     HDFS 目标路径

--warehouse-dir <dir>     HDFS parent for table destination

--where <where clause>     where条件

-z,--compress     Enable compression

--compression-codec <c>     压缩方式,默认是gzip

--null-string <null-string>    字符列null值

--null-non-string <null-string>     非字符列null值





export主要参数

--direct     快速导入

--export-dir <dir>     HDFS到处数据的目录

-m,--num-mappers <n>     都少个map线程

--table <table-name>     导出哪个表

--call <stored-proc-name>     存储过程

--update-key <col-name>     通过哪个字段来判断更新

--update-mode <mode>     插入模式,默认是只更新,可以设置为allowinsert.

--input-null-string <null-string>     字符类型null处理

--input-null-non-string <null-string>     非字符类型null处理

--staging-table <staging-table-name>     临时表

--clear-staging-table                     清空临时表

--batch                                     批量模式



转义字符相关参数。

Argument     Description

--enclosed-by <char>     设置字段结束符号

--escaped-by <char>     用哪个字符来转义

--fields-terminated-by <char>     字段之间的分隔符

--lines-terminated-by <char>     行分隔符

--mysql-delimiters             使用mysql的默认分隔符: , lines: \n escaped-by: \ optionally-enclosed-by: '

--optionally-enclosed-by <char>     复制结束符

hive导入参数

  --hive-home <dir>  重写$HIVE_HOME

  --hive-import          插入数据到hive当中,使用hive的默认分隔符

  --hive-overwrite  重写插入

  --create-hive-table  建表,如果表已经存在,该操作会报错!

  --hive-table <table-name>  设置到hive当中的表名

  --hive-drop-import-delims  导入到hive时删除 \n, \r, and \01 

  --hive-delims-replacement  导入到hive时用自定义的字符替换掉 \n, \r, and \01 

  --hive-partition-key          hive分区的key

  --hive-partition-value <v>  hive分区的值

  --map-column-hive <map>          类型匹配,sql类型对应到hive类型

Hive记录-Sqoop常用命令的更多相关文章

  1. Hive记录-impala常用命令

    1.impala是什么 Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据.已有的Hive系统虽然也提供了SQL ...

  2. 【Hadoop离线基础总结】Sqoop常用命令及参数

    目录 常用命令 常用公用参数 公用参数:数据库连接 公用参数:import 公用参数:export 公用参数:hive 常用命令&参数 从关系表导入--import 导出到关系表--expor ...

  3. 记录Nginx常用命令

    在此记录下Nginx服务器常用命令(CentOS7.2.Nginx1.14.2环境) 启动Nginx:./usr/sbin/nginx Nginx检查语法:nginx -tc /etc/nginx/n ...

  4. Hive记录-Beeline常用操作命令

    Beeline和其他工具有一些不同,执行查询都是正常的SQL输入,但是如果是一些管理的命令, 比如进行连接,中断,退出,执行Beeline命令需要带上"!",不需要终止符.常用命令 ...

  5. sqoop 常用命令集

    sqoop是一个介于分布式数据系统与关系型系统之间数据转换的一个数据转换工具 常用命令集sqoop2中sqoop-shell 创建link.job sqoop:001> show link 显示 ...

  6. sqoop 常用命令整理(二)

    26.Validate 它用来比较源数据和目标数据的数量 它有三个接口 Validator. 它有三个接口 Validator. Property: validator Description: Dr ...

  7. sqoop 常用命令整理(一)

    这些内容是从sqoop的官网整理出来的,是1.4.3版本的Document,如果有错误,希望大家指正. 1.使用sqoop导入数据 sqoop import --connect jdbc:mysql: ...

  8. 记录Vim常用命令

    命令 简单说明 i 进入编辑模式,光标在原位置 I 进入编辑模式,光标在行首位置 o 从光标所在行,下面一行开始编辑 O 从光标所在行,上面一行开始编辑 a 从光标当前字符后编辑 A 从光标所在行的行 ...

  9. linux学习记录.4.常用命令

    帮助command --help    获取‘command‘命令的帮助 目录与文件 cd /home    进入‘home’目录 cd ..    返回上一级目录 cd       进入个人目录 c ...

随机推荐

  1. A Survey of Machine Learning Techniques Applied to Software Defined Networking (SDN): Research Issues and Challenges

    将机器学习用到SDN中的综述:研究的问题和挑战 从流量分类.路由优化.服务质量(Qos)/体验质量(QoE)预测.资源管理和安全性的角度,回顾了机器学习算法如何应用于SDN领域. 相关知识 在SDN中 ...

  2. 无符号整型 unsigned int、unsigned long、usigned long long、size_t 比较和格式控制

    位数比较 由于数据的长度和平台相关,所以基于 64 位系统比较. Windows Linux unsigned int 32 bits/4294967295 32 bits unsigned long ...

  3. Show tree of processes in linux

    pstree(1): tree of processes - Linux man pagehttps://linux.die.net/man/1/pstree How to view process ...

  4. Spring Boot, Java Config - No mapping found for HTTP request with URI [/…] in DispatcherServlet with name 'dispatcherServlet'

    Spring Boot 启用应用: error: No mapping found for HTTP request with URI [/…] in DispatcherServlet with n ...

  5. VC6到VC2010,项目迁移错误

    错误信息: error C2440: “static_cast”: cannot from “BOOL (__thiscall CSelectRect::* )(void)” to “BOOL (__ ...

  6. ACM数论之旅12---康托展开((*゚▽゚*)装甲展开,主推进器启动,倒计时3,2,1......)

    在我们做题中,搜索也好,动态规划也好,我们往往有时候需要用一个数字表示一种状态 比如有8个灯泡排成一排,如果你用0和1表示灯泡的发光情况 那么一排灯泡就可以转换为一个二进制数字了 比如 0110011 ...

  7. IDEA Maven 项目默认编译项目为JDK 1.5

    昨天晚上遇到一个问题,我在idea中创建了有个maven项目,想使用jdk1.8的lambda表达式,结果提示我错误,是1.8才可以.当时我想我的jdk就是1.8啊.经过各种搜索,才知道maven默认 ...

  8. inf

    下确界 inf,表示下确界,英文名infimum. 对于函数y=f(x),在使f(x)大于等于M成立的所有常数M中,我们把M的最大值max(M)(即函数y=f(x)的最小值)叫做函数y=f(x)的下确 ...

  9. Linux 文本处理工具grep,sed,awk

    grep.sed和awk都是文本处理工具,虽然都是文本处理工具单却都有各自的优缺点,一种文本处理命令是不能被另一个完全替换的,否则也不会出现三个文本处理命令了.只不过,相比较而言,sed和awk功能更 ...

  10. Mysql读写分离php脚本

    <?php/*php如何连接mysql*/ /*$link = mysql_connect(‘localhost‘, ‘root‘, ‘‘);if (!$link) {die(‘Could no ...