通用参数

import

export

通用通用参数
选项     含义说明
–connect     指定JDBC连接字符串
–connection-manager     指定要使用的连接管理器类
–driver     指定要使用的JDBC驱动类
–hadoop-mapred-home
    指定$HADOOP_MAPRED_HOME路径
–help     打印用法帮助信息
–password-file     设置用于存放认证的密码信息文件的路径
-P     从控制台读取输入的密码
–password     设置认证密码
–username     设置认证用户名
–verbose     打印详细的运行信息
–connection-param-file     可选,指定存储数据库连接参数的属性文件

import
选项     含义说明
–append     将数据追加到HDFS上一个已存在的数据集上
–as-avrodatafile     将数据导入到Avro数据文件
–as-sequencefile     将数据导入到SequenceFile
–as-textfile     将数据导入到普通文本文件(默认)
–boundary-query     边界查询,用于创建分片(InputSplit)
–columns <col,col,col…>     从表中导出指定的一组列的数据
–delete-target-dir     如果指定目录存在,则先删除掉
–direct     使用直接导入模式(优化导入速度)
–direct-split-size     分割输入stream的字节大小(在直接导入模式下)
–fetch-size     从数据库中批量读取记录数
–inline-lob-limit     设置内联的LOB对象的大小
-m,–num-mappers     使用n个map任务并行导入数据
-e,–query     导入的查询语句
–split-by     指定按照哪个列去分割数据
–table     导入的源表表名
–target-dir
    导入HDFS的目标路径
–warehouse-dir
    HDFS存放表的根路径
–where     指定导出时所使用的查询条件
-z,–compress     启用压缩
–compression-codec     指定Hadoop的codec方式(默认gzip)
–null-string     果指定列为字符串类型,使用指定字符串替换值为null的该类列的值
–null-non-string <null-string     如果指定列为非字符串类型,使用指定字符串替换值为null的该类列的值

export
选项     含义说明
–validate     启用数据副本验证功能,仅支持单表拷贝,可以指定验证使用的实现类
–validation-threshold     指定验证门限所使用的类
–direct     使用直接导出模式(优化速度)
–export-dir
    导出过程中HDFS源路径
-m,–num-mappers     使用n个map任务并行导出
–table     导出的目的表名称
–call     导出数据调用的指定存储过程名
–update-key     更新参考的列名称,多个列名使用逗号分隔
–update-mode     指定更新策略,包括:updateonly(默认)、allowinsert
–input-null-string     使用指定字符串,替换字符串类型值为null的列
–input-null-non-string     使用指定字符串,替换非字符串类型值为null的列
–staging-table     在数据导出到数据库之前,数据临时存放的表名称
–clear-staging-table     清除工作区中临时存放的数据
–batch     使用批量模式导出
————————————————
版权声明:本文为CSDN博主「夏至1208」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_34382453/article/details/83573141

Sqoop import export参数的更多相关文章

  1. sqoop import/export使用经验

    一.先创建一个小表(test_01)进行测试(主节点IP:169.254.109.130/oracle服务器IP:169.254.109.100) 1.测试连接oracle; sqoop list-t ...

  2. (MySQL里的数据)通过Sqoop Import Hive 里 和 通过Sqoop Export Hive 里的数据到(MySQL)

    Sqoop 可以与Hive系统结合,实现数据的导入和导出,用户需要在 sqoop-env.sh 中添加HIVE_HOME的环境变量. 具体,见我的如下博客: hadoop2.6.0(单节点)下Sqoo ...

  3. how to use Sqoop to import/ export data

    Sqoop is a tool designed for efficiently transferring data between RDBMS and HDFS, we can import dat ...

  4. (MySQL里的数据)通过Sqoop Import HDFS 里 和 通过Sqoop Export HDFS 里的数据到(MySQL)(五)

    下面我们结合 HDFS,介绍 Sqoop 从关系型数据库的导入和导出 一.MySQL里的数据通过Sqoop import HDFS 它的功能是将数据从关系型数据库导入 HDFS 中,其流程图如下所示. ...

  5. (MySQL里的数据)通过Sqoop Import HBase 里 和 通过Sqoop Export HBase 里的数据到(MySQL)

    Sqoop 可以与HBase系统结合,实现数据的导入和导出,用户需要在 sqoop-env.sh 中添加HBASE_HOME的环境变量. 具体,见我的如下博客: hadoop2.6.0(单节点)下Sq ...

  6. 【ABAP系列】SAP ABAP 给初学者-解读function函数的export和import等参数

    公众号:SAP Technical 本文作者:matinal 原文出处:http://www.cnblogs.com/SAPmatinal/ 原文链接:[ABAP系列]SAP ABAP 给初学者-解读 ...

  7. sqoop import 和export的问题

    sqoop import DB 2 hive(hdfs)是采用JDBC的过程,与传统hive区别在与多走了thrift server接口(稳定性待学习现在还比较模糊没做过大数据量测试),而export ...

  8. MSBI BigData demo—sqoop import

    --sp_readerrorlog 读取错误的信息记录 exec sys.sp_readerrorlog 0, 1, 'listening'查看端口号 首先hadoop环境要配置完毕,并检验可以正常启 ...

  9. sqoop 测试 --hive-delims-replacement 参数

    在hive的官方文档中给的例子中字段分隔符是\001,但是在他的API文档中--hive-delims-replacement ,--hive-drop-import-delims   参数中会处理的 ...

随机推荐

  1. 安装Android Studio遇到的问题

    1. 学习视频 视频链接:https://www.bilibili.com/video/BV1jW411375J?p=2 2. Android Studio1.5.1的下载地址: http://www ...

  2. 改进你的c#代码的5个技巧(三)

    本文完全独立于前两篇文章.如果你喜欢它们,我希望你也会喜欢这个.在上一篇文章中,我展示了哪种方法更快,并比较了代码的执行速度.在本文中,我将展示不同代码片段的内存消耗情况.为了显示内存映射和分配图,我 ...

  3. 【MyBatis】自定义 MyBatis

    自定义 MyBatis 文章源码 执行查询信息的分析 我们知道,MyBatis 在使用代理 DAO 的方式实现增删改查时只做两件事: 创建代理对象 在代理对象中调用 selectList() 配置信息 ...

  4. 剑指offer 面试题0:高质的代码:即考虑边界条件、特殊输入和错误处理

    Q:把一个字符串转换为整数. A1:一个普通但漏洞百出的解法. int StrToInt(char* str) { int number = 0; while (*str != 0) { number ...

  5. React & Vue2 Butterfly图编排——让数据更自由地驱动DAG

    一.简介 Butterfly是由阿里云-数字产业产研部孵化出来的的图编辑器引擎,由咱们部门以及其他开发者共同维护开发,具有使用自由.定制性高的优势,已支持集团内外上百张画布,不夸张的说,我觉得可以算的 ...

  6. MySQL常用的数据类型和字段属性

    数据类型 数值 tinyint 十分小的数据 1个字节 smallint 较小的数据 2个字节 mediumint 中等大小的数据 3个字节 int 标准的整数 4个字节 常用 bigint 较大的数 ...

  7. Restful API是什么、为什么、怎么使用

    Restful API 文章目录 Restful API 1.REST是什么以及它的 6 个限制 REST是什么? REST的6个限制 2. Restful是什么 Restful是什么 RESTful ...

  8. LeetCode543.二叉树的直径

    题目 1 class Solution { 2 public: 3 int minimum = INT_MIN; 4 vector<int>res; 5 int diameterOfBin ...

  9. PAT练习num3-跟奥巴马一起学编程

    美国总统奥巴马不仅呼吁所有人都学习编程,甚至以身作则编写代码,成为美国历史上首位编写计算机代码的总统.2014 年底,为庆祝"计算机科学教育周"正式启动,奥巴马编写了很简单的计算机 ...

  10. docker mysql 设置忽略大小写

    使用docker 安装mysql时  Linux下是默认不忽略大小写,导致操作数据库的时候会报如下错误 为了解决上面的问题,我们在创建MySQL容器的时候就需要初始化配置  lower_case_ta ...