sqoop操作与使用

Sqoop操作实践

Sqoop操作实践 @(Hadoop) Sqoop常用参命令序号命令/command 类说明 1 impor ImportTool 从关系型数据库中导入数据(来自表或者查询语句)到HDFS中 2 export ExportTool 将HDFS中的数据导入到关系型数据库中 3 codegen CodeGenTool 获取数据库中某张表数据生成Java并打成jar包 4 create-hive-table CreateHiveTableTool 创建Hive表 5 eval EvalSqlTo…

sqoop操作之HDFS导出到ORACLE

注意:在导出前需要先创建待导出的表结构.如果导出的表在数据库中不存在则会报错:如果重复导出多次,表中的数据会重复: ; ; 导出表的所有字段 sqoop export --connect jdbc:oracle:thin:@192.168.1.107:1521:ORCL \ --username SCOTT --password tiger \ --table EMP_DEMO \ --export-dir /user/hadoop/EMP -m 1; 重复执行多次,表中的数据会重复,不会删除以…

sqoop操作之Oracle导入到HDFS

导入表的所有字段 sqoop import --connect jdbc:oracle:thin:@192.168.1.100:1521:ORCL \ --username SCOTT --password tiger \ --table EMP -m 1; 查看执行结果: hadoop fs -cat /user/hadoop/EMP/part-m-00000 ,SMITH,CLERK,, ::, ,ALLEN,SALESMAN,, ::,, ,WARD,SALESMAN,, ::,, ,JO…

sqoop操作之ETL小案例

Extraction-Transformation-Loading的缩写,中文名称为数据提取.转换和加载.将数据从ORACLE中抽取数据,经过hive进行分析转换,最后存放到ORACLE中去. 本案例是纯demo级别,练手使用一.需求将emp和dept表的数据分析最后存放到result表. emp和dept表均为oracle自带的表,表结构如下: emp表 EMPNO NUMBER(4) ENAME VARCHAR2(10) JOB VARCHAR2(9) MGR NUMBER(4) HIRE…

sqoop操作之HIVE导出到ORACLE

示例数据准备 hive中创建dept表 create table dept( deptno int, dname string, loc string ) row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile; 导入数据: sqoop import --connect jdbc:oracle:thin:@192.168.1.107:1521:ORCL \ --usern…

sqoop操作之ORACLE导入到HIVE

导入表的所有字段 sqoop import --connect jdbc:oracle:thin:@192.168.1.107:1521:ORCL \ --username SCOTT --password tiger \ --table EMP \ --hive-import --create-hive-table --hive-table emp -m 1; 如果报类似的错: ERROR tool.ImportTool: Encountered IOException running imp…

常用sqoop操作

1. 关系型数据库到hive sqoop import --connect jdbc:mysql://localhost:3306/datahouse --username datahs --password datahs2015 --table base_dorm --hive-table base_dorm --hive-import sqoop import --connect jdbc:mysql://localhost:3306/datahouse --username datahs…

Sqoop操作集合

1.在hive中建一个与mysql中一模一样的表 sqoop create-hive-table --connect jdbc:mysql://***.**.***.**:3306/数据库名称 --table 表名 --username root --password root --hive-partition-key 分区名称 --hive-table hive中的表名 2.在1完成后,自由导数到hive: sqoop import --connect jdbc:mysql://***:330…

sqoop只要安装到集群中的一台节点就可以了 1.上传sqoop到节点中 2.安装和配置在添加sqoop到环境变量到/etc/profile中将数据库连接驱动拷贝到$SQOOP_HOME/lib里 3.使用第一类:数据库中的数据导入到HDFS上 sqoop import --connect jdbc:mysql://192.168.1.10:3306/dbTest --username root --password 123 --table trade_detail --columns…

sqoop 操作从hdfs 导入到mysql中语句

将hdfs下/dw/dms/usr_trgt下的文件导入到mysql中test数据库下usr_trgt表中 sqoop-export --connect jdbc:mysql://mysqlDB:3306/test --username biadmin --password Abcd1234 --table usr_trgt --input-null-string '\\N' --input-null-non-string '\\N' --input-fields-terminated-b…

Apache Sqoop - Overview——Sqoop 概述

Apache Sqoop - Overview Apache Sqoop 概述使用Hadoop来分析和处理数据需要将数据加载到集群中并且将它和企业生产数据库中的其他数据进行结合处理.从生产系统加载大块数据到Hadoop中或者从大型集群的map reduce应用中获得数据是个挑战.用户必须意识到确保数据一致性,消耗生产系统资源,供应下游管道的数据预处理这些细节.用脚本来转化数据是低效和耗时的方式.使用map reduce应用直接去获取外部系统的数据使得应用变得复杂和增加了生产系统来自集群节点过度…

【大数据】Sqoop学习笔记

第1章 Sqoop简介 Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql.postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中. Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为一个Ap…

Oracle数据迁移至HBase操作记录

Oracle数据迁移至HBase操作记录 @(HBase) 近期需要把Oracle数据库中的十几张表T级别的数据迁移至HBase中,过程中遇到了许多苦难和疑惑,在此记录一下希望能帮到一些有同样需求的兄弟. HBase表设计首先,是根据Oracle的数据规划HBase的表和表结构. 从业务上看,十几张表大概可以分为两大部分: 交易信息客户操作刚开始的计划是将所有表都导入HBase中的一张大表,但是思索讨论之后发现是行不通的: 1.由于各个表之间的业务关系复杂,无法设定一个理想的Rowkey.…

Apache Sqoop - Overview Apache Sqoop 概述

使用Hadoop来分析和处理数据需要将数据加载到集群中并且将它和企业生产数据库中的其他数据进行结合处理.从生产系统加载大块数据到Hadoop中或者从大型集群的map reduce应用中获得数据是个挑战.用户必须意识到确保数据一致性,消耗生产系统资源,供应下游管道的数据预处理这些细节.用脚本来转化数据是低效和耗时的方式.使用map reduce应用直接去获取外部系统的数据使得应用变得复杂和增加了生产系统来自集群节点过度负载的风险. 这就是Apache Sqoop能够做到的.Aapche Sqoop…

（MySQL里的数据）通过Sqoop Import HDFS 里和通过Sqoop Export HDFS 里的数据到（MySQL）（五）

下面我们结合 HDFS,介绍 Sqoop 从关系型数据库的导入和导出一.MySQL里的数据通过Sqoop import HDFS 它的功能是将数据从关系型数据库导入 HDFS 中,其流程图如下所示. 我们来分析一下 Sqoop 数据导入流程,首先用户输入一个 Sqoop import 命令,Sqoop 会从关系型数据库中获取元数据信息, 比如要操作数据库表的 schema是什么样子,这个表有哪些字段,这些字段都是什么数据类型等. 它获取这些信息之后,会将输入命令转化为基于 Map 的 MapR…

sqoop一些常用命令及参数

常用命令列举这里给大家列出来了一部分Sqoop操作时的常用参数,以供参考,需要深入学习的可以参看对应类的源代码. 序号命令类说明 1 import ImportTool 将数据导入到集群 2 export ExportTool 将集群数据导出 3 codegen CodeGenTool 获取数据库中某张表数据生成Java并打包Jar 4 create-hive-table CreateHiveTableTool 创建Hive表 5 eval EvalSqlTool 查看SQL执行结果 6…

大数据框架开发基础之Sqoop(1) 入门

Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql.postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中. Sqoop的基本认知原理将导入或导出命令翻译成mapreduce程序来实现. 在翻译出的mapreduce中主要是对inputformat和outputformat进行定制. 安装 Sqoo…

Oozie分布式工作流——Action节点

前篇讲述了下什么是流控制节点,本篇继续来说一下什么是 Action Nodes操作节点.Action节点有一些比较通用的特性: Action节点是远程的所有oozie创建的计算和处理任务都是异步的,没有任何应用是工作在oozie内部的.基本上都是创建一个oozie任务,oozie任务会以map的形式,在各个节点再创建相应的任务.因此当你执行spark任务的时候,就会发现yarn集群监控列表里面会同时有两个任务出现. Action节点是异步的 oozie创建的任务都是异步的,对于大多数的任务来说…

CentOS7.5之Sqoop1.4.7的安装使用

一 Sqoop简介 Apache Sqoop(TM) 于 2012 年 3 月孵化出来,现在是一个顶级的 Apache 项目.是一种旨在有效地在 Apache Hadoop 和诸如关系数据库等结构化数据存储之间传输大量数据的工具.最新的稳定版本是 1.4.7.Sqoop2 的最新版本是 1.99.7.请注意,1.99.7 与 1.4.7 不兼容,且没有特征不完整,它并不打算用于生产部署. 二 Sqoop原理将导入或导出命令翻译成 mapreduce 程序来实现.在翻译出的 mapreduce…

使用 Apache Atlas 进行数据治理

本文由网易云发布. 作者:网易/刘勋(本篇文章仅限知乎内部分享,如需转载,请取得作者同意授权.) 面对海量且持续增加的各式各样的数据对象,你是否有信心知道哪些数据从哪里来以及它如何随时间而变化?采用Hadoop必须考虑数据管理的实际情况,元数据与数据治理成为企业级数据湖的重要部分. 为寻求数据治理的开源解决方案,Hortonworks 公司联合其他厂商与用户于2015年发起数据治理倡议,包括数据分类.集中策略引擎.数据血缘.安全和生命周期管理等方面.Apache Atlas 项目就是这个倡议…

【Hadoop】Hadoop MR Job工作流引擎

Apache Oozie 是用于 Hadoop 平台的一种工作流调度引擎.该框架(如图 1 所示)使用 Oozie 协调器促进了相互依赖的重复工作之间的协调,您可以使用预定的时间或数据可用性来触发 Apache Oozie.您可以使用 Oozie bundle 系统提交或维护一组协调应用程序.作为本练习的一部分,Oozie 运行了一个 Apache Sqoop 作业,以便在 MySQL 数据库中的数据上执行导入操作,并将数据传输到 Hadoop 分布式文件系统 (HDFS) 中.可以利用导入的数…

HBase框架基础（四）

* HBase框架基础(四) 上一节我们介绍了如何使用HBase搞一些MapReduce小程序,其主要作用呢是可以做一些数据清洗和分析或者导入数据的工作,这一节我们来介绍如何使用HBase与其他框架进行搭配使用. * HBase与Hive 在开始HBase与Hive搭配使用前,我们复习一下这两个框架的特点: Hive: ** 数据仓库 ** 用于数据分析,数据清洗等等 ** 基于MapReduce ** 延迟高,离线使用 HBase: ** 面向列存储的非关系型数据库 ** 存储数据 ** 基于…