一、Sqoop 环境搭建

1.下载安装包及解压
    sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
1)拷贝sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 到 /usr/sqoop 目录下
2)使用tar -xzvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
3)执行命令:cp -r ./sqoop-1.4.6.bin__hadoop-2.0.4-alpha/* ./  把/usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha 目录下内容拷贝到/usr/sqoop目录下
4)执行命令:rm -rf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 移除文件  sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 
5)执行命令:rm -rf sqoop-1.4.6.bin__hadoop-2.0.4-alpha 移除目录 sqoop-1.4.6.bin__hadoop-2.0.4-alpha
 
2.配置环境变量和配置文件
1)进入/usr/sqoop/conf目录,执行命令 cp sqoop-env-template.sh sqoop-env.sh  复制一份sqoop-env.sh 文件
2)进入/usr/sqoop/conf目录,执行命令 vi sqoop-env.sh 在sqoop-env.sh中添加如下代码:
export HADOOP_COMMON_HOME=/usr/hadoop 
export HADOOP_MAPRED_HOME=/usr/hadoop/share/hadoop/mapreduce
export HBASE_HOME=/usr/hbase 
export ZOOCFGDIR=/usr/zookeeper

(如果数据读取不设计hbase和hive,那么相关hbase和hive的配置可以不加,如果集群有独立的zookeeper集群,那么配置zookeeper,反之,不用配置)。

 

3.copy需要的lib包到Sqoop/lib

所需的包:mysql的jdbc包 mysql-connector-java-5.1.32-bin.jar(或Oracle的jdbc包等)
 

4.添加环境变量

执行命令:vi /home/hadoop/.bash_profile 添加环境变量

export SQOOP_HOME=/usr/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
export LOGDIR=$SQOOP_HOME/logs/

5.测试验证

--列出mysql数据库中的所有数据库

进入/usr/sqoop/bin目录,执行命令:sqoop list-databases --connect jdbc:mysql://192.168.160.1:3306 --username root --password dbAdmin2015
 
报如下错误:
 
解决方案:
在Mysql 命令控制台,登陆后执行命令:
GRANT ALL PRIVILEGES ON *.* TO 'root'@'192.168.160.131' IDENTIFIED BY  'dbAdmin2015' WITH GRANT OPTION;
参考URL:http://www.jb51.net/article/28161.htm
再次执行验证命令,成功,如下图所示:
 
连接mysql并列出zkdb数据库中的表
进入/usr/sqoop/bin目录,执行命令:
sqoop list-tables --connect jdbc:mysql://192.168.160.1:3306/zkdb?characterEncoding=UTF-8 --username root --password dbAdmin2015
 

二、将数据从Mysql 导出到 HDFS

将Mysql 的test数据库中的CFG_BIS_INF 表导出到 HDFS 中,执行如下命令:
sqoop import --connect jdbc:mysql://192.168.160.1:3306/test?characterEncoding=UTF-8 --username root --password dbAdmin2015 --target-dir '/sqoop/cfg_bis_inf' --table cfg_bis_inf
执行结果如下:
 
 
 

Sqoop-1.4.6.bin__hadoop-2.0.4-alpha 环境搭建的更多相关文章

  1. Hadoop2.7.3+Spark2.1.0 完全分布式环境 搭建全过程

    一.修改hosts文件 在主节点,就是第一台主机的命令行下; vim /etc/hosts 我的是三台云主机: 在原文件的基础上加上; ip1 master worker0 namenode ip2 ...

  2. Hadoop2.5.0伪分布式环境搭建

    本章主要介绍下在Linux系统下的Hadoop2.5.0伪分布式环境搭建步骤.首先要搭建Hadoop伪分布式环境,需要完成一些前置依赖工作,包括创建用户.安装JDK.关闭防火墙等. 一.创建hadoo ...

  3. (转)微信公众平台开发之基于百度 BAE3.0 的开发环境搭建(采用 Baidu Eclipse)

    原文传送门(http://blog.csdn.net/bingtianxuelong/article/details/17843111) 版本说明:     V1:         2014-2-13 ...

  4. 阿里云ECS+CentOS 7.0+Docker+Redmine环境搭建

    前言 搭建Redmine环境可以选择使用分别安装Ruby+Rails+Redmine+MySQL的方式, 但是过程中需要解决各种扰人的依赖问题.Docker为我们提供的Plan B,方便,快捷. 安装 ...

  5. Spark2.4.0伪分布式环境搭建

    一.搭建环境的前提条件 环境:ubuntu-16.04 hadoop-2.6.0  jdk1.8.0_161. spark-2.4.0-bin-hadoop2.6.这里的环境不一定需要和我一样,基本版 ...

  6. 分享一份关于Hadoop2.2.0集群环境搭建文档

    目录 一,准备环境 三,克隆VM 四,搭建集群 五,Hadoop启动与测试 六,安装过程中遇到的问题及其解决方案 一,准备环境 PC基本配置如下: 处理器:Intel(R) Core(TM) i5-3 ...

  7. hive-2.2.0 伪分布式环境搭建

    一,实验环境: 1, ubuntu server 16.04 2, jdk,1.8 3, hadoop 2.7.4 伪分布式环境或者集群模式 4, apache-hive-2.2.0-bin.tar. ...

  8. Hadoop 2.6.0-cdh5.4.0集群环境搭建和Apache-Hive、Sqoop的安装

    搭建此环境主要用来hadoop的学习,因此我们的操作直接在root用户下,不涉及HA. Software: Hadoop 2.6.0-cdh5.4.0 Apache-hive-2.1.0-bin Sq ...

  9. Hadoop2.6.0伪分布环境搭建

    用到的软件: 一.安装jdk: 1.要安装的jdk,我把它拷在了共享文件夹里面.   (用优盘拷也可以) 2.我把jdk拷在了用户文件夹下面. (其他地方也可以,不过路径要相应改变) 3.执行复制安装 ...

  10. Cordova4.0 系列 -- 基本环境搭建(1)

    一. 安装Node.js基本环境 官网下载地址:https://nodejs.org/ 安装成功之后可以使用简单命令查看其版本 node -v npm相关命令 node cli.js install ...

随机推荐

  1. singleTask, singleInstance使用心得

    1. singleTask, singleInstance 共同点: 1)  一旦入栈,都为于栈底. 2) 全栈有且只有一个activity实例对象. 2. singleTask, singleIns ...

  2. (转)jQuery中的extend()方法

    本文转自:http://www.xiabingbao.com/jquery/2015/05/30/jquery-extend 原文的排版要比这里美观很多,建议去原文查看.本文仅仅作为个人的mark,方 ...

  3. asp.net项目下的web service返回json数据问题

    App_Code目录下放置WebService.cs文件,文件内容如: using System; using System.Collections.Generic; using System.Dat ...

  4. 《C和指针(Pointer on c)》 学习笔记

    转载:http://dsqiu.iteye.com/blog/1687944 首先本文是对参考中三个连接的博客进行的整理,非常感谢三位博主的努力,每次都感叹网友的力量实在太强大了…… 第一章 快速上手 ...

  5. cef3 获得 谷歌浏览器 网页源码 哈哈

    Get HTML Source from Chromium Embedded http://stackoverflow.com/questions/13324095/get-html-source-f ...

  6. UVALive 4818 - Largest Empty Circle on a Segment (计算几何)

    题目链接:https://icpcarchive.ecs.baylor.edu/index.php?option=com_onlinejudge&Itemid=8&page=show_ ...

  7. C#的 构造函数 和 方法重载

    构造函数(一本正经的讲构造函数 如果想看不正经的往下翻看方法重载) 方法名称与类名相同,没有返回值类型,连void都没有 用作给类的对象初始化 一个类中可以有多个构造 如果手动添加一个构造,系统不会自 ...

  8. nvidia 各种卡

    cudnn是针对maxwell优化的啊, maxwell下的各种卡都是游戏卡,具体可以见: https://developer.nvidia.com/maxwell-compute-architect ...

  9. sqlserver 分区表

    我们知道很多事情都存在一个分治的思想,同样的道理我们也可以用到数据表上,当一个表很大很大的时候,我们就会想到将表拆 分成很多小表,查询的时候就到各个小表去查,最后进行汇总返回给调用方来加速我们的查询速 ...

  10. ArcEngine10.1二次开发错误: 无法嵌入互操作类型,请改用适用的接口

    在之前配置ArcEngine.VS2010二次开发程序的时候,遇见"无法嵌入互操作类型,请改用适用的接口"的错误,在网上查了下,下面引用解决方法. 解决方式为在提示错误的引用上面右 ...