下载

http://www-us.apache.org/dist/sqoop/ 
打开以上链接,开始下载sqoop2 
 
 
下载后得到:sqoop-1.99.7-bin-hadoop200.tar.gz文件

其中sqoop1和sqoop2区别可以参考以下链接 
重拾初心——Sqoop1和Sqoop2的刨析对比 
http://blog.csdn.net/gamer_gyt/article/details/55225700

安装

安装步骤参考官方文档 
http://sqoop.apache.org/docs/1.99.7/admin/Installation.html

解压tar包

将sqoop-1.99.7-bin-hadoop200.tar.gz上传至服务器中,这里安装到/usr/local/hadoop/sqoop-1.99.7目录中

  1. # 拷贝tar包到/usr/local/hadoop/中
  2. cp sqoop-1.99.7-bin-hadoop200.tar.gz /usr/local/hadoop/
  3. # 解压tar包
  4. tar -xvf sqoop-1.99.7-bin-hadoop200.tar.gz
  5. # 为文件夹重命名
  6. mv sqoop-1.99.7-bin-hadoop200 sqoop-1.99.7

配置sqoop2

  1. 确保sqoop2所依赖的环境变量 
    sqoop2需要hadoop的依赖(HADOOP_COMMON, HADOOP_HDFS, HADOOP_MAPRED, HADOOP_YARN),所以你的环境变量中需要存在如下的环境变量
  1. export HADOOP_HOME=/..

或者

  1. export HADOOP_COMMON_HOME=/...
  2. export HADOOP_HDFS_HOME=/...
  3. export HADOOP_MAPRED_HOME=/...
  4. export HADOOP_YARN_HOME=/...

如果配置了HADOOP_HOME,则sqoop会自动寻找$HADOOP_HOME/share/common相应的目录。

  1. 配置sqoop2的环境变量 
    在/etc/profire文件中增加如下配置,注意SQOOP2_HOME的位置
  1. #Sqoop配置
  2. export SQOOP2_HOME=/usr/local/hadoop/sqoop-1.99.7
  3. export CATALINA_BASE=$SQOOP2_HOME/server
  4. #Sqoop外部jar包存放路径,以后mysql-**.jar,odbc*.jar文件都放到extra-lib中即可
  5. export SQOOP_SERVER_EXTRA_LIB=$SQOOP2_HOME/server/lib/extra-lib
  6. export PATH=$PATH:$SQOOP2_HOME/bin
  1. sqoop访问hdfs的配置 
       因为sqoop访问Hadoop的MapReduce使用的是代理的方式,必须在Hadoop的core-site.xml中配置所接受的proxy用户和组,在hadoop的core-site.xml中增加如下配置,其中sqoop2是代理的用户和组的意思。表示运行hadoop的系统用户名
  1. <property>
  2. <name>hadoop.proxyuser.root.hosts</name>
  3. <value>*</value>
  4. </property>
  5. <property>
  6. <name>hadoop.proxyuser.root.groups</name>
  7. <value>*</value>
  8. </property>
  1. 配置sqoop访问的hadoop配置文件的位置 
    在/usr/local/hadoop/sqoop-1.99.7/conf/sqoop.properties文件中,修改如下变量的值为你hadoop配置文件目录 
  1. org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/usr/local/hadoop/hadoop-2.7.4/etc/hadoop

初始化sqoop仓库

因为sqoop2中存储着元数据信息,所以首次安装时需要初始化仓库

  1. sqoop2-tool upgrade

初始化完成后,可以做一次验证

  1. sqoop2-tool verify

当出现Verification was successful.字样时,表示初始化成功。

启动sqoop

执行sqoop2-server start启动sqoop,同理。执行sqoop2-server stop会停止sqoop

  1. sqoop2-server start

执行完以上命令后,启动信息如下。 

然后执行jps命令查看启动了哪些进程,可以看到sqoop server只启动了SqoopJettyServer进程。 

启动sqoop客户端

由于我现在是伪分布式,所以sqoop server和sqoop client都在一台机器上,直接执行sqoop2-shell命令即可启动sqoop客户端 
 
可以查看sqoop2的版本,执行show version --all命令

  1. sqoop:000> show version --all
  2. client version:
  3. Sqoop1.99.7 source revision 435d5e61b922a32d7bce567fe5fb1a9c0d9b1bbb
  4. Compiledby abefine on TueJul1916:08:27 PDT 2016
  5. 0[main] WARN org.apache.hadoop.util.NativeCodeLoader-Unable to load native-hadoop library for your platform...using builtin-java classes where applicable
  6. server version:
  7. Sqoop1.99.7 source revision 435d5e61b922a32d7bce567fe5fb1a9c0d9b1bbb
  8. Compiledby abefine on TueJul1916:08:27 PDT 2016
  9. API versions:
  10. [v1]
  11. sqoop:000>

Sqoop2安装的更多相关文章

  1. sqoop2安装总结

    sqoop2安装 1. 下载解压缩 此次安装版本为1.99.6 # Decompress Sqoop distribution tarball tar -xvf sqoop-<version&g ...

  2. Sqoop2安装记录

    我是採用的源代码编译的包安装的, 主要是考虑到会对部分功能做裁剪或增强, 详细源代码编译方式能够參考另外一篇博文<编译Sqoop2错误解决>.然后从dist/target文件夹下拷贝sqo ...

  3. sqoop1.4.6+hadoop2.6.0 转载

    转载地址:http://blog.csdn.net/zhangzhaokun/article/details/44313531 (1)安装环境         操作系统:Linux(centos6.5 ...

  4. 北风风hadoop课程体系

    课程一.基于Linux操作系统平台下的Java语言开发(20课时)课程简介本套课程主要介绍了Linux系统下的Java环境搭建及最基础的Java语法知识.学习Linux操作系统下Java语言开发的好处 ...

  5. 基于Hadoop2.0、YARN技术的大数据高阶应用实战(Hadoop2.0\YARN\Ma

    Hadoop的前景 随着云计算.大数据迅速发展,亟需用hadoop解决大数据量高并发访问的瓶颈.谷歌.淘宝.百度.京东等底层都应用hadoop.越来越多的企 业急需引入hadoop技术人才.由于掌握H ...

  6. 最完整的历史记录hadoop

    课程主要涉及Hadoop Sqoop.Flume.Avro重要子项目的技术实战 课程针对人群 1.本课程适合于有一定java基础知识.对数据库和sql语句有一定了解,熟练使用linux系统的技术人员, ...

  7. sqoop2-1.99.5-cdh5.5.4.tar.gz的部署搭建

    不多说,直接上干货! 首先,说下博主我,为什么,好端端的Sqoop1用的好好的,然后又安装和学习Sqoop2? 因为,在Cloudera Hue里的Sqoop,是需要Sqoop2. HUE配置文件hu ...

  8. CentOS6.5安装sqoop2

    1.下载软件:http://archive.cloudera.com/cdh5/cdh/5/ 2.解压:tar -zxvf mysofts/sqoop2-1.99.5-cdh5.6.0.tar.gz ...

  9. sqoop2的安装配置

    1.下载 wget http://mirror.bit.edu.cn/apache/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz 2.解压 tar -z ...

随机推荐

  1. luogu 1004 方格取数

    题目描述 设有 $N \times N$ 的方格图 $(N \le 9)$ ,我们将其中的某些方格中填入正整数,而其他的方格中则放入数字 $0$ .如下图所示(见样例): A 0 0 0 0 0 0 ...

  2. MySQL中datetime和timestamp的区别及使用

    MySQL中有关TIMESTAMP和DATETIME的总结 转载自iVictor,原文链接:http://www.cnblogs.com/ivictor/p/5028368.html 一.MySQL中 ...

  3. python如何安装第三方库

    1.python集成开发环境pycharm如何安装第三方库 http://blog.csdn.net/qiannianguji01/article/details/50397046 有的时候安装不上第 ...

  4. P4-Related Tools Installation

    P4-Related Tools Installation 安装P4相关工具的步骤和说明. 本说明只适用于 Ubuntu 14.04 系统. 推荐安装的其他工具 mininet:SDN网络仿真工具 v ...

  5. 02_Python简单爬虫(熊猫直播LOL的up主,谁最强!)

    声明: 本文仅用于Python练手,并无任何恶意攻击行为! # 导入request模块 from urllib import request # 导入re模块 import re class Spid ...

  6. TDD、BDD、DDD

    TDDTest-Driven DevelopmentTest-Driven Development (TDD) is a software development technique where au ...

  7. ant的原理

    ANT批量完成项目代码的重新编译.打包.测试.java语言编写与平台无关的. Ant工具 Ant是一种基于Java的build工具.理论上来说,它有些类似于(Unix)C中的make ,但没有make ...

  8. Windows 2012 R2 创建AD域

    创建复数的域控制器,容错的同时(一台AD故障),且能提高用户的登录效率. 为了实现负载平衡,域配置前,两台Ad域的DNS应该按如下设置,同时,也为了避免在AD02上,选择“将域控制器添加到现有域”时出 ...

  9. Redis之哈希类型命令

    Hash(哈希) Redis hash 是一个string类型的field和value的映射表,hash特别适合用于存储对象. Redis 中每个 hash 可以存储 232 - 1 键值对(40多亿 ...

  10. Ubuntu 14.04 的 VNC Server

    首先,如果是Desktop 版本的 Ubuntu,不需要另外安装vnc server. 网上也不知怎么搞的,一堆奇怪的方法,要安装TightVNCServer,然后一堆sb设置 然后,主要有两个配置 ...