大数据学习笔记——Sqoop完整部署流程

Sqoop详细部署教程

Sqoop是一个将hadoop与关系型数据库之间进行数据传输，批量数据导入导出的工具，注意，导入是指将数据从RDBMS导入到hadoop而导出则是指将数据从hadoop导出到RDBMS，本篇博客承接上篇Hive的部署教程，废话不多说，直接开始流程

1. 安装准备

准备好以下安装包，使用的版本为1.4.7

2. 正式安装

1. 使用Xftp将tar.gz文件放到/home/centos/downloads目录下

2. 解压缩

cd /home/centos/downloads

tar -xzvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /soft

3. 创建符号链接

cd /soft

ln -s sqoop-1.4.7.bin__hadoop-2.6.0 sqoop

4. 配置环境变量

nano /etc/profile

在文件末尾添加：

#sqoop环境变量
export SQOOP_HOME=/soft/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

#添加hive依赖到hadoop的classpath下

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*

保存退出后：

source /etc/profile

5. 修改配置文件

cd /soft/sqoop/conf

mv sqoop-env-template.sh sqoop-env.sh

nano sqoop-env.sh

修改以下代码后保存退出：

#Set path to where bin/hadoop is available

export HADOOP_COMMON_HOME=/soft/hadoop

#Set path to where hadoop-*-core.jar is available

export HADOOP_MAPRED_HOME=/soft/hadoop

#set the path to where bin/hbase is available

#export HBASE_HOME=

#Set the path to where bin/hive is available

export HIVE_HOME=/soft/hive

#Set the path for where zookeper config dir is

export ZOOCFGDIR=/soft/zk/conf

6. 放入mysql的驱动程序：

cp /soft/hive/lib/mysql-connector-java-5.1.44.jar /soft/sqoop/lib/

7. 查看sqoop的版本，sqoop version，出现以下信息说明配置成功！

3. 后续收尾

至此，sqoop的配置已经完成了，接下去还有一个后续工作要做，由于最新版的sqoop很有可能和hive或其他大数据组件版本上不兼容，导致以后在做导入导出操作的时候会报java异常，因此还需要进行以下4步操作

1. 复制hive的hive-site.xml文件到sqoop的conf下

cp /soft/hive/conf/hive-site.xml /soft/sqoop/conf

2. 修改jre下lib文件夹中的配置

cd /soft/jdk/jre/lib/security

修改java.policy中的内容

nano java.policy

在grant{}里添加以下内容：

// JMX Java Management eXtensions
permission javax.management.MBeanTrustPermission "register";

3. 将sqoop/lib下的jackson的jar包做备份，使用ipython将所有jackson的jar包加上.bak做备份

ipython

import os

back_up_file = [i for i in os.listdir('/soft/sqoop/lib') if i.startswith('jackson') and i.endswith('jar')]
new_file_name = [i + '.bak' for i in back_up_file]
D = '/soft/sqoop/lib/'
for i,j in zip(back_up_file, new_file_name):
　　os.rename(D+i, D+j)

exit

4. 将hive/lib下所有的jackson的jar包复制到sqoop/lib下

cp /soft/hive/lib/jackson*.jar /soft/sqoop/lib