CentOS搭建Sqoop环境
Sqoop安装
1、下载Sqoop安装包
2、解压Sqoop安装包
#进入sqoop安装目录
[hadoop@BigData ~]$ cd /usr/local
#解压sqoop安装包
[hadoop@BigData ~]$ tar -zxvf sqoop-1.4..bin__hadoop-2.0.-alpha.tar.gz
#删除sqoop安装包
[hadoop@BigData ~]$ rm -rf sqoop-1.4..bin__hadoop-2.0.-alpha.tar.gz
#重命名sqoop目录名
[hadoop@BigData ~]$ mv sqoop-1.4..bin__hadoop-2.0.-alpha sqoop
3、配置Sqoop环境变量
#配置Sqoop环境变量
[root@BigData ~]# vi /etc/profile
export SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
#使环境变量配置生效
[root@BigData ~]#/etc/profile
4、将关系型数据库驱动包放到sqoop/lib目录下
5、修改Sqoop配置文件
[hadoop@BigData ~]$ mv sqoop-env-template.sh sqoop-env.sh
[hadoop@BigData ~]$ vi sqoop-env.sh
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/usr/local/hadoop
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/usr/local/hadoop
#set the path to where bin/hbase is available
export HBASE_HOME=/usr/local/hbase
#Set the path to where bin/hive is available
export HIVE_HOME=/usr/local/hive
#Set the path for where zookeper config dir is
export ZOOCFGDIR=/usr/local/zookeeper
Sqoop测试
1、导入MySql数据到hdfs中
id | username | gender | telephone | |
1 | test_01 | Female | 138xxxx0903 | test_01@example.com |
2 | test_02 | Male | 187xxxx9364 | test_02@example.com |
2、hdfs导出数据到mysql
[hadoop@BigData ~]$sqoop export --connect jdbc:mysql://localhost:3306/sqoop --username root --password root --table hive --export-dir '/user/hadoop/test/part-m-00000'--fields-terminated-by '\t'
参数 | 解释 |
sqoop | sqoop命令 |
export | 导出操作 |
--connect jdbc:mysql://ip:3306/sqoop | 连接mysql的url |
--username | 连接mysql的用户名 |
--password | 连接mysql的密码 |
--table | mysql中的表,即将被导入的表名称 |
--export-dir | hive中被导出的文件 |
--fields-terminated-by | 指定输出文件中的行的字段分隔符 |
id | username | gender | telephone | |
1 | test_01 | Female | 138xxxx0903 | test_01@example.com |
2 | test_02 | Male | 187xxxx9364 | test_02@example.com |
3、Mysql数据导入到Hive
[hadoop@BigData ~]$ sqoop import --connect jdbc:mysql://localhost:3306/sqoop --username root --password root --table test --warehouse-dir /usr/local/hive/warehouse --hive-import --create-hive-table
进入Hive Client验证导入的数据:
[hadoop@BigData bin]$ hive client
hive> show tables;
user_information
test
login_log
hive> select * from test;
test_01 Female 138xxxx0903 test_01@example.com
test_02 Male 187xxxx9364 test_02@example.com
4、Mysql数据导入到Hbase
把表test数据导入到HBase,指定Hbase中表名为demo_sqoop2hbase的命令
[hadoop@BigData ~]$ sqoop import --connect jdbc:mysql://localhost:3306/sqoop --username root --password root --table test --hbase-table demo_sqoop2hbase --hbase-create-table --hbase-row-key id --column-family url
hbase shell中验证导入的数据:
[hadoop@BigData bin]$ hbase shell
hbase(main)::>list
demo_sqoop2hbase
CentOS搭建Sqoop环境的更多相关文章
- 基于Centos搭建Jenkins 环境搭建
系统要求: CentOS 7.2 64 位操作系统 安装 Jenkins Jenkins 简介 Jenkins 是一个开源软件项目,是基于Java开发的一种持续集成工具,用于监控持续重复的工作,旨在提 ...
- Centos搭建go环境以及go入门
引言 本文主要聚焦于 如何在centos上搭建go环境以及go入门, 包括搭建go环境,hello world运行, 创建包等操作,初步入门go语言. 安装环境 在管理员权限下, 也就是root用户 ...
- Centos搭建 Docker 环境
搭建 Docker 环境 安装与配置 Docker 安装 Docker Docker 软件包已经包括在默认的 CentOS-Extras 软件源里.因此想要安装 docker,只需要运行下面的 yum ...
- CentOS搭建LAMP环境
最近准备安装roundcube,需要先搭建一个 LAMP 运行环境,从网上搜索了一下,有不少资料.自己也按部就班安装了一遍,把过程整理了下来. LAMP 是Linux, Apache, MySQL, ...
- 阿里云Centos搭建jdk环境
当我们开始了自己的开发,那么云服务器是一定少不了的,当然也有很多同学只是在本地做开发研究. 这里记录一下我自己在阿里云上搭建环境的过程. 趁着优惠的时候,我在阿里云上购买了ECS云服务器,并且搭载了C ...
- 基于Centos搭建Django 环境搭建
CentOS 7.2 64 位操作系统 安装 Django 先安装 PIP,再通过 PIP 安装 Django 安装 PIP cd /data; mkdir tmp; cd tmp; wget htt ...
- 基于Centos搭建Laravel 环境搭建
系统要求:CentOS 7.2 64 位操作系统 安装 Laravel Laravel 简介 Laravel 是一套简洁.优雅的 PHP Web 开发框架.它可以让你从面条一样杂乱的代码中解脱出来:它 ...
- CentOS搭建NodeJS环境
事件驱动,承受高并发……这些耀眼的光环,使前端开发者不能不去学习NodeJS. 今天就在开发环境把NodeJS搭建起来了. 1. 下载node wget http://nodejs.org/dist/ ...
- centos 搭建docker环境
我有一台便宜的腾讯云服务器,当然配置自然也是最低的,只是用来平常玩一玩,学习的用处,下面介绍一下我在上面搭建docker的心得,共勉一下. 安装与配置 Docker 安装 Docker Docker ...
随机推荐
- expdp/impdp使用sysdba权限迁移数据
expdp 'userid="/ as sysdba"' directory=DATA_PUMP_DIR full=y logfile=fullexp.log estimate_o ...
- 一个SAP开发人员的2017总结
今年的生活如此丰富多彩,不写一点什么怎么对得起这过去的一年? 就当记流水账,若干年之后回来看一定很有意思. 1月 有幸成为SAP Community上2位来自China的SAP mentor之一: 3 ...
- IOS 照片浏览器总结(思想步骤)
1. 界面分析========================================1> 需要读取或修改属性的控件需要设置属性// 序号标签// 图片// 图片描述// 左边按钮// ...
- 关于rapidxml无法解析中文路径问题
先放结果 setlocale(LC_ALL, ""); rapidxml::file<> f(szPath); setlocale(LC_ALL, "C&qu ...
- 布局方式-inline-block布局
.像文本一样排block元素 .没有清除浮动等问题 .需要处理间隙 一种方式 <style> .container{ width: 800px; height: 200px; fo ...
- webstorm识别php代码
在 setting --editor--filetype---找到html 在下面的框里点右边加好,添加*.php
- JavaScript面向对象编程之创建对象
参考资料依旧<JavaScript高级程序设计>,不得不说这本书写的太好了,讲的极为清晰凝练,好书! 先给出重点笔记,好好理解下面的三条笔记,每一句话都很重要: 1.实例的指针仅指向原型, ...
- CGAL 4.6 - Surface Reconstruction from Point Sets
http://doc.cgal.org/latest/Surface_reconstruction_points_3/ The following example reads a point set, ...
- TDD: 解除依赖
1 A类依赖B 类,可以把B类提取成IB接口,解除AB 之间的依赖关系. 通过创建实现了IB接口的BStub 装代码,可以模拟B类进行测试. 这是针对接口编程的典型.适合构造代价大,变化多的情况.应 ...
- 数据流管理:redux
redux和react是两个独立的库,所以redux并不是非用不可,是在Flux框架的基础上改进的一个框架,所以一鸣惊人 redux的三大基本原则 唯一的数据源(single source of tr ...