安装sqoop
安装sqoop
1.默认已经安装好java+hadoop
2.下载对应hadoop版本的sqoop版本
3.解压安装包
tar zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
4.配置环境变量(/etc/profile)
#sqoop
export SQOOP_HOME=/opt/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
保存退出
source /etc/profile
5.修改配置文件(sqoop-env.sh/sqoop-site.xml/sqoop)
1.复制配置文件模板
cd /opt/sqoop-1.4.6/conf
cp sqoop-site-template.xml sqoop-site.xml
cp sqoop-env-template.sh sqoop-env.sh ####sqoop-env.sh####
export HADOOP_COMMON_HOME=/opt/hadoop-2.5.2 ####sqoop-site.xml####
无需配置 但须有此文件 ####bin/sqoop####
最后一行需要改成 注意sqoop-1.4.6.jar 为lib目录下的包
exec ${HADOOP_COMMON_HOME}/bin/hadoop jar $SQOOP_HOME/sqoop-1.4.6.jar org.apache.sqoop.Sqoop "$@"
6.添加jar包
1.添加关系型数据库jdbc jar包 到 lib 目录下
cp mysql-connector-java-5.1.21.jar /opt/sqoop-1.4.6/lib
7.验证
sqoop list-databases --connect jdbc:mysql://192.168.22.1/test --username root --password root //注意此时需保证mysql连接正常。不然报错 无报错显示出数据库则表示安装成功
8.常用命令
1.显示
sqoop list-databases --connect jdbc:mysql://192.168.22.1/test --username root --password root //显示数据库
sqoop list-tables --connect jdbc:mysql://192.168.22.1/test --username root --password root //显示数据表
2.hdfs导出到mysql
sqoop export --connect jdbc:mysql://192.168.22.1/test --username root --password root --table access_log --fields-terminated-by '\t'
--export-dir /access/part-m-00000 //需保证导出表已创建并字段跟存储文件一致 注意字段分隔符
3.mysql导入到hdfs
sqoop import --connect jdbc:mysql://192.168.22.1/test --username root --password root --table access_log --fields-terminated-by '\001'
--lines-terminated-by '\n' --target-dir /access -m 1 //无主键时需加 -m 1 不然报错 /access在hdfs需不存在 注意字段分隔符
安装sqoop的更多相关文章
- 简易安装sqoop
版本 :hive-0.13.1-cdh5.3.6.tar.gz 1:解压 然后 进到 conf 目录 修改 sqoop-env.sh 2:如果使用mysql 数据库 要将 mysql驱动包拷贝到 ...
- centos6.5系统hadoop2.7安装sqoop
一.sqoop简介 Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql.postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ...
- 安装sqoop 1.99.4
参考http://sqoop.apache.org/docs/1.99.4/Installation.html 1.简介 sqoop2分为server和client两部分.server作为maprde ...
- ubuntu - 安装sqoop
解析过程 参考:https://www.cnblogs.com/qingyunzong/p/8807252.html#_label4 一.下载 二.解压到指定目录 三.配置sqoop环境变量并生效 四 ...
- 安装 sqoop
简介 Sqoop是一个用来将Hadoop(Hive.HBase)和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:MySQL ,Oracle ,Postgres等)中的数据导入到Ha ...
- Linux安装Sqoop及基础使用
下载Sqoop 官网地址 http://sqoop.apache.org/ wget http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7 ...
- centos 7 安装sqoop 1.4.7
1. 下载sqoop1.4.7 cd /home/workspace wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoo ...
- Sqoop安装及操作
一.集群环境: Hostname IP Hadoop版本 Hadoop 功能 系统 node1 192.168.1.151 0.20.0 namenode hive+sqoop rhel5.4X86 ...
- Sqoop安装配置及数据导入导出
前置条件 已经成功安装配置Hadoop和Mysql数据库服务器,如果将数据导入或从Hbase导出,还应该已经成功安装配置Hbase. 下载sqoop和Mysql的JDBC驱动 sqoop-1.2.0- ...
随机推荐
- eclipse启动tomcat, http://localhost:8080无法访问
原地址 症状: tomcat在eclipse里面能正常启动,而在浏览器中访问http://localhost:8080/不能访问,且报404错误.同时其他项目页面也不能访问. 关闭eclipse里面的 ...
- 内核编译报错Fedora20(友善)
首先说明我的宿主机环境:Fedora20 64位,开发板是友善Smart210(S5PV210——Cotex-A8)!!!马上入题! 按照开发板的用户手册来编译内核,一直报这个错误:/opt/Frie ...
- vs2015全新nuget使用全析
随着vs2015正式版本的发布,实在按捺不住,安装体验了一把,感触最大的除了可以调试lamda以外莫过于对nuget的升级. 先来一张全景: 怎么样,风格完全不同了吧.可以显示预发行版本了,右上角那个 ...
- Android6.0权限组申请
void checkPermission() { final List<String> permissionsList = new ArrayList<>(); if (Bui ...
- 转:CentOS/Debian/Ubuntu一键安装LAMP(Apache/MySQL/PHP)环境
CentOS/Debian/Ubuntu一键安装LAMP(Apache/MySQL/PHP) 今天遇到一个网友提到需要在Linux VPS服务器中安装LAMP(Apache/MySQL/PHP)网站环 ...
- jquery判断多个input输入框不能输入相同的值
function checkName(data){ //校验联系信息不能一致 var values=""; $(".t").each(function(i,it ...
- 函数find(exp)
Matlab函数find(exp): 查找符合exp的值并储存 示例: b=find(a>20&a<40) 仅此
- 触发bfd 的条件
满足下列条件之一就可触发BFC [1]根元素,即HTML元素 [2]float的值不为none [3]overflow的值不为visible [4]display的值为inline-block.tab ...
- Python之str()与repr()的区别
Python之str()与repr()的区别 str()一般是将数值转成字符串,主要面向用户. repr()是将一个对象转成字符串显示,注意只是显示用,有些对象转成字符串没有直接的意思.如list, ...
- [Sass]占位符 %placeholder
[Sass]占位符 %placeholder Sass 中的占位符 %placeholder 功能是一个很强大,很实用的一个功能,这也是我非常喜欢的功能.他可以取代以前 CSS 中的基类造成的代码冗余 ...