Oozie安装
Oozie的安装与部署
1、解压Oozie
$ tar -zxf /opt/softwares/oozie-4.0.0-cdh5.3.6.tar.gz -C /opt/modules/cdh/
2、Hadoop配置文件修改,完成后scp到其他机器节点
- core-site.xml
<!-- Oozie Server的Hostname -->
<property>
<name>hadoop.proxyuser.admin.hosts</name>
<value>*</value>
</property> <!-- 允许被Oozie代理的用户组 -->
<property>
<name>hadoop.proxyuser.admin.groups</name>
<value>*</value>
</property>
- 配置JobHistoryServer服务(必须)
- mapred-site.xml
<!-- 配置 MapReduce JobHistory Server 地址 ,默认端口10020 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop-senior01.itguigu.com:10020</value>
</property> <!-- 配置 MapReduce JobHistory Server web ui 地址, 默认端口19888 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop-senior01.itguigu.com:19888</value>
</property>
- yarn-site.xml
<!-- 任务历史服务 -->
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop-senior01.itguigu.com:19888/jobhistory/logs/</value>
</property>
完成后:记得scp同步到其他机器节点。
3、开启Hadoop集群
$ sh ~/start-cluster.sh
尖叫提示:需要配合开启JobHistoryServer,最好执行一个MR任务进行测试。
4、解压hadooplibs
$ tar -zxf /opt/modules/cdh/oozie-4.0.-cdh5.3.6/oozie-hadooplibs-4.0.-cdh5.3.6.tar.gz -C /opt/modules/cdh/
完成后Oozie目录下会出现hadooplibs目录
5、在Oozie目录下创建libext目录
$ mkdir libext/
6、拷贝一些依赖的Jar包
- 将hadooplibs里面的jar包,拷贝到libext目录下
$ cp -ra /opt/modules/cdh/oozie-4.0.-cdh5.3.6/hadooplibs/hadooplib-2.5.-cdh5.3.6.oozie-4.0.-cdh5.3.6/* libext/
- 拷贝Mysql驱动包到libext目录下
$ cp -a /opt/softwares/mysql-connector-java-5.1./mysql-connector-java-5.1.-bin.jar /opt/modules/cdh/oozie-4.0.-cdh5.3.6/libext/
7、将ext-2.2.zip拷贝到libext/目录下
$ cp /opt/softwares/ext-2.2.zip libext/
8、修改Oozie配置文件
- oozie-site.xml
** JDBC驱动
oozie.service.JPAService.jdbc.driver
com.mysql.jdbc.Driver ** Mysql的oozie数据库的配置
oozie.service.JPAService.jdbc.url
jdbc:mysql://192.168.122.20:3306/oozie ** 数据库用户名
oozie.service.JPAService.jdbc.username
root ** 数据库密码
oozie.service.JPAService.jdbc.password
123456 ** 让Oozie引用Hadoop的配置文件
oozie.service.HadoopAccessorService.hadoop.configurations
真的就是这样:--> *=/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/etc/hadoop
9、在Mysql中创建Oozie的数据库
- 进入数据库
$ mysql -uroot -p123456
- 创建oozie数据库
mysql> create database oozie;
10、初始化Oozie的配置
- 上传Oozie目录下的yarn.tar.gz文件到HDFS(尖叫提示:yarn.tar.gz文件会自行解压)
$ bin/oozie-setup.sh sharelib create -fs hdfs://hadoop-senior01.itguigu.com:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz
执行成功之后,去50070检查对应目录有没有文件生成。
- 创建oozie.sql文件
$ bin/oozie-setup.sh db create -run -sqlfile oozie.sql
- 打包项目,生成war包
$ bin/oozie-setup.sh prepare-war
11、启动Oozie服务
$ bin/oozied.sh start
(关闭Oozie服务:$ bin/oozied.sh stop)
12、访问Oozie的Web页面
http://hadoop-senior01.itguigu.com:11000/oozie
Oozie安装的更多相关文章
- Oozie安装时放置Mysql驱动包的总结(网上最全)
不多说,直接上干货! 对于在oozie里放置Mysql驱动包的总结 根据网上的参考以及我个人经验安装的使用 (1)放一份到$OOZIE_HOME/libext下 (是 mysql-connector- ...
- CDH版本的oozie安装执行bin/oozie-setup.sh prepare-war,没生成oozie.war?
不多说,直接上干货! 前期博客 Oozie安装部署 问题描述 bin/oozie-setup.sh prepare-war 解决办法 [hadoop@bigdatamaster bin]$ pwd / ...
- 【转】oozie安装和自带示例的使用
oozie安装 [转]http://www.tuicool.com/articles/qUVNJn oozie自带示例的使用 [转]http://blog.csdn.net/zhu_xun/artic ...
- oozie安装总结
偶然的机会,去面试的时候听面试官讲他们的调度系统是基于hue+oozie,以前一直没有接触过,今天趁有空,尝试一下oozie 1.环境说明 cat /etc/issue CentOS release ...
- Oozie安装与部署
原创文章,转载请注明: 转载自http://www.cnblogs.com/tovin/p/3885162.html 安装基础环境: Hadoop – 2.2.0 Linux – Centos 6. ...
- Oozie安装部署
不多说,直接上干货! 首先,大家先去看我这篇博客.对于Oozie的安装有一个全新的认识. Oozie安装的说明 我这里呢,本篇博文定位于手动来安装Oozie,同时避免Apache版本的繁琐编译安装,直 ...
- Oozie安装的说明
不多说,直接干货! Oozie相当于Hadoop的一个客户端,因此集群中要有一台机器部署Oozie server端即可,由于可以有任意多个客户端连接Oozie,故每个客户端都必须部署Oozie cli ...
- 【原】centos6.5下cdh4.6 Oozie安装
0.oozie只需安装在一台服务器上,这里选择在namenode上来安装:安装用户为cloud-user 1.安装Oozie包: sudo yum install -y oozie oozie- ...
- Oozie 安装及 examples app 的使用
参考文档 一.Building OOzie 特别注意的是修改Pom.xml文件中的版本与本机中安装的版本相同 二. install Oozie 1.为 hadoop 添加 Oozie 的代理用户,添加 ...
- 大数据平台搭建 - cdh5.11.1 - oozie安装
一.简介 oozie是hadoop平台开源的工作流调度引擎,用来管理hadoop作业,属于web应用程序,由oozie server 和oozie client构成. oozie server运行与t ...
随机推荐
- Qt 【遍历文件夹文件,为listwidgetItem设置图标】
效果图如上,通过qt本身的api去获取文件夹中文件的信息并且将其显示到listwidget上.只遍历当前文件夹的文件, 若文件夹中的子文件夹含有符合筛选器的文件那么并不会一同筛选出来 参考百度:htt ...
- 简单API接口签名验证
前言 后端在写对外的API接口时,一般会对参数进行签名来保证接口的安全性,在设计签名算法的时候,主要考虑的是这几个问题: 1. 请求的来源是否合法 2. 请求参数是否被篡改 3. 请求的唯一性 我们的 ...
- react-router v3和v4区别
1.默认路由 v3 <IndexRoute> v4 <Route exact> 2.授权路由 import Redirect from 'react-router-dom' & ...
- 富文本 保存转义StringEscapeUtils.unescapeHtml4(
StringEscapeUtils.unescapeHtml4( [org.apache.commons.lang.StringEscapeUtils.escapeHtml(str)] [String ...
- Java中链接MS SQL 数据库用法详解
一.第一种方法: 使用JDBC-ODBC的桥方式 JDBC-ODBC桥连接器是用JdbcOdbc.class 和一个用于访问ODBC驱动程序的本地库实现的,对于Windows平台,该本地库是一个动态链 ...
- 创建一个apk:按钮-click-文字display,测试apk;安装在真机进行调试的方法
问题引入: 怎么样在一个app做event事件?例如touch操作,滑动操作,和按键事件(back,home等) 回答1:device.touch(x,y) ---获取device对象,然后touch ...
- [NOIP模拟测试10]辣鸡(ljh) 题解
首先计算块内贡献,很显然是$(x_2-x_1)*(y_2-y_1)*2$. 然后考虑矩形之间的贡献,sort一遍分类讨论$n^2$暴力即可. 注意考虑边界情况是否能多两个,以及角对角的情况. 另外,排 ...
- ZROI week1
\[ZROI day1\] \[Grid\] 题目描述 给定一个矩阵,小写字母,求一条路径使得从\((1,1) -> (n,m)\),字典序最小,并且每次只能向右或者向下. 题解 先考虑如果没有 ...
- (53)C# 工具
https://docs.microsoft.com/zh-cn/dotnet/framework/tools/ildasm-exe-il-disassembler 一.Visual Studio的开 ...
- spring boot开发,jar包一个一个来启动太麻烦了,写一个bat文件一键启动
spring boot开发,jar包一个一个来启动太麻烦了,写一个bat文件一键启动 @echo offcd D:\workProject\bushustart cmd /c "title ...