oozie的简易安装
1. 解压 tar -zxvf oozie-4.0.0-cdh5.3.6.tar.gz
2.配置hadoop的集群,添加一个代理用户(给oozie运行mapreduce的权限)
在hadoop的core-site.xml配置文件中添加 (要在hadoop启动之前添加) root 可以改成 当前操作系统的用户 eg:beifeng
<!-- OOZIE 添加代理-->
<property>
<!-- OOZIE 的启动用户-->
<name>hadoop.proxyuser.root.hosts</name>
<!-- OOZIE 所在的主机-->
<value>hadoop</value>
</property>
<property>
<!-- OOZIE 用户的组-->
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
配置 oozie 的配置文件 oozie-site.xml
3.解压 oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz
多了一个文件
jar包存放位置 /opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6
4:拷贝jar至 libxt目录下
5:把ext.zip拷贝到刚创建的libxt目录下
6:运行oozie-setup.sh脚本的所有组件配置Oozie添加到libext /目录。
语法:
$ bin/oozie-setup.sh prepare-war [-d directory] [-secure]
sharelib create -fs <FS_URI> [-locallib <PATH>]
sharelib upgrade -fs <FS_URI> [-locallib <PATH>]
db create|upgrade|postupgrad -run [-sqlfile <FILE>]
将jar包导成war包
1 bin/oozie-setup.sh prepare-war -d /opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/libxt
7:启动hadoop 创建一个hdfs目录oozie共享包 /user/root/share/lib/lib_20171214123146
bin/oozie-setup.sh sharelib create -fs hdfs://hadoop -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz
(ps:如果已经存在直接使用upgrade更新最新的lib bin/oozie-setup.sh sharelib upgrade -fs hdfs://hadoop -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz)
8:创建数据库
bin/ooziedb.sh create -sqlfile oozie.sql -run DB Connection
9:启动oozie
*在控制台启动
bin/oozied.sh run
*在后台启动
bin/oozied.sh start | stop
多了一个
10:oozie的日志目录
more /opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/logs/oozie.log
补充一下 more的用法
11:访问 web端 http://hadoop:11000/oozie/
12:运行 example application
1) 解压
oozie-examples.tar.gz
tar -zxf oozie-examples.tar.gz
2) 上传examples至hdfs用户主目录下
/opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/bin/hadoop dfs -put examples examples
注意:这里本地的/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/examples/apps/*里面的文件发生变化不用同步到hdfs的文件中
3) 修改job.properties
oozie-4.0.0-cdh5.3.6/examples/apps/map-reduce/job.properties
#jobTracker=hadoop:8032 yrc是resourcemanager的ha cluster-id
jobTracker=yrc
# 队列 yarn的资源是按队列分配的
queueName=default
examplesRoot=examples #定义一个workflow工作流的路径,一个路径下只能有一个workflow.xml
oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/map-reduce/workflow.xml
outputDir=map-reduce
4)运行job
###方法一 直接使用-oozie http://localhost:11000/oozie
bin/oozie job -oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.properties -run
###方法二 配置环境变量
export OOZIE_URL=http://localhost:11000/oozie
bin/oozie job -config examples/apps/map-reduce/job.properties -run
出现两个任务的原因是 oozie本身就是一个MapReduce 它又运行了一个MapReduce程序所以会有两个任务
也可以在命令行查看结果
bin/oozie job --oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.properties -info 0000000-170205191208965-oozie-chk-W
这个博客里面详细的介绍了 oozie运行时的一些错误场景以及解决方案
http://blog.csdn.net/wiborgite/article/details/78585689
(4)oozie本身是一个MapReduce程序,仅仅只有Map Task。
针对不同类型的任务,workflow,模板
(5)workflow action nodes
*actions可以计算处理,运行在框架(远程)
*actions是异步的
*actions有两个状态:要么成功(ok)要么失败(error)
*actions可以自动恢复
(6)如何定义一个WorkFlow
* job.properties
关键点:指向workflow.xml文件所在的HDFS位置
* workflow.xml
定义文件
XML文件
包含几点
* start
* action
MapReduce、Hive、Sqoop、Shell
* ok
* error
* kill
* end
* lib 目录
依赖的jar包
workflow.xml编写:
* 流程控制节点
* Action节点
注意:节点名称必需复合 [a-zA-Z][\-_a-zA-Z0-0]* ,最大20个字符
oozie的简易安装的更多相关文章
- VMware Tools的简易安装---解决Ubuntu 14.10不能满屏显示问题
由于使用的VMware WorkStation是中文破解版,安装时又是简易安装,因此VMware Tools并没有安装上,导致Ubuntu 14.10在VMware中装上之后,并不能满屏显示,如图1所 ...
- LAMP简易安装
看,老鸟绕道–LAMP简易安装 导读 LAMP是企业中最常用的服务,也是非常稳定的网站架构平台.其中L-指的是Linux,A-指的是Apache,m-指的是mysql或者marriDB,p-php.相 ...
- 简易安装python统计包
PythonCharm简易安装python统计包及 本文介绍使用pythonCharm IDE 来安装Python统计包或一些packages的简单过程,基本无任何技术难度,顺便提一提笔者在安装过程中 ...
- HBase介绍及简易安装(转)
HBase介绍及简易安装(转) HBase简介 HBase是Apache Hadoop的数据库,能够对大型数据提供随机.实时的读写访问,是Google的BigTable的开源实现.HBase的目标是存 ...
- VMware 非简易安装centos6(静态ip配置)
1.选择新建虚拟机 在弹出框中我选择推荐安装 然后点击下一步 2.选择稍后安装操作系统(不然会默认简易安装) 接着一直下一步就可以了,最后到这个页面 4.如下图选择事先下载好的安装文件 5.配置桥接模 ...
- centos中简易安装docker
centos中简易安装docker准备环境要求:请确保自己的centos的内核版本大于3.10,使用如下linux命令: uname -r1显示如下类似信息: 3.10.0-862.3.3.el7.x ...
- Django简易安装
Django简易安装 1,下载 https://www.djangoproject.com/download/ 2, 拷贝至python同级目录 python setup.py install 3,在 ...
- Oracle client客户端简易安装网上文档一
Oracle client客户端简易安装网上文档一-------------------------------------------------------------------------一. ...
- AngularJS的开发工具---yeoman 简易安装
AngularJS 不错,yeoman作为推荐开发工具,网上的安装步骤较烦,这里给出简易步骤. 1.安装 Ruby 自己到 Ruby 官方下载最新安装包: http://rubyinstall ...
随机推荐
- 对scrum站立会议的理解
个人理解:首先我不明白scrum的含义,查了一下,scrum是迭代式增量软件开发过程,通常用于敏捷开发.scrum包括了一系列实践和预定义角色的过程骨架.scrum中的主要角色包括同项目经理类似的sc ...
- 新手必备!11个强大的 Visual Studio 调试技巧
简介 调试是软件开发周期中很重要的一部分.它具有挑战性,同时也很让人疑惑和烦恼.总的来说,对于稍大一点的程序,调试是不可避免的.最近几年,调试工具的发展让很多调试任务变的越来越简单和省时. 这篇文章总 ...
- IntelliJ IDEA 创建 hello world Java web Maven项目从头到尾都有图有真相2017版本
学Java的大部分吧都是要整Java web开发项目的,那么最好用的编辑器估计就是这个 IntelliJ IDEA,然后现在maven管理项目是很流行的.然后我就示范一下,如何使用这个IntelliJ ...
- CentOS 7 U盘安装问题解决
最近期待以久的CentOS 7正式版终于发布了,在家里无聊,所以就打算在我的小Y上安装一下,由于笔记本原来有安装Windows 7 操作系统,考虑使用的需求,所以决定安装双系统: 1. ...
- docker-py execute echo无效
错误写法: cli.execute('9b2606a50304','echo "bibo">/tmp/1.txt') 争取写法: cli.execute('9b2606a ...
- mysql 、慢查询、到底如何玩
在项目开发中,那些开发大佬经常会写出一些SQL语句,一条糟糕的SQL语句可能让你测试的整个程序都非常慢,超过10秒的话,我觉得一般用户就会选择关闭网页,如何优化SQL语句将那些运行时间 比较长的SQL ...
- BZOJ3566 SHOI2014概率充电器(动态规划+概率期望)
设f[i]为i在子树内不与充电点连通的概率.则f[i]=(1-pi)·∏(1-qk+qk·f[k]). 然后从父亲更新答案.则f[i]=f[i]·(1-qfa+qfa*f[fa]/(1-qfa+qfa ...
- 【BZOJ2115】Xor(线性基)
[BZOJ2115]Xor(线性基) 题面 BZOJ Description Input 第一行包含两个整数N和 M, 表示该无向图中点的数目与边的数目. 接下来M 行描述 M 条边,每行三个整数Si ...
- MSSQL代理工作服务器远程命令执行
概述 如果MSSQL数据库中开启了MSSQL Server Agent Job服务的话,攻击者将可以利用MSSQL Server中自带的功能来获取一个shell. SQL Server Agent S ...
- POJ.3468 A Simple Problem with Integers(线段树 区间更新 区间查询)
POJ.3468 A Simple Problem with Integers(线段树 区间更新 区间查询) 题意分析 注意一下懒惰标记,数据部分和更新时的数字都要是long long ,别的没什么大 ...