oozie的简易安装
1. 解压 tar -zxvf oozie-4.0.0-cdh5.3.6.tar.gz
2.配置hadoop的集群,添加一个代理用户(给oozie运行mapreduce的权限)
在hadoop的core-site.xml配置文件中添加 (要在hadoop启动之前添加) root 可以改成 当前操作系统的用户 eg:beifeng
<!-- OOZIE 添加代理-->
<property>
<!-- OOZIE 的启动用户-->
<name>hadoop.proxyuser.root.hosts</name>
<!-- OOZIE 所在的主机-->
<value>hadoop</value>
</property>
<property>
<!-- OOZIE 用户的组-->
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
配置 oozie 的配置文件 oozie-site.xml
3.解压 oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz
多了一个文件
jar包存放位置 /opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6
4:拷贝jar至 libxt目录下
5:把ext.zip拷贝到刚创建的libxt目录下
6:运行oozie-setup.sh脚本的所有组件配置Oozie添加到libext /目录。
语法:
$ bin/oozie-setup.sh prepare-war [-d directory] [-secure]
sharelib create -fs <FS_URI> [-locallib <PATH>]
sharelib upgrade -fs <FS_URI> [-locallib <PATH>]
db create|upgrade|postupgrad -run [-sqlfile <FILE>]
将jar包导成war包
1 bin/oozie-setup.sh prepare-war -d /opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/libxt
7:启动hadoop 创建一个hdfs目录oozie共享包 /user/root/share/lib/lib_20171214123146
bin/oozie-setup.sh sharelib create -fs hdfs://hadoop -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz
(ps:如果已经存在直接使用upgrade更新最新的lib bin/oozie-setup.sh sharelib upgrade -fs hdfs://hadoop -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz)
8:创建数据库
bin/ooziedb.sh create -sqlfile oozie.sql -run DB Connection
9:启动oozie
*在控制台启动
bin/oozied.sh run
*在后台启动
bin/oozied.sh start | stop
多了一个
10:oozie的日志目录
more /opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/logs/oozie.log
补充一下 more的用法
11:访问 web端 http://hadoop:11000/oozie/
12:运行 example application
1) 解压
oozie-examples.tar.gz
tar -zxf oozie-examples.tar.gz
2) 上传examples至hdfs用户主目录下
/opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/bin/hadoop dfs -put examples examples
注意:这里本地的/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/examples/apps/*里面的文件发生变化不用同步到hdfs的文件中
3) 修改job.properties
oozie-4.0.0-cdh5.3.6/examples/apps/map-reduce/job.properties
#jobTracker=hadoop:8032 yrc是resourcemanager的ha cluster-id
jobTracker=yrc
# 队列 yarn的资源是按队列分配的
queueName=default
examplesRoot=examples #定义一个workflow工作流的路径,一个路径下只能有一个workflow.xml
oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/map-reduce/workflow.xml
outputDir=map-reduce
4)运行job
###方法一 直接使用-oozie http://localhost:11000/oozie
bin/oozie job -oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.properties -run
###方法二 配置环境变量
export OOZIE_URL=http://localhost:11000/oozie
bin/oozie job -config examples/apps/map-reduce/job.properties -run
出现两个任务的原因是 oozie本身就是一个MapReduce 它又运行了一个MapReduce程序所以会有两个任务
也可以在命令行查看结果
bin/oozie job --oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.properties -info 0000000-170205191208965-oozie-chk-W
这个博客里面详细的介绍了 oozie运行时的一些错误场景以及解决方案
http://blog.csdn.net/wiborgite/article/details/78585689
(4)oozie本身是一个MapReduce程序,仅仅只有Map Task。
针对不同类型的任务,workflow,模板
(5)workflow action nodes
*actions可以计算处理,运行在框架(远程)
*actions是异步的
*actions有两个状态:要么成功(ok)要么失败(error)
*actions可以自动恢复
(6)如何定义一个WorkFlow
* job.properties
关键点:指向workflow.xml文件所在的HDFS位置
* workflow.xml
定义文件
XML文件
包含几点
* start
* action
MapReduce、Hive、Sqoop、Shell
* ok
* error
* kill
* end
* lib 目录
依赖的jar包
workflow.xml编写:
* 流程控制节点
* Action节点
注意:节点名称必需复合 [a-zA-Z][\-_a-zA-Z0-0]* ,最大20个字符
oozie的简易安装的更多相关文章
- VMware Tools的简易安装---解决Ubuntu 14.10不能满屏显示问题
由于使用的VMware WorkStation是中文破解版,安装时又是简易安装,因此VMware Tools并没有安装上,导致Ubuntu 14.10在VMware中装上之后,并不能满屏显示,如图1所 ...
- LAMP简易安装
看,老鸟绕道–LAMP简易安装 导读 LAMP是企业中最常用的服务,也是非常稳定的网站架构平台.其中L-指的是Linux,A-指的是Apache,m-指的是mysql或者marriDB,p-php.相 ...
- 简易安装python统计包
PythonCharm简易安装python统计包及 本文介绍使用pythonCharm IDE 来安装Python统计包或一些packages的简单过程,基本无任何技术难度,顺便提一提笔者在安装过程中 ...
- HBase介绍及简易安装(转)
HBase介绍及简易安装(转) HBase简介 HBase是Apache Hadoop的数据库,能够对大型数据提供随机.实时的读写访问,是Google的BigTable的开源实现.HBase的目标是存 ...
- VMware 非简易安装centos6(静态ip配置)
1.选择新建虚拟机 在弹出框中我选择推荐安装 然后点击下一步 2.选择稍后安装操作系统(不然会默认简易安装) 接着一直下一步就可以了,最后到这个页面 4.如下图选择事先下载好的安装文件 5.配置桥接模 ...
- centos中简易安装docker
centos中简易安装docker准备环境要求:请确保自己的centos的内核版本大于3.10,使用如下linux命令: uname -r1显示如下类似信息: 3.10.0-862.3.3.el7.x ...
- Django简易安装
Django简易安装 1,下载 https://www.djangoproject.com/download/ 2, 拷贝至python同级目录 python setup.py install 3,在 ...
- Oracle client客户端简易安装网上文档一
Oracle client客户端简易安装网上文档一-------------------------------------------------------------------------一. ...
- AngularJS的开发工具---yeoman 简易安装
AngularJS 不错,yeoman作为推荐开发工具,网上的安装步骤较烦,这里给出简易步骤. 1.安装 Ruby 自己到 Ruby 官方下载最新安装包: http://rubyinstall ...
随机推荐
- 0302借软件工程触IT
没有不想学好的学生,也没有选择计算机软件专业后不想过能进军IT的行业的.就对于自己情况来说,大学选择计算机商业软件专业学习也有一年多时间了,未接触专业知识前IT是一个高大上的向往,在初学C语 ...
- 性能测试工具Loadrunner使用经验小结(原创更新版)
1. 引言 1.1. 简介 loadrunner是一种预测系统行为和性能的负载测试工具,它可以轻松创建虚拟用户.创建真实的负载.定位性能问题.重复测试保证系统的高性能 globa-100的注册码:AE ...
- 【linux使用】bash shell命令行常用快捷键
移动: Ctrl + A: 移动到当前编辑的命令行首, Ctrl + E: 移动到当前编辑的命令行尾, Ctrl + F 或 ->:按字符右移(往命令行尾部方向,前移) Ctrl + B 或 & ...
- Idea报错Command line is too long
需要在该项目文件夹下.idea/workspace.xml中添加 <component name="PropertiesComponent"> ... <prop ...
- 51nod 1677 treecnt(思维)
题意: 给定一棵n个节点的树,从1到n标号.选择k个点,你需要选择一些边使得这k个点通过选择的边联通,目标是使得选择的边数最少. 现需要计算对于所有选择k个点的情况最小选择边数的总和为多少. 考虑每条 ...
- 【二】shiro入门 之 身份验证
大体步骤如下: 1.首先通过new IniSecurityManagerFactory 并指定一个ini 配置文件来创建一个SecurityManager工厂: 2.接着获取SecurityManag ...
- P1039 侦探推理
题目描述 明明同学最近迷上了侦探漫画<柯南>并沉醉于推理游戏之中,于是他召集了一群同学玩推理游戏.游戏的内容是这样的,明明的同学们先商量好由其中的一个人充当罪犯(在明明不知情的情况下),明 ...
- Cornfields POJ - 2019(二维RMQ板题)
就是求子矩阵中最大值与最小值的差... 板子都套不对的人.... #include <iostream> #include <cstdio> #include <sstr ...
- 基于ORM实现用户登录
1. 与数据库中的数据进行比较,检验用户名和密码是否正确. 2. 拿到的是QuerySet类型,类似于一个列表.验证成功/失败,返回到不同的页面. u = request.POST.get('user ...
- WIN7 右下角音量图标不见了
1.呼叫出 任务管理器,结束掉 explorer.exe 进程 2.新建任务,浏览,找到 C:/windows/system32/systray.exe,确定加载 3.新建任务,输入explorer ...