1. 解压  tar -zxvf oozie-4.0.0-cdh5.3.6.tar.gz

2.配置hadoop的集群,添加一个代理用户(给oozie运行mapreduce的权限)

在hadoop的core-site.xml配置文件中添加 (要在hadoop启动之前添加)    root  可以改成 当前操作系统的用户  eg:beifeng

     <!-- OOZIE 添加代理-->
<property>
<!-- OOZIE 的启动用户-->
<name>hadoop.proxyuser.root.hosts</name>
<!-- OOZIE 所在的主机-->
<value>hadoop</value>
</property>
<property>
<!-- OOZIE 用户的组-->
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>

配置 oozie 的配置文件  oozie-site.xml

3.解压   oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz

多了一个文件

jar包存放位置 /opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6

4:拷贝jar至 libxt目录下

5:把ext.zip拷贝到刚创建的libxt目录下

6:运行oozie-setup.sh脚本的所有组件配置Oozie添加到libext /目录。

语法:

 $ bin/oozie-setup.sh prepare-war [-d directory] [-secure]
sharelib create -fs <FS_URI> [-locallib <PATH>]
sharelib upgrade -fs <FS_URI> [-locallib <PATH>]
db create|upgrade|postupgrad -run [-sqlfile <FILE>]

将jar包导成war包

1 bin/oozie-setup.sh prepare-war -d /opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/libxt

7:启动hadoop  创建一个hdfs目录oozie共享包  /user/root/share/lib/lib_20171214123146

 bin/oozie-setup.sh sharelib create -fs hdfs://hadoop -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz

(ps:如果已经存在直接使用upgrade更新最新的lib    bin/oozie-setup.sh sharelib upgrade -fs hdfs://hadoop -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz

8:创建数据库

 bin/ooziedb.sh create -sqlfile oozie.sql -run DB Connection

9:启动oozie

 *在控制台启动
bin/oozied.sh run
*在后台启动
bin/oozied.sh start | stop

多了一个

10:oozie的日志目录

 more /opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/logs/oozie.log

补充一下 more的用法

11:访问 web端   http://hadoop:11000/oozie/

12:运行 example application

1) 解压

oozie-examples.tar.gz
 tar -zxf oozie-examples.tar.gz

2) 上传examples至hdfs用户主目录下

  /opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/bin/hadoop dfs -put examples examples

注意:这里本地的/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/examples/apps/*里面的文件发生变化不用同步到hdfs的文件中

3)  修改job.properties

oozie-4.0.0-cdh5.3.6/examples/apps/map-reduce/job.properties

 #jobTracker=hadoop:8032 yrc是resourcemanager的ha cluster-id
jobTracker=yrc
# 队列 yarn的资源是按队列分配的
queueName=default
examplesRoot=examples #定义一个workflow工作流的路径,一个路径下只能有一个workflow.xml
oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/map-reduce/workflow.xml
outputDir=map-reduce

4)运行job
###方法一 直接使用-oozie http://localhost:11000/oozie

 bin/oozie job -oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.properties -run

###方法二 配置环境变量

 export OOZIE_URL=http://localhost:11000/oozie
bin/oozie job -config examples/apps/map-reduce/job.properties -run

出现两个任务的原因是 oozie本身就是一个MapReduce 它又运行了一个MapReduce程序所以会有两个任务

也可以在命令行查看结果

 bin/oozie job --oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.properties -info 0000000-170205191208965-oozie-chk-W

这个博客里面详细的介绍了 oozie运行时的一些错误场景以及解决方案

  http://blog.csdn.net/wiborgite/article/details/78585689

(4)oozie本身是一个MapReduce程序,仅仅只有Map Task。
          针对不同类型的任务,workflow,模板
(5)workflow action nodes
          *actions可以计算处理,运行在框架(远程)
          *actions是异步的
          *actions有两个状态:要么成功(ok)要么失败(error)
          *actions可以自动恢复
(6)如何定义一个WorkFlow

* job.properties
                关键点:指向workflow.xml文件所在的HDFS位置
         * workflow.xml
               定义文件
               XML文件
                  包含几点
                        * start
                        * action
                              MapReduce、Hive、Sqoop、Shell
                             * ok
                             * error
                       * kill
                      * end
        * lib 目录
              依赖的jar包

workflow.xml编写:
       * 流程控制节点
      * Action节点
   注意:节点名称必需复合 [a-zA-Z][\-_a-zA-Z0-0]* ,最大20个字符

oozie的简易安装的更多相关文章

  1. VMware Tools的简易安装---解决Ubuntu 14.10不能满屏显示问题

    由于使用的VMware WorkStation是中文破解版,安装时又是简易安装,因此VMware Tools并没有安装上,导致Ubuntu 14.10在VMware中装上之后,并不能满屏显示,如图1所 ...

  2. LAMP简易安装

    看,老鸟绕道–LAMP简易安装 导读 LAMP是企业中最常用的服务,也是非常稳定的网站架构平台.其中L-指的是Linux,A-指的是Apache,m-指的是mysql或者marriDB,p-php.相 ...

  3. 简易安装python统计包

    PythonCharm简易安装python统计包及 本文介绍使用pythonCharm IDE 来安装Python统计包或一些packages的简单过程,基本无任何技术难度,顺便提一提笔者在安装过程中 ...

  4. HBase介绍及简易安装(转)

    HBase介绍及简易安装(转) HBase简介 HBase是Apache Hadoop的数据库,能够对大型数据提供随机.实时的读写访问,是Google的BigTable的开源实现.HBase的目标是存 ...

  5. VMware 非简易安装centos6(静态ip配置)

    1.选择新建虚拟机 在弹出框中我选择推荐安装 然后点击下一步 2.选择稍后安装操作系统(不然会默认简易安装) 接着一直下一步就可以了,最后到这个页面 4.如下图选择事先下载好的安装文件 5.配置桥接模 ...

  6. centos中简易安装docker

    centos中简易安装docker准备环境要求:请确保自己的centos的内核版本大于3.10,使用如下linux命令: uname -r1显示如下类似信息: 3.10.0-862.3.3.el7.x ...

  7. Django简易安装

    Django简易安装 1,下载 https://www.djangoproject.com/download/ 2, 拷贝至python同级目录 python setup.py install 3,在 ...

  8. Oracle client客户端简易安装网上文档一

    Oracle client客户端简易安装网上文档一-------------------------------------------------------------------------一. ...

  9. AngularJS的开发工具---yeoman 简易安装

    AngularJS 不错,yeoman作为推荐开发工具,网上的安装步骤较烦,这里给出简易步骤. 1.安装 Ruby     自己到 Ruby 官方下载最新安装包: http://rubyinstall ...

随机推荐

  1. 0302借软件工程触IT

         没有不想学好的学生,也没有选择计算机软件专业后不想过能进军IT的行业的.就对于自己情况来说,大学选择计算机商业软件专业学习也有一年多时间了,未接触专业知识前IT是一个高大上的向往,在初学C语 ...

  2. 性能测试工具Loadrunner使用经验小结(原创更新版)

    1. 引言 1.1. 简介 loadrunner是一种预测系统行为和性能的负载测试工具,它可以轻松创建虚拟用户.创建真实的负载.定位性能问题.重复测试保证系统的高性能 globa-100的注册码:AE ...

  3. 【linux使用】bash shell命令行常用快捷键

    移动: Ctrl + A: 移动到当前编辑的命令行首, Ctrl + E: 移动到当前编辑的命令行尾, Ctrl + F 或 ->:按字符右移(往命令行尾部方向,前移) Ctrl + B 或 & ...

  4. Idea报错Command line is too long

    需要在该项目文件夹下.idea/workspace.xml中添加 <component name="PropertiesComponent"> ... <prop ...

  5. 51nod 1677 treecnt(思维)

    题意: 给定一棵n个节点的树,从1到n标号.选择k个点,你需要选择一些边使得这k个点通过选择的边联通,目标是使得选择的边数最少. 现需要计算对于所有选择k个点的情况最小选择边数的总和为多少. 考虑每条 ...

  6. 【二】shiro入门 之 身份验证

    大体步骤如下: 1.首先通过new IniSecurityManagerFactory 并指定一个ini 配置文件来创建一个SecurityManager工厂: 2.接着获取SecurityManag ...

  7. P1039 侦探推理

    题目描述 明明同学最近迷上了侦探漫画<柯南>并沉醉于推理游戏之中,于是他召集了一群同学玩推理游戏.游戏的内容是这样的,明明的同学们先商量好由其中的一个人充当罪犯(在明明不知情的情况下),明 ...

  8. Cornfields POJ - 2019(二维RMQ板题)

    就是求子矩阵中最大值与最小值的差... 板子都套不对的人.... #include <iostream> #include <cstdio> #include <sstr ...

  9. 基于ORM实现用户登录

    1. 与数据库中的数据进行比较,检验用户名和密码是否正确. 2. 拿到的是QuerySet类型,类似于一个列表.验证成功/失败,返回到不同的页面. u = request.POST.get('user ...

  10. WIN7 右下角音量图标不见了

    1.呼叫出  任务管理器,结束掉 explorer.exe 进程 2.新建任务,浏览,找到 C:/windows/system32/systray.exe,确定加载 3.新建任务,输入explorer ...