Oozie-1-安装、配置 让Hadoop流动起来
版权声明:本文为博主原创文章,未经博主同意不得转载。
https://blog.csdn.net/wl101yjx/article/details/27881739
写在前面一:
本文总结 基于Hadoop的工作流调度系统——Oozie
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvd2wxMDF5ang=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="" />
写在前面二:
使用软件说明:
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvd2wxMDF5ang=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="" />
约定全部软件的存放文件夹:/home/yujianxin
一、什么是Oozie
任务工作流。同一时候Oozie还是一个Java Web程序。执行在Java Servlet容器中,如Tomcat。
Direct Acyclic Graph)的模式部署执行.所以在Action的执行步骤上是有方向的,仅仅能上一个Action执行完毕后才干执行下一个Action。
JBPM的JPDL)来构造。
一旦Action完毕。远程服务器将回调Oozie的接口并通知Action已经完毕,这时Oozie又会以相同的方式执行工作流中的下一个Action。直到工作流中全部Action都完毕(完毕包括失败)。
.
安装Oozie Server
Oozie Server能够为我们提供非常多管理Job的便捷功能,比方。通过可视化界面去管理Job的执行状态。同一时候也支持我构建含有多个复杂Hadoop Job流程,各个Job之间的依赖关系全然能够通过一个工作流配置文件组装起来。然后由Oozie Server其管理执行。
2.1、安装Maven。參考http://blog.csdn.net/aaronhadoop/article/details/27834181
2.2、安装MySQL,參考http://blog.csdn.net/aaronhadoop/article/details/24748411
2.3、安装Tomcat。參考http://blog.csdn.net/aaronhadoop/article/details/24748057
2.3、安装Oozie
2.3.1、使用Maven构建oozie
<span style="font-family:SimSun;">cd /home/yujianxin/oozie
tar -zxvf oozie-3.3.2.tar.gz
cd /home/yujianxin/oozie/oozie-3.3.2
bin/mkdistro.sh -DskipTests</span>
构建后可在oozie-3.3.2/distro/target文件夹下看到构建后的文件,我的路径是:/home/yujianxin/Ooize/oozie-3.3.2/distro/target/oozie-3.3.2-distro/oozie-3.3.2。
约定此文件夹为Oozie的安装文件夹。
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvd2wxMDF5ang=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="" />
2.3.2、加入环境变量
2.3.3、在$OOZIE_HOME下创建文件夹libext。并将ext的包、MySQL的驱动包和hadoop相关的jar库文件复制到libext下面
<span style="font-family:SimSun;">cp /home/yujianxin/Oozie/ext-2.2.zip $OOZIE_HOME/libext/
cp /home/yujianxin/hive/hive-0.9.0/lib/mysql-connector-java-5.1.10.jar ./libext/
cp /home/yujianxin/hadoop/hadoop-1.1.2/hadoop-*.jar ./libext/
cp /home/yujianxin/hadoop/hadoop-1.1.2/lib/*.jar ./libext/
</span>
2.3.4、执行下面命令開始安装
<span style="font-family:SimSun;">cd $OOZIE_HOME
bin/oozie-setup.sh prepare-war</span>
生成$OOZie/oozie-server/webapps/oozie.war文件
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvd2wxMDF5ang=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="" />
2.3.5、配置Oozie
<span style="font-family:SimSun;">cd /home/yujianxin/Oozie/oozie-3.3.2/distro/target/oozie-3.3.2-distro/oozie-3.3.2/conf
vi oozie-site.xml
<property>
<name>oozie.service.JPAService.jdbc.driver</name>
<value>com.mysql.jdbc.Driver</value>
<description>
JDBC driver class.
</description>
</property>
<property>
<name>oozie.service.JPAService.jdbc.url</name>
<value>jdbc:mysql://222.22.91.68:3306/oozie</value>
<description>
JDBC URL.
</description>
</property>
<property>
<name>oozie.service.JPAService.jdbc.username</name>
<value>root</value>
<description>
DB user name.
</description>
</property>
<property>
<name>oozie.service.JPAService.jdbc.password</name>
<value>zutcs_root_68</value>
<description>
DB user password.
IMPORTANT: if password is emtpy leave a 1 space string, the service trims the value,
if empty Configuration assumes it is NULL.
</description>
</property></span>
默认情况下,Oozie的配置中有个配置项oozie.service.JPAService.create.db.schema,值为false,设置非自己主动创建数据库,我们保持默认设置,这样能够通过手动创建Oozie数据库,并对其进行权限控制。然后,我们在MySQL数据库中创建数据库,名称为oozie,并进行訪问授权:
CREATE DATABASE oozie;
GRANT ALL ON oozie.* TO 'shirdrn'@'oozie-server' IDENTIFIED BY '0o21e';
FLUSH PRIVILEGES;
然后能够执行例如以下命令。生成Oozie所须要的数据表:
bin/ooziedb.sh create -sqlfile oozie.sql -run
启动Oozie
cd $OOZIE_HOME
bin/oozied.sh start
查看图形化界面
http://slave3:11000/oozie
2.3.6、整合Oozie和Hadoop
<span style="font-family:SimSun;"><!-- OOZIE -->
<property>
<name>hadoop.proxyuser.root(username).hosts</name>
<value>192.168.131.133</value>
</property>
<property>
<name>hadoop.proxyuser.root(username).groups</name>
<value>root</value>
</property></span>
重新启动Hadoop集群。
安装Oozie Client
我们能够通过在外部的一个Oozie客户端去提交工作流任务,实际上就是一个客户端程序,通过与Oozie
Server进行交互。提交任务,并由Oozie Server去调用执行。
回到oozie-3.3.2.tar.gz解压缩的文件夹下。通过前面的构建,如今已经能够看到有一个client文件夹,该文件夹下就是Oozie的客户端相关文件。
含有Oozie客户端脚本的路径,我这里为/home/yujianxin/Oozie/oozie-3.3.2/client/target/oozie-client-3.3.2-client/oozie-client-3.3.2。
查看Oozie客户端执行job命令的帮助信息
<span style="font-family:SimSun;">cd /home/yujianxin/Oozie/oozie-3.3.2/client/target/oozie-client-3.3.2-client/oozie-client-3.3.2
bin/oozie help
bin/oozie help job</span>
我们能够找到。Oozie发行包中自带的examples。我这里相应的文件夹是/home/yujianxin/Oozie/oozie-3.3.2/examples/target/oozie-examples-3.3.2-examples/examples/apps,我们能够通过执行这些样例来验证安装是否成功。执行下面命令
<span style="font-family:SimSun;">hadoop fs -put /home/yujianxin/Oozie/oozie-3.3.2/examples/target/oozie-examples-3.3.2-examples/ /Oozie/child1/examples</span>
我们拿examples中的map-reduce来进行验证,改动job.properties文件,配置内容例如以下所看到的:
<span style="font-family:SimSun;">cd /home/yujianxin/Oozie/oozie-3.3.2/examples/target/oozie-examples-3.3.2-examples/examples/apps/map-reduce
改动job.properties
nameNode=hdfs://slave3:9000
jobTracker=slave3:9001
queueName=default
examplesRoot=examples
oozie.wf.application.path=${nameNode}/Oozie/child1/examples/oozie-examples-3.3.2-examples/examples/apps/map-reduce
outputDir=map-reduce_yjx</span>
执行任务
<span style="font-family:SimSun;">cd /home/yujianxin/Oozie/oozie-3.3.2/client/target/oozie-client-3.3.2-client/oozie-client-3.3.2
</span>
通过OozieWeb管理控制台查看提交执行的任务
点击详细某个job
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvd2wxMDF5ang=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="" />
查看作业执行的拓扑图
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvd2wxMDF5ang=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="" />
此处仅仅是实现了Oozie的安装、配置及測试了官方自带的程序。在项目中的实际应用欢迎qq(1152596901)交流
Oozie-1-安装、配置 让Hadoop流动起来的更多相关文章
- 【Oozie】安装配置Oozie
安装和配置Oozie Oozie用于Hadoop的工作流配置: 参考链接: <Install and Configure Apache Oozie Workflow Scheduler for ...
- Ubuntu15.10下Hadoop2.6.0伪分布式环境安装配置及Hadoop Streaming的体验
Ubuntu用的是Ubuntu15.10Beta2版本,正式的版本好像要到这个月的22号才发布.参考的资料主要是http://www.powerxing.com/install-hadoop-clus ...
- Hadoop单机安装配置过程:
1. 首先安装JDK,必须是sun公司的jdk,最好1.6版本以上. 最后java –version 查看成功与否. 注意配置/etc/profile文件,在其后面加上下面几句: export JAV ...
- Hadoop集群搭建-05安装配置YARN
Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 先保证集群5台虚 ...
- Hadoop集群搭建-04安装配置HDFS
Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hado ...
- Hadoop集群搭建-02安装配置Zookeeper
Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hado ...
- 【Hadoop离线基础总结】oozie的安装部署与使用
目录 简单介绍 概述 架构 安装部署 1.修改core-site.xml 2.上传oozie的安装包并解压 3.解压hadooplibs到与oozie平行的目录 4.创建libext目录,并拷贝依赖包 ...
- Hadoop的学习--安装配置与使用
安装配置 系统:Ubuntu14.04 java:1.7.0_75 相关资料 官网 下载地址 官网文档 安装 我们需要关闭掉防火墙,命令如下: sudo ufw disable 下载2.6.5的版本, ...
- CentOS 7 Hadoop安装配置
前言:我使用了两台计算机进行集群的配置,如果是单机的话可能会出现部分问题.首先设置两台计算机的主机名 root 权限打开/etc/host文件 再设置hostname,root权限打开/etc/hos ...
随机推荐
- WPF 自动验证
WPF中TextBox的自动验证: 演示 : 用以下两个TextBox分别显示验证IP和非空值验证,先看效果: IP自动验证效果: 非空值自动验证效果: 第一步:定义TextBox验证的样式: < ...
- 在delphi中,如何把十进制数转换为十六进制整形数。若用inttohex只能转化为十六进制字符串。
var b: Byte; s: string;begin s := '31'; //16进制字符串 b := StrToInt('$' + s);end; 不过要注意一点,如果在程序调试时想看b的值, ...
- android 布局中 layout_gravity、gravity、orientation、layout_weight
线性布局中,有 4 个及其重要的参数,直接决定元素的布局和位置,这四个参数是 android:layout_gravity ( 是本元素相对于父元素的重力方向 ) android:gravity (是 ...
- (译)关于使用Eclipse Memory Analyzer的10点小技巧
作者 Rave_Tian 2016.02.01 17:56* 字数 2988 阅读 520评论 0喜欢 0 分析和理解应用的内存使用情况是开发过程中一项不小的挑战.一个微小的逻辑错误可能会导致监听器没 ...
- PHP使用frameset制作后台界面时,怎样实现通过操作左边框架,使右边框架中的页面跳转?
左框架的链接,不仅要指定链接的文件名,还需要通过 target 属性指定要打开的目标框架名(即楼主要求的右框架名). 例:假设右框架为 <frame scr="lx1.htm" ...
- nginx的优点
Linux.MySQL.PHP这些框架的优点之前已经介绍过,LNMP和LAMP不同的一点就是Web服务器Nginx,那么Nginx相比Apache有什么优点呢? Nginx是一个小巧而高效的Linux ...
- javascript的window.open()具体解释
通过button打开一个新窗体.并在新窗体的状态栏中显示当前年份. 1)在主窗体中应用下面代码加入一个用于打开一个新窗体的button: <body> <script type=&q ...
- 自定义序列化技术3 (.net 序列化技术) C++ 调用C# DLL
打开SerializableAttribute利用里面的函数进行编辑. // sparse.cpp : 定义控制台应用程序的入口点. // #include "stdafx.h" ...
- Ubuntu下载、zsync、安装、常见问题
下载-镜像地址 http://mirrors.ustc.edu.cn/ubuntu-releases/ http://mirrors.163.com/ubuntu-releases/ Ubuntu 更 ...
- python中给程序加锁之fcntl模块的使用
python 中给文件加锁——fcntl模块import fcntl 打开一个文件##当前目录下test文件要先存在,如果不存在会报错.或者以写的方式打开f = open('./test')对该文件加 ...