Oozie_03运行官方案例【20161116】
3.1官方的案例
(1)Oozie根目录下找到 oozie-examples.tar.gz
(2)解压tar -zxvf oozie-examples.tar.gz 生成example文件夹
[hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozie-examples.tar.gz
(3)拷贝(2)新生成的examples到HDFS的用户家目录下
[hadoop@hadoop01 hadoop-2.5.0-cdh5.3.6]$
bin/hdfs dfs -put /opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/examples examples
(4)查看examples里面内容
三个目录apps input-data src,三个目录主要功能及截图如下
apps:官方自带的workflow的案例,有hive mapreduce.....
input-data:输入的数据
src:源码包
(5)配置案例自带的mapreduce程序
查看其中一个mao-reduce案例,里面有五个文件:
job.properties:两个作用:指定workflow的地址 声明相关变量
nameNode=主机名
jobTracker 端口为8032(就是resourcemanger地址)
queueName队列名称不改
examplesRoot
ooize.wf.application.path=主机名/用户名/.. 指定了workflow的地址
原有内容
修改下面内容 修改了nameNode和jobTracker两处
lib 存放jar包 【不用修改】
workflow.xml :实际运行的workflow【运行该案例这个配置不用修改】
prepare标志作用对提前删除输出目录
.输出目录同输入目录同建立在/user/hadoop/examples下面(如下图)
configuration标志对
job-with-config-class.properties 【不修改】
workflow-with-config-class.xml 【不修改】
(6)修改oozie-site.xml
修改前内容
该属性修改为hadoop的配置文件
注意: *=不能删除
(7)重启oozie
[hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh stop
[hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh start
(8)再次提交
[hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop01:11000/oozie -config examples/apps/map-reduce/job.properties -run
命令行界面
Oozie图形界面
(9)总结
第一点:运行时指定的job.properties文件是本地的,不是hdfs上面的,不过建议修改完该properties文件最好重新上次,把整个包重新上传
第二点:运行一个workflow 启动了两个mapreduce
一个是oozie:launcher 用于对workflow进行封装(封装程序只有map任务)
一个是oozie:action 执行的mapreduce
利用8088端口查看
action:launcher只有map任务
Oozie_03运行官方案例【20161116】的更多相关文章
- caffe︱cifar-10数据集quick模型的官方案例
准备拿几个caffe官方案例用来练习,就看到了caffe中的官方案例有cifar-10数据集.于是练习了一下,在CPU情况下构建quick模型.主要参考博客:liumaolincycle的博客 配置: ...
- UE4的AI学习(2)——官方案例实例分析
官方给出的AI实例是实现一个跟随着玩家跑的AI,当玩家没有在AI视野里时,它会继续跑到最后看到玩家的地点,等待几秒后如果仍然看不到玩家,则跑回初始地点.官方的案例已经讲得比较详细,对于一些具体的函数调 ...
- Spring-boot官方案例分析之log4j
Spring-boot官方案例分析之log4j 运行单元测试分析: @RunWith(SpringJUnit4ClassRunner.class) @SpringApplicationConfigur ...
- hadoop 2.7.3本地环境运行官方wordcount-基于HDFS
接上篇<hadoop 2.7.3本地环境运行官方wordcount>.继续在本地模式下测试,本次使用hdfs. 2 本地模式使用fs计数wodcount 上面是直接使用的是linux的文件 ...
- hadoop 2.7.3本地环境运行官方wordcount
hadoop 2.7.3本地环境运行官方wordcount 基本环境: 系统:win7 虚机环境:virtualBox 虚机:centos 7 hadoop版本:2.7.3 本次先以独立模式(本地模式 ...
- 通过angularJS官方案例快速入门
官方案例-angular-phonecat angularJS官方提供了一个官方案例给大家进行循序渐进的学习,但是如果之前没有接触过node.js以及git的同学这个案例拿着也无从下手-这里就介绍一下 ...
- 老李推荐:第5章1节《MonkeyRunner源码剖析》Monkey原理分析-启动运行: 官方简介
老李推荐:第5章1节<MonkeyRunner源码剖析>Monkey原理分析-启动运行: 官方简介 在MonkeyRunner的框架中,Monkey是作为一个服务来接受来自Monkey ...
- hadoop一代集群运行代码案例
hadoop一代集群运行代码案例 集群 一个 master,两个slave,IP分别是192.168.1.2.192.168.1.3.192.168.1.4 hadoop版 ...
- Spring-boot官方案例分析之data-jpa
Spring-boot官方案例分析之data-jpa package sample.data.jpa; import org.junit.Before; import org.junit.Test; ...
随机推荐
- VS2010/MFC编程入门之十九(对话框:颜色对话框)
鸡啄米在上一节中为大家讲解了字体对话框的使用方法,熟悉了字体对话框,本节继续讲另一种通用对话框--颜色对话框. 颜色对话框大家肯定也不陌生,我们可以打开它选择需要的颜色,简单说,它的作用就是用来选择颜 ...
- DNS服务器配置实践
实验背景:在Linux系统上配置主要DNS服务器和辅助DNS服务器,所在域名为example.com,子网为192.168.X.0. 启动已安装LINUX系统,进行DNS服务器配置. 一.配置主要DN ...
- oracle extract 函数简介
oracle中extract()函数从oracle 9i中引入,用于从一个date或者interval类型中截取到特定的部分 //语法如下: EXTRACT ( { YEA ...
- HDU1059 二进制拆分优化多重背包
/*问你能不能将给出的资源平分成两半,那么我们就以一半为背包,运行多重背包模版 但是注意了,由于个数过大,直接运行会超时,所以要用二进制拆分每种的个数*/ #include<stdio.h> ...
- BZOJ2221: [Jsoi2009]面试的考验
传送门 一句话题意,给定一个序列,询问区间内差值的绝对值的最小值. 这道题之前见过一次,似乎是在一次UER上,那一道题当时是用了近似算法才能过. 数据保证数列随机. 这道题显然非常适合离线的做法,考虑 ...
- 图解Git命令【转】
本文转载自:https://github.com/geeeeeeeeek/git-recipes/wiki/4.1-%E5%9B%BE%E8%A7%A3Git%E5%91%BD%E4%BB%A4 此页 ...
- Asynchronous Programming Model (APM)异步编程模型
https://msdn.microsoft.com/zh-cn/library/ms228963(v=vs.110).aspx 一.概念 An asynchronous operation that ...
- 谷歌浏览器&360浏览器安装——有道云笔记插件
谷歌浏览器: 有道云笔记插件:http://hk.chromefor.com/down.php?key=FulQTdJ9In3iXfdVicFW(点击即下载) 在谷歌浏览器里按快捷键:Alt+E 接 ...
- shell fold限制文件行宽
将文本的行限制到特定的宽 这个用 echo 命令发送的文本用 -w 选项分解成块. 在这个例子中,我们设定了行宽为12个字符. 如果没有字符设置,默认是80. 增加的 -s 选项将让 fold 分解到 ...
- 前端引用公共html模块方案
最近临时一个负责公司官网的妹纸请假,于是临时接手了下官网的项目,官网都是静态页面,算是很简单的,但发现页面挺多,而每个页面总有部分是和其他页面一模一样的,比如页头.页尾等,这样就导致一个地方的修改要在 ...