• 需求

    执行shell脚本 → 执行MR程序 → 执行hive程序

  • 1.准备工作目录
    cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie_works
    
mkdir -p sereval-actions
  • 2.准备调度文件
    cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie_works
    
cp hive2/script.q sereval-actions/
    
cp shell/hello.sh sereval-actions/
    
cp -ra map-reduce/lib sereval-actions/
  • 3.开发调度的配置文件
    cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie_works/sereval-actions
    
vim workflow.xml
    

    <workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">
    
<start to="shell-node"/>
    
<action name="shell-node">
    
    <shell xmlns="uri:oozie:shell-action:0.2">
    
        <job-tracker>${jobTracker}</job-tracker>
    
        <name-node>${nameNode}</name-node>
    
        <configuration>
    
            <property>
    
                <name>mapred.job.queue.name</name>
    
                <value>${queueName}</value>
    
            </property>
    
        </configuration>
    
        <exec>${EXEC}</exec>
    
        <!-- <argument>my_output=Hello Oozie</argument> -->
    
        <file>/user/root/oozie_works/sereval-actions/${EXEC}#${EXEC}</file>

        <capture-output/>
    
    </shell>
    
    <ok to="mr-node"/>
    
    <error to="mr-node"/>
    
</action>

<action name="mr-node">
    
        <map-reduce>
    
            <job-tracker>${jobTracker}</job-tracker>
    
            <name-node>${nameNode}</name-node>
    
            <prepare>
    
                <delete path="${nameNode}/${outputDir}"/>
    
            </prepare>
    
            <configuration>
    
                <property>
    
                    <name>mapred.job.queue.name</name>
    
                    <value>${queueName}</value>
    
                </property>
    
				<!--
    
                <property>
    
                    <name>mapred.mapper.class</name>
    
                    <value>org.apache.oozie.example.SampleMapper</value>
    
                </property>
    
                <property>
    
                    <name>mapred.reducer.class</name>
    
                    <value>org.apache.oozie.example.SampleReducer</value>
    
                </property>
    
                <property>
    
                    <name>mapred.map.tasks</name>
    
                    <value>1</value>
    
                </property>
    
                <property>
    
                    <name>mapred.input.dir</name>
    
                    <value>/user/${wf:user()}/${examplesRoot}/input-data/text</value>
    
                </property>
    
                <property>
    
                    <name>mapred.output.dir</name>
    
                    <value>/user/${wf:user()}/${examplesRoot}/output-data/${outputDir}</value>
    
                </property>
    
				-->

				   <!-- 开启使用新的API来进行配置 -->
    
                <property>
    
                    <name>mapred.mapper.new-api</name>
    
                    <value>true</value>
    
                </property>

                <property>
    
                    <name>mapred.reducer.new-api</name>
    
                    <value>true</value>
    
                </property>

                <!-- 指定MR的输出key的类型 -->
    
                <property>
    
                    <name>mapreduce.job.output.key.class</name>
    
                    <value>org.apache.hadoop.io.Text</value>
    
                </property>

                <!-- 指定MR的输出的value的类型-->
    
                <property>
    
                    <name>mapreduce.job.output.value.class</name>
    
                    <value>org.apache.hadoop.io.IntWritable</value>
    
                </property>

                <!-- 指定输入路径 -->
    
                <property>
    
                    <name>mapred.input.dir</name>
    
                    <value>${nameNode}/${inputdir}</value>
    
                </property>

                <!-- 指定输出路径 -->
    
                <property>
    
                    <name>mapred.output.dir</name>
    
                    <value>${nameNode}/${outputDir}</value>
    
                </property>

                <!-- 指定执行的map类 -->
    
                <property>
    
                    <name>mapreduce.job.map.class</name>
    
                    <value>org.apache.hadoop.examples.WordCount$TokenizerMapper</value>
    
                </property>

                <!-- 指定执行的reduce类 -->
    
                <property>
    
                    <name>mapreduce.job.reduce.class</name>
    
                    <value>org.apache.hadoop.examples.WordCount$IntSumReducer</value>
    
                </property>
    
				<!--  配置map task的个数 -->
    
                <property>
    
                    <name>mapred.map.tasks</name>
    
                    <value>1</value>
    
                </property>

            </configuration>
    
        </map-reduce>
    
        <ok to="hive2-node"/>
    
        <error to="fail"/>
    
    </action>

 <action name="hive2-node">
    
        <hive2 xmlns="uri:oozie:hive2-action:0.1">
    
            <job-tracker>${jobTracker}</job-tracker>
    
            <name-node>${nameNode}</name-node>
    
            <prepare>
    
                <delete path="${nameNode}/user/${wf:user()}/${examplesRoot}/output-data/hive2"/>
    
                <mkdir path="${nameNode}/user/${wf:user()}/${examplesRoot}/output-data"/>
    
            </prepare>
    
            <configuration>
    
                <property>
    
                    <name>mapred.job.queue.name</name>
    
                    <value>${queueName}</value>
    
                </property>
    
            </configuration>
    
            <jdbc-url>${jdbcURL}</jdbc-url>
    
            <script>script.q</script>
    
            <param>INPUT=/user/${wf:user()}/${examplesRoot}/input-data/table</param>
    
            <param>OUTPUT=/user/${wf:user()}/${examplesRoot}/output-data/hive2</param>
    
        </hive2>
    
        <ok to="end"/>
    
        <error to="fail"/>
    
    </action>
    
<decision name="check-output">
    
    <switch>
    
        <case to="end">
    
            ${wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'}
    
        </case>
    
        <default to="fail-output"/>
    
    </switch>
    
</decision>
    
<kill name="fail">
    
    <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    
</kill>
    
<kill name="fail-output">
    
    <message>Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]</message>
    
</kill>
    
<end name="end"/>
    
</workflow-app>

    开发job.properties配置文件

    cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie_works/sereval-actions
    
vim  job.properties
    

    nameNode=hdfs://node01:8020
    
jobTracker=node01:8032
    
queueName=default
    
examplesRoot=oozie_works
    
EXEC=hello.sh
    
outputDir=/oozie/output
    
inputdir=/oozie/input
    
jdbcURL=jdbc:hive2://node03:10000/default
    
oozie.use.system.libpath=true
    
# 配置我们文件上传到hdfs的保存路径 实际上就是在hdfs 的/user/root/oozie_works/sereval-actions这个路径下
    
oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/sereval-actions/workflow.xml
  • 4.上传资源文件夹到hdfs对应路径
    cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie_works/
    
hdfs dfs -put sereval-actions/ /user/root/oozie_works/
  • 5.执行调度任务
    cd /export/servers/oozie-4.1.0-cdh5.14.0/
    
bin/oozie job -oozie http://node03:11000/oozie -config oozie_works/serveral-actions/job.properties -run

【Hadoop离线基础总结】oozie任务串联的更多相关文章

  1. 【Hadoop离线基础总结】oozie的安装部署与使用

    目录 简单介绍 概述 架构 安装部署 1.修改core-site.xml 2.上传oozie的安装包并解压 3.解压hadooplibs到与oozie平行的目录 4.创建libext目录,并拷贝依赖包 ...

  2. 【Hadoop离线基础总结】Hue的简单介绍和安装部署

    目录 Hue的简单介绍 概述 核心功能 安装部署 下载Hue的压缩包并上传到linux解压 编译安装启动 启动Hue进程 hue与其他框架的集成 Hue与Hadoop集成 Hue与Hive集成 Hue ...

  3. 【Hadoop离线基础总结】impala简单介绍及安装部署

    目录 impala的简单介绍 概述 优点 缺点 impala和Hive的关系 impala如何和CDH一起工作 impala的架构及查询计划 impala/hive/spark 对比 impala的安 ...

  4. 【Hadoop离线基础总结】流量日志分析网站整体架构模块开发

    目录 数据仓库设计 维度建模概述 维度建模的三种模式 本项目中数据仓库的设计 ETL开发 创建ODS层数据表 导入ODS层数据 生成ODS层明细宽表 统计分析开发 流量分析 受访分析 访客visit分 ...

  5. 【Hadoop离线基础总结】Sqoop常用命令及参数

    目录 常用命令 常用公用参数 公用参数:数据库连接 公用参数:import 公用参数:export 公用参数:hive 常用命令&参数 从关系表导入--import 导出到关系表--expor ...

  6. 【Hadoop离线基础总结】Hive调优手段

    Hive调优手段 最常用的调优手段 Fetch抓取 MapJoin 分区裁剪 列裁剪 控制map个数以及reduce个数 JVM重用 数据压缩 Fetch的抓取 出现原因 Hive中对某些情况的查询不 ...

  7. 【Hadoop离线基础总结】Hue与oozie集成

    目录 1.停止oozie与hue的进程 2.修改oozie的配置文件 3.修改hue的配置文件 4.启动hue与oozie的进程 5.页面访问hue 1.停止oozie与hue的进程 bin/oozi ...

  8. 【Hadoop离线基础总结】oozie调度MapReduce任务

    目录 1.准备MR执行的数据 2.执行官方测试案例 3.准备我们调度的资源 4.修改配置文件 5.上传调度任务到hdfs对应目录 6.执行调度任务 1.准备MR执行的数据 MR的程序可以是自己写的,也 ...

  9. 【Hadoop离线基础总结】oozie调度shell脚本

    目录 1.解压官方提供的调度案例 2.创建工作目录 3.拷贝任务模板到工作目录当中去 4.随意准备一个shell脚本 5.修改模板下的配置文件 6.上传调度任务到hdfs上面去 7.执行调度任务 1. ...

随机推荐

  1. Maven+JSP+Servlet+JDBC+Redis+Mysql实现的黑马旅游网

    项目简介 项目来源于:https://gitee.com/haoshunyu/travel 本系统是基于Maven+JSP+Servlet+JdbcTemplate+Redis+Mysql实现的旅游网 ...

  2. python 利用numpy同时打乱列表的顺序，同时打乱数据和标签的顺序

    可用于网络训练打乱训练数据个标签,不改变对应关系 方法一: np.random.shuffle (无返回值,直接打乱原列表) state = np.random.get_state() np.rand ...

  3. PHP pcntl

    来源:https://www.jianshu.com/p/de0b74f58f50 pcntl是一个可以利用操作系统的fork系统调用在PHP中实现多线程的进程控制扩展,当使用fork系统调用后执行的 ...

  4. mac使用brew安装mysql5.7

    安装mysql5.7 brew install mysql@5.7 设置环境变量(可能安装完自动生成过了,可以cat ~/.zshrc看一下,有了就不用添加了 ) echo 'export PATH= ...

  5. ansible的基础概念与部署（一）

  6. 2019-2020-1 20199329《Linux内核原理与分析》第四周作业

    <Linux内核原理与分析>第四周作业 一.上周问题总结: 虚拟机环境缺少部分库文件 书本知识使用不够熟练 二.本周学习内容: 1.实验楼环境使用gdb跟踪调试内核 1.1 在该环境下输入 ...

  7. Windows 版本 Enterprise、Ultimate、Home、Professional

    关于Windows 的安装光盘版本很多种,很多人不知道选择哪些. Ultimate 旗舰版,VISTA开始有了这个级别,是最全最高级的,一般程序开发的电脑,玩游戏的电脑,建议用它,不过对配置稍有一些要 ...

  8. 理解分布式一致性:Paxos协议之Multi-Paxos

    理解分布式一致性:Paxos协议之Multi-Paxos Multi-Paxos without failures Multi-Paxos when phase 1 can be skipped Mu ...

  9. 怎么将swagger API导出为HTML或者PDF

    文章目录 将swagger API导出为HTML或者PDF 什么是Asciidoc swagger2markup-maven-plugin asciidoctor-maven-plugin 使用命令行 ...

  10. docker容器介绍

                       Docker容器 一.什么是Docker? Docker时Docker.Lnc公司开源的一个基于LXC技术之上搭建的Container容器引擎,源代码托管在Git ...