• 需求

    执行shell脚本 → 执行MR程序 → 执行hive程序

  • 1.准备工作目录
    cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie_works
    
mkdir -p sereval-actions
  • 2.准备调度文件
    cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie_works
    
cp hive2/script.q sereval-actions/
    
cp shell/hello.sh sereval-actions/
    
cp -ra map-reduce/lib sereval-actions/
  • 3.开发调度的配置文件
    cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie_works/sereval-actions
    
vim workflow.xml
    

    <workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">
    
<start to="shell-node"/>
    
<action name="shell-node">
    
    <shell xmlns="uri:oozie:shell-action:0.2">
    
        <job-tracker>${jobTracker}</job-tracker>
    
        <name-node>${nameNode}</name-node>
    
        <configuration>
    
            <property>
    
                <name>mapred.job.queue.name</name>
    
                <value>${queueName}</value>
    
            </property>
    
        </configuration>
    
        <exec>${EXEC}</exec>
    
        <!-- <argument>my_output=Hello Oozie</argument> -->
    
        <file>/user/root/oozie_works/sereval-actions/${EXEC}#${EXEC}</file>

        <capture-output/>
    
    </shell>
    
    <ok to="mr-node"/>
    
    <error to="mr-node"/>
    
</action>

<action name="mr-node">
    
        <map-reduce>
    
            <job-tracker>${jobTracker}</job-tracker>
    
            <name-node>${nameNode}</name-node>
    
            <prepare>
    
                <delete path="${nameNode}/${outputDir}"/>
    
            </prepare>
    
            <configuration>
    
                <property>
    
                    <name>mapred.job.queue.name</name>
    
                    <value>${queueName}</value>
    
                </property>
    
				<!--
    
                <property>
    
                    <name>mapred.mapper.class</name>
    
                    <value>org.apache.oozie.example.SampleMapper</value>
    
                </property>
    
                <property>
    
                    <name>mapred.reducer.class</name>
    
                    <value>org.apache.oozie.example.SampleReducer</value>
    
                </property>
    
                <property>
    
                    <name>mapred.map.tasks</name>
    
                    <value>1</value>
    
                </property>
    
                <property>
    
                    <name>mapred.input.dir</name>
    
                    <value>/user/${wf:user()}/${examplesRoot}/input-data/text</value>
    
                </property>
    
                <property>
    
                    <name>mapred.output.dir</name>
    
                    <value>/user/${wf:user()}/${examplesRoot}/output-data/${outputDir}</value>
    
                </property>
    
				-->

				   <!-- 开启使用新的API来进行配置 -->
    
                <property>
    
                    <name>mapred.mapper.new-api</name>
    
                    <value>true</value>
    
                </property>

                <property>
    
                    <name>mapred.reducer.new-api</name>
    
                    <value>true</value>
    
                </property>

                <!-- 指定MR的输出key的类型 -->
    
                <property>
    
                    <name>mapreduce.job.output.key.class</name>
    
                    <value>org.apache.hadoop.io.Text</value>
    
                </property>

                <!-- 指定MR的输出的value的类型-->
    
                <property>
    
                    <name>mapreduce.job.output.value.class</name>
    
                    <value>org.apache.hadoop.io.IntWritable</value>
    
                </property>

                <!-- 指定输入路径 -->
    
                <property>
    
                    <name>mapred.input.dir</name>
    
                    <value>${nameNode}/${inputdir}</value>
    
                </property>

                <!-- 指定输出路径 -->
    
                <property>
    
                    <name>mapred.output.dir</name>
    
                    <value>${nameNode}/${outputDir}</value>
    
                </property>

                <!-- 指定执行的map类 -->
    
                <property>
    
                    <name>mapreduce.job.map.class</name>
    
                    <value>org.apache.hadoop.examples.WordCount$TokenizerMapper</value>
    
                </property>

                <!-- 指定执行的reduce类 -->
    
                <property>
    
                    <name>mapreduce.job.reduce.class</name>
    
                    <value>org.apache.hadoop.examples.WordCount$IntSumReducer</value>
    
                </property>
    
				<!--  配置map task的个数 -->
    
                <property>
    
                    <name>mapred.map.tasks</name>
    
                    <value>1</value>
    
                </property>

            </configuration>
    
        </map-reduce>
    
        <ok to="hive2-node"/>
    
        <error to="fail"/>
    
    </action>

 <action name="hive2-node">
    
        <hive2 xmlns="uri:oozie:hive2-action:0.1">
    
            <job-tracker>${jobTracker}</job-tracker>
    
            <name-node>${nameNode}</name-node>
    
            <prepare>
    
                <delete path="${nameNode}/user/${wf:user()}/${examplesRoot}/output-data/hive2"/>
    
                <mkdir path="${nameNode}/user/${wf:user()}/${examplesRoot}/output-data"/>
    
            </prepare>
    
            <configuration>
    
                <property>
    
                    <name>mapred.job.queue.name</name>
    
                    <value>${queueName}</value>
    
                </property>
    
            </configuration>
    
            <jdbc-url>${jdbcURL}</jdbc-url>
    
            <script>script.q</script>
    
            <param>INPUT=/user/${wf:user()}/${examplesRoot}/input-data/table</param>
    
            <param>OUTPUT=/user/${wf:user()}/${examplesRoot}/output-data/hive2</param>
    
        </hive2>
    
        <ok to="end"/>
    
        <error to="fail"/>
    
    </action>
    
<decision name="check-output">
    
    <switch>
    
        <case to="end">
    
            ${wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'}
    
        </case>
    
        <default to="fail-output"/>
    
    </switch>
    
</decision>
    
<kill name="fail">
    
    <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    
</kill>
    
<kill name="fail-output">
    
    <message>Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]</message>
    
</kill>
    
<end name="end"/>
    
</workflow-app>

    开发job.properties配置文件

    cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie_works/sereval-actions
    
vim  job.properties
    

    nameNode=hdfs://node01:8020
    
jobTracker=node01:8032
    
queueName=default
    
examplesRoot=oozie_works
    
EXEC=hello.sh
    
outputDir=/oozie/output
    
inputdir=/oozie/input
    
jdbcURL=jdbc:hive2://node03:10000/default
    
oozie.use.system.libpath=true
    
# 配置我们文件上传到hdfs的保存路径 实际上就是在hdfs 的/user/root/oozie_works/sereval-actions这个路径下
    
oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/sereval-actions/workflow.xml
  • 4.上传资源文件夹到hdfs对应路径
    cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie_works/
    
hdfs dfs -put sereval-actions/ /user/root/oozie_works/
  • 5.执行调度任务
    cd /export/servers/oozie-4.1.0-cdh5.14.0/
    
bin/oozie job -oozie http://node03:11000/oozie -config oozie_works/serveral-actions/job.properties -run

【Hadoop离线基础总结】oozie任务串联的更多相关文章

  1. 【Hadoop离线基础总结】oozie的安装部署与使用

    目录 简单介绍 概述 架构 安装部署 1.修改core-site.xml 2.上传oozie的安装包并解压 3.解压hadooplibs到与oozie平行的目录 4.创建libext目录,并拷贝依赖包 ...

  2. 【Hadoop离线基础总结】Hue的简单介绍和安装部署

    目录 Hue的简单介绍 概述 核心功能 安装部署 下载Hue的压缩包并上传到linux解压 编译安装启动 启动Hue进程 hue与其他框架的集成 Hue与Hadoop集成 Hue与Hive集成 Hue ...

  3. 【Hadoop离线基础总结】impala简单介绍及安装部署

    目录 impala的简单介绍 概述 优点 缺点 impala和Hive的关系 impala如何和CDH一起工作 impala的架构及查询计划 impala/hive/spark 对比 impala的安 ...

  4. 【Hadoop离线基础总结】流量日志分析网站整体架构模块开发

    目录 数据仓库设计 维度建模概述 维度建模的三种模式 本项目中数据仓库的设计 ETL开发 创建ODS层数据表 导入ODS层数据 生成ODS层明细宽表 统计分析开发 流量分析 受访分析 访客visit分 ...

  5. 【Hadoop离线基础总结】Sqoop常用命令及参数

    目录 常用命令 常用公用参数 公用参数:数据库连接 公用参数:import 公用参数:export 公用参数:hive 常用命令&参数 从关系表导入--import 导出到关系表--expor ...

  6. 【Hadoop离线基础总结】Hive调优手段

    Hive调优手段 最常用的调优手段 Fetch抓取 MapJoin 分区裁剪 列裁剪 控制map个数以及reduce个数 JVM重用 数据压缩 Fetch的抓取 出现原因 Hive中对某些情况的查询不 ...

  7. 【Hadoop离线基础总结】Hue与oozie集成

    目录 1.停止oozie与hue的进程 2.修改oozie的配置文件 3.修改hue的配置文件 4.启动hue与oozie的进程 5.页面访问hue 1.停止oozie与hue的进程 bin/oozi ...

  8. 【Hadoop离线基础总结】oozie调度MapReduce任务

    目录 1.准备MR执行的数据 2.执行官方测试案例 3.准备我们调度的资源 4.修改配置文件 5.上传调度任务到hdfs对应目录 6.执行调度任务 1.准备MR执行的数据 MR的程序可以是自己写的,也 ...

  9. 【Hadoop离线基础总结】oozie调度shell脚本

    目录 1.解压官方提供的调度案例 2.创建工作目录 3.拷贝任务模板到工作目录当中去 4.随意准备一个shell脚本 5.修改模板下的配置文件 6.上传调度任务到hdfs上面去 7.执行调度任务 1. ...

随机推荐

  1. PDF各种骚操作如何用python实现

    前言 文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者: wLsq PS:如有需要Python学习资料的小伙伴可以加点击下方链 ...

  2. 多线程高并发编程(5) -- CountDownLatch、CyclicBarrier源码分析

    一.CountDownLatch 1.概念 public CountDownLatch(int count) {//初始化 if (count < 0) throw new IllegalArg ...

  3. FZU 2150

    题目大意:有一个矩阵,"."表示石头,"#",表示小草,有两个人,可以在任意两个位置点燃小草,小草可以上下左右蔓延,蔓延一次的时间为1,问所有蔓延完所有小草所花 ...

  4. 数据挖掘入门系列教程（九）之基于sklearn的SVM使用

    目录 介绍 基于SVM对MINIST数据集进行分类 使用SVM SVM分析垃圾邮件 加载数据集 分词 构建词云 构建数据集 进行训练 交叉验证 炼丹术 总结 参考 介绍 在上一篇博客:数据挖掘入门系列 ...

  5. MySQL系列操作

    Linux环境下安装使用MySQL Portal 数据备份&恢复 Portal

  6. Python实现按键精灵(一)-键鼠操作

    需要安装 pywin32库 pip install pywin32 import win32api import time #鼠标移动 def mouse_move(x,y): win32api.Se ...

  7. EF-相关查询（逐渐完善）

    linq查询方式 多条件查询 内连接 左连接 可以执行sql含事务

  8. 使用hexo和coding建立静态博客站点

    背景 由于工作性质的原因,做技术的总想记录和分享一下自己的学习和成长历程,向这世界证明我来过.写文章,发博客,一开始使用51cto,广告太多,看起来让人很痛苦:接着试用了博客园,广告少一些,但感觉还是 ...

  9. Spring Boot中只能有一个WebMvcConfigurationSupport配置类

    首先将结论写文章的最前面,一个项目中只能有一个继承WebMvcConfigurationSupport的@Configuration类(使用@EnableMvc效果相同),如果存在多个这样的类,只有一 ...

  10. 日志分析工具ELK(三)

    目前官网更新特别快,不到半年时间就更新了好几个版本,目前最新的是5.1 以下安装配置使用4.5版本的 https://www.elastic.co/guide/en/kibana/4.5/index. ...