Hadoop生态圈-Azkaban实战之Command类型多job工作流flow

                                          作者:尹正杰

版权声明:原创作品,谢绝转载!否则将追究法律责任。

  

  Azkaban内置的任务类型支持command、java。

一.Command类型单一job示例

1>.创建job描述文件

2>.将job资源文件打包成zip文件

3>.通过azkaban的web管理平台创建project并上传job压缩包(首先创建project

4>.上传zip包

5>.启动执行该job

6>.设置周期任务并开始执行job任务

 7>.工程变为绿色说明job执行成功

 8>.查看job list

二.Command类型多job工作流flow

1>.创建有依赖关系的多个job描述

[yinzhengjie@s101 ~]$ more foo.job
# foo.job
type=command
command=echo foo
[yinzhengjie@s101 ~]$
[yinzhengjie@s101 ~]$ more bar.job
# bar.job
type=command
dependencies=foo
command=echo bar
[yinzhengjie@s101 ~]$

2>.将所有job资源文件打到一个zip包中

[yinzhengjie@s101 ~]$ yum -y install zip
Loaded plugins: fastestmirror
You need to be root to perform this command.
[yinzhengjie@s101 ~]$
[yinzhengjie@s101 ~]$
[yinzhengjie@s101 ~]$ sudo yum -y install zip
[sudo] password for yinzhengjie:
Loaded plugins: fastestmirror
base | 3.6 kB ::
epel/x86_64/metalink | 6.3 kB ::
epel | 3.2 kB ::
extras | 3.4 kB ::
updates | 3.4 kB ::
epel/x86_64/primary FAILED % [ ] 0.0 B/s | B --:--:-- ETA
http://mirrors.aliyun.com/epel/7/x86_64/repodata/d214b3e89f48b6e4033ee71f60676d1c912c1a2726241f62de9181243dacaca1-primary.xml.gz: [Errno 14] HTTP Error 404 - Not Found ] 0.0 B/s | 0 B --:--:-- ETA
Trying other mirror.
To address this issue please refer to the below knowledge base article https://access.redhat.com/articles/1320623 If above article doesn't help to resolve this issue please create a bug on https://bugs.centos.org/ (/): epel/x86_64/updateinfo | kB ::
(/): updates//x86_64/primary_db | 2.7 MB ::
(/): epel/x86_64/primary | 3.5 MB ::
Determining fastest mirrors
* base: mirror.bit.edu.cn
* epel: mirrors.tongji.edu.cn
* extras: mirror.bit.edu.cn
* updates: mirror.bit.edu.cn
epel /
Resolving Dependencies
--> Running transaction check
---> Package zip.x86_64 :3.0-.el7 will be installed
--> Finished Dependency Resolution Dependencies Resolved ===========================================================================================================================================================================================================================================
Package Arch Version Repository Size
===========================================================================================================================================================================================================================================
Installing:
zip x86_64 3.0-.el7 base k Transaction Summary
===========================================================================================================================================================================================================================================
Install Package Total download size: k
Installed size: k
Downloading packages:
zip-3.0-.el7.x86_64.rpm | kB ::
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
Installing : zip-3.0-.el7.x86_64 /
Verifying : zip-3.0-.el7.x86_64 / Installed:
zip.x86_64 :3.0-.el7 Complete!
[yinzhengjie@s101 ~]$

安装zip软件包([yinzhengjie@s101 ~]$ yum -y install zip)

[yinzhengjie@s101 data]$ cat /home/yinzhengjie/bar.job
# bar.job
type=command
dependencies=foo
command=echo bar
[yinzhengjie@s101 data]$ cat /home/yinzhengjie/foo.job
# foo.job
type=command
command=echo foo
[yinzhengjie@s101 data]$
[yinzhengjie@s101 data]$ zip yinzhengjie.zip /home/yinzhengjie/bar.job /home/yinzhengjie/foo.job
adding: home/yinzhengjie/bar.job (deflated %)
adding: home/yinzhengjie/foo.job (deflated %)
[yinzhengjie@s101 data]$ ll | grep yinzhengjie.zip
-rw-rw-r-- yinzhengjie yinzhengjie Jun : yinzhengjie.zip
[yinzhengjie@s101 data]$
[yinzhengjie@s101 data]$ sz yinzhengjie.zip
[yinzhengjie@s101 data]$

3>.在azkaban的web管理界面创建工程并上传zip包(过程和上面的上传步骤类似)

 4>.在web和后台查看日志信息

Hadoop生态圈-Azkaban实战之Command类型多job工作流flow的更多相关文章

  1. Hadoop生态圈-Azkaban实战之Command类型执行指定脚本

    Hadoop生态圈-Azkaban实战之Command类型执行指定脚本 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 1>.服务端测试代码(别忘记添加权限哟!) [yinzh ...

  2. Azkaban实战,Command类型单一job示例,任务中执行外部shell脚本,Command类型多job工作flow,HDFS操作任务,MapReduce任务,HIVE任务

    本文转载自:https://blog.csdn.net/tototuzuoquan/article/details/73251616 1.Azkaban实战 Azkaba内置的任务类型支持comman ...

  3. Hadoop生态圈-Azkaban部署实战

    Hadoop生态圈-Azkaban部署实战 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.  一.Azkaban部署流程 1>.上传azkaban程序并创建解压目录 [yinz ...

  4. Hadoop生态圈-Azkaban实现hive脚本执行

    Hadoop生态圈-Azkaban实现hive脚本执行 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客中在HDFS分布式系统取的数据,而这个数据的是有之前我通过MapRed ...

  5. Hadoop生态圈-Azkaban实现文件上传到hdfs并执行MR数据清洗

    Hadoop生态圈-Azkaban实现文件上传到hdfs并执行MR数据清洗 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 如果你没有Hadoop集群的话也没有关系,我这里给出当时我 ...

  6. Hadoop生态圈-Oozie实战之调度shell脚本

    Hadoop生态圈-Oozie实战之调度shell脚本 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客展示案例:使用Oozie调度Shell脚本. 1>.解压官方案例 ...

  7. Hadoop生态圈-Oozie实战之逻辑调度执行多个Job

    Hadoop生态圈-Oozie实战之逻辑调度执行多个Job 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 1>.启动hadoop集群 [root@yinzhengjie ha ...

  8. Hadoop之Azkaban详解

    工作流调度器azkaban1 为什么需要工作流调度系统 1)一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序,java程序,mapreduce程序.hive脚本等 2)各任务单元之 ...

  9. Hadoop生态圈-Oozie部署实战

    Hadoop生态圈-Oozie部署实战 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Oozie简介 1>.什么是Oozie Oozie英文翻译为:驯象人.一个基于工作流 ...

随机推荐

  1. Spark内存管理

    本文基于Spark 1.6.0之后的版本 Spark 1.6.0引入了对堆外内存的管理并对内存管理模型进行了改进,SPARK-11389. 从物理上,分为堆内内存和堆外内存:从逻辑上分为executi ...

  2. spring cloud资料汇总

    https://www.cnblogs.com/Java3y/p/9540386.html#commentform --非常好的文章,里面还有海量学习资料

  3. (幼儿园毕业)Javascript小学级随机生成四则运算

    软件工程第二次结对作业四则运算自动生成器网页版 一.题目要求 本次作业要求两个人合作完成,驾驶员和导航员角色自定,鼓励大家在工作期间角色随时互换,这里会布置两个题目,请各组成员根据自己的爱好任选一题. ...

  4. Microsoft Dynamics CRM 常用JS语法(已转成vs2017语法提示)

    背景 最近接触到Microsoft Dynamics CRM的开发.前端js是必不可少的部分,奈何没有一个语法提示,点不出来后续的语句. 在vscode上面搜索插件的时候发现,有一个大神写的插件htt ...

  5. 阿里云centos 安装禅道

    下载 我的阿里云服务器系统是 centos6.8 64 位,下载的禅道版本是 Linux 64位一键安装包(适用于Linux 64位) 由于阿里云服务器没桌面,所以下载用不了浏览器,可考虑在本地下载后 ...

  6. pandas 初识(四)

    Pandas 和 sqlalchemy 配合实现分页查询 Mysql 并获取总条数 @api.route('/show', methods=["POST"]) def api_sh ...

  7. HyperLedger Fabric 学习思路分享

    HyperLedger Fabric 学习思路分享 HyperLedger Fabric最初是由Digital Asset和IBM公司贡献的.由Linux基金会主办的一个超级账本项目,它是一个目前非常 ...

  8. EOS 权限管理之-权限的使用

    首先,跟大家说声抱歉,由于之前一直在准备EOS上线的一些工作,所以,很长时间没有更新内容.今天正好有时间,也想到了一些题材,就来说一下这个话题.本文完全是个人见解,如有不当之处,欢迎指出. 前提回顾: ...

  9. JAVA每日一旅

    1.关于final关键字 final修饰的成员变量为基本数据类型时,在赋值之后无法改变.当final修饰的成员变量为引用数据类型时,在赋值后其指向地址无法改变,但是对象内容还是可以改变的. final ...

  10. 《Linux内核分析》第五周

    20135103王海宁 <Linux内核分析>MOOC课程http://mooc.study.163.com/course/USTC-1000029000 这周的实验在上周实验四的基础上, ...