Hadoop生态圈-Azkaban实战之Command类型多job工作流flow
Hadoop生态圈-Azkaban实战之Command类型多job工作流flow
作者:尹正杰
版权声明:原创作品,谢绝转载!否则将追究法律责任。
Azkaban内置的任务类型支持command、java。
一.Command类型单一job示例
1>.创建job描述文件
2>.将job资源文件打包成zip文件
3>.通过azkaban的web管理平台创建project并上传job压缩包(首先创建project)
4>.上传zip包
5>.启动执行该job
6>.设置周期任务并开始执行job任务
7>.工程变为绿色说明job执行成功
8>.查看job list
二.Command类型多job工作流flow
1>.创建有依赖关系的多个job描述
[yinzhengjie@s101 ~]$ more foo.job
# foo.job
type=command
command=echo foo
[yinzhengjie@s101 ~]$
[yinzhengjie@s101 ~]$ more bar.job
# bar.job
type=command
dependencies=foo
command=echo bar
[yinzhengjie@s101 ~]$
2>.将所有job资源文件打到一个zip包中
[yinzhengjie@s101 ~]$ yum -y install zip
Loaded plugins: fastestmirror
You need to be root to perform this command.
[yinzhengjie@s101 ~]$
[yinzhengjie@s101 ~]$
[yinzhengjie@s101 ~]$ sudo yum -y install zip
[sudo] password for yinzhengjie:
Loaded plugins: fastestmirror
base | 3.6 kB ::
epel/x86_64/metalink | 6.3 kB ::
epel | 3.2 kB ::
extras | 3.4 kB ::
updates | 3.4 kB ::
epel/x86_64/primary FAILED % [ ] 0.0 B/s | B --:--:-- ETA
http://mirrors.aliyun.com/epel/7/x86_64/repodata/d214b3e89f48b6e4033ee71f60676d1c912c1a2726241f62de9181243dacaca1-primary.xml.gz: [Errno 14] HTTP Error 404 - Not Found ] 0.0 B/s | 0 B --:--:-- ETA
Trying other mirror.
To address this issue please refer to the below knowledge base article https://access.redhat.com/articles/1320623 If above article doesn't help to resolve this issue please create a bug on https://bugs.centos.org/ (/): epel/x86_64/updateinfo | kB ::
(/): updates//x86_64/primary_db | 2.7 MB ::
(/): epel/x86_64/primary | 3.5 MB ::
Determining fastest mirrors
* base: mirror.bit.edu.cn
* epel: mirrors.tongji.edu.cn
* extras: mirror.bit.edu.cn
* updates: mirror.bit.edu.cn
epel /
Resolving Dependencies
--> Running transaction check
---> Package zip.x86_64 :3.0-.el7 will be installed
--> Finished Dependency Resolution Dependencies Resolved ===========================================================================================================================================================================================================================================
Package Arch Version Repository Size
===========================================================================================================================================================================================================================================
Installing:
zip x86_64 3.0-.el7 base k Transaction Summary
===========================================================================================================================================================================================================================================
Install Package Total download size: k
Installed size: k
Downloading packages:
zip-3.0-.el7.x86_64.rpm | kB ::
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
Installing : zip-3.0-.el7.x86_64 /
Verifying : zip-3.0-.el7.x86_64 / Installed:
zip.x86_64 :3.0-.el7 Complete!
[yinzhengjie@s101 ~]$
安装zip软件包([yinzhengjie@s101 ~]$ yum -y install zip)
[yinzhengjie@s101 data]$ cat /home/yinzhengjie/bar.job
# bar.job
type=command
dependencies=foo
command=echo bar
[yinzhengjie@s101 data]$ cat /home/yinzhengjie/foo.job
# foo.job
type=command
command=echo foo
[yinzhengjie@s101 data]$
[yinzhengjie@s101 data]$ zip yinzhengjie.zip /home/yinzhengjie/bar.job /home/yinzhengjie/foo.job
adding: home/yinzhengjie/bar.job (deflated %)
adding: home/yinzhengjie/foo.job (deflated %)
[yinzhengjie@s101 data]$ ll | grep yinzhengjie.zip
-rw-rw-r-- yinzhengjie yinzhengjie Jun : yinzhengjie.zip
[yinzhengjie@s101 data]$
[yinzhengjie@s101 data]$ sz yinzhengjie.zip
[yinzhengjie@s101 data]$
3>.在azkaban的web管理界面创建工程并上传zip包(过程和上面的上传步骤类似)
4>.在web和后台查看日志信息
Hadoop生态圈-Azkaban实战之Command类型多job工作流flow的更多相关文章
- Hadoop生态圈-Azkaban实战之Command类型执行指定脚本
Hadoop生态圈-Azkaban实战之Command类型执行指定脚本 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 1>.服务端测试代码(别忘记添加权限哟!) [yinzh ...
- Azkaban实战,Command类型单一job示例,任务中执行外部shell脚本,Command类型多job工作flow,HDFS操作任务,MapReduce任务,HIVE任务
本文转载自:https://blog.csdn.net/tototuzuoquan/article/details/73251616 1.Azkaban实战 Azkaba内置的任务类型支持comman ...
- Hadoop生态圈-Azkaban部署实战
Hadoop生态圈-Azkaban部署实战 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Azkaban部署流程 1>.上传azkaban程序并创建解压目录 [yinz ...
- Hadoop生态圈-Azkaban实现hive脚本执行
Hadoop生态圈-Azkaban实现hive脚本执行 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客中在HDFS分布式系统取的数据,而这个数据的是有之前我通过MapRed ...
- Hadoop生态圈-Azkaban实现文件上传到hdfs并执行MR数据清洗
Hadoop生态圈-Azkaban实现文件上传到hdfs并执行MR数据清洗 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 如果你没有Hadoop集群的话也没有关系,我这里给出当时我 ...
- Hadoop生态圈-Oozie实战之调度shell脚本
Hadoop生态圈-Oozie实战之调度shell脚本 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客展示案例:使用Oozie调度Shell脚本. 1>.解压官方案例 ...
- Hadoop生态圈-Oozie实战之逻辑调度执行多个Job
Hadoop生态圈-Oozie实战之逻辑调度执行多个Job 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 1>.启动hadoop集群 [root@yinzhengjie ha ...
- Hadoop之Azkaban详解
工作流调度器azkaban1 为什么需要工作流调度系统 1)一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序,java程序,mapreduce程序.hive脚本等 2)各任务单元之 ...
- Hadoop生态圈-Oozie部署实战
Hadoop生态圈-Oozie部署实战 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Oozie简介 1>.什么是Oozie Oozie英文翻译为:驯象人.一个基于工作流 ...
随机推荐
- BERT总结:最先进的NLP预训练技术
BERT(Bidirectional Encoder Representations from Transformers)是谷歌AI研究人员最近发表的一篇论文:BERT: Pre-training o ...
- [转载] 相机越贵画质越好?聊聊CMOS设计
似乎在很多人心目中,个位数机身就代表了品牌最强成像素质,这或许有“人不识货钱识货”的道理在作祟,但事实上如佳能1DX2或尼康D5,又或是索尼A9这种旗舰机真的就一定能代表本家的画质巅峰么?这一切都得从 ...
- GIT版本控制工具总结
1.安装GIT 现在的Linux和Unix包括MAC有的已经自带git,没有自带git的话,在Debian或Ubuntu Linux系统下执行sudo apt-get install git或者sud ...
- Ubuntu命令行运行C程序和C++程序
首先Ctrl + T 打开一个终端,cd到你建立C/C++文件的目录下. 下面以建立 helloc.c 和 hellocpp.cpp 进行演示 vim helloc.c 按 i 进入插入操作,然后写C ...
- GitHub笔记(一)——本地库基础操作
零.基础概念理解——可以访问廖雪峰老师的网站https://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c01 ...
- C++学习 内存模型和名称空间
1.单独编译 C++鼓励程序员将组件函数放在独立的文件中,如果只修改了一个文件,则可以只重新编译该文件,然后将它与其他文件的编译版本链接. 一般非常有用的组织程序的策略是把程序分成三部分: 头文件:包 ...
- C++基础知识(2)
作为接口的函数头 C++函数可被其他函数激活或调用,函数头描述了函数与调用它的函数之间的接口. 在C语言中,省略返回类型相当于说函数的类型为int,然而,C++逐步淘汰了这种用法 也可以使用下面的变体 ...
- 剑指offer:二叉树的深度
题目描述: 输入一棵二叉树,求该树的深度.从根结点到叶结点依次经过的结点(含根.叶结点)形成树的一条路径,最长路径的长度为树的深度. 解题思路: 这道题也是递归的思路,比较简单. 做的过程中遇到的一个 ...
- C# 7中函数多值返回_转自InfoQ
本文要点 应遵循<.NET设计规范:.NET约定惯用法与模式>一书.和十年前第一版出版时一样,书中给出的原则在当前依然有指导意义. API设计是最重要的.设计不好的API会在极大地增加软件 ...
- Redis常见面题
介绍:Redis 是一个开源的使用 ANSI C 语言编写.遵守 BSD 协议.支持网络.可基于内存亦可持久化的日志型.Key-Value 数据库,并提供多种语言的 API的非关系型数据库. 传统数据 ...