Hadoop生态圈-Azkaban实战之Command类型多job工作流flow
Hadoop生态圈-Azkaban实战之Command类型多job工作流flow
作者:尹正杰
版权声明:原创作品,谢绝转载!否则将追究法律责任。
Azkaban内置的任务类型支持command、java。
一.Command类型单一job示例
1>.创建job描述文件
2>.将job资源文件打包成zip文件
3>.通过azkaban的web管理平台创建project并上传job压缩包(首先创建project)
4>.上传zip包
5>.启动执行该job
6>.设置周期任务并开始执行job任务
7>.工程变为绿色说明job执行成功
8>.查看job list
二.Command类型多job工作流flow
1>.创建有依赖关系的多个job描述
- [yinzhengjie@s101 ~]$ more foo.job
- # foo.job
- type=command
- command=echo foo
- [yinzhengjie@s101 ~]$
- [yinzhengjie@s101 ~]$ more bar.job
- # bar.job
- type=command
- dependencies=foo
- command=echo bar
- [yinzhengjie@s101 ~]$
2>.将所有job资源文件打到一个zip包中
- [yinzhengjie@s101 ~]$ yum -y install zip
- Loaded plugins: fastestmirror
- You need to be root to perform this command.
- [yinzhengjie@s101 ~]$
- [yinzhengjie@s101 ~]$
- [yinzhengjie@s101 ~]$ sudo yum -y install zip
- [sudo] password for yinzhengjie:
- Loaded plugins: fastestmirror
- base | 3.6 kB ::
- epel/x86_64/metalink | 6.3 kB ::
- epel | 3.2 kB ::
- extras | 3.4 kB ::
- updates | 3.4 kB ::
- epel/x86_64/primary FAILED % [ ] 0.0 B/s | B --:--:-- ETA
- http://mirrors.aliyun.com/epel/7/x86_64/repodata/d214b3e89f48b6e4033ee71f60676d1c912c1a2726241f62de9181243dacaca1-primary.xml.gz: [Errno 14] HTTP Error 404 - Not Found ] 0.0 B/s | 0 B --:--:-- ETA
- Trying other mirror.
- To address this issue please refer to the below knowledge base article
- https://access.redhat.com/articles/1320623
- If above article doesn't help to resolve this issue please create a bug on https://bugs.centos.org/
- (/): epel/x86_64/updateinfo | kB ::
- (/): updates//x86_64/primary_db | 2.7 MB ::
- (/): epel/x86_64/primary | 3.5 MB ::
- Determining fastest mirrors
- * base: mirror.bit.edu.cn
- * epel: mirrors.tongji.edu.cn
- * extras: mirror.bit.edu.cn
- * updates: mirror.bit.edu.cn
- epel /
- Resolving Dependencies
- --> Running transaction check
- ---> Package zip.x86_64 :3.0-.el7 will be installed
- --> Finished Dependency Resolution
- Dependencies Resolved
- ===========================================================================================================================================================================================================================================
- Package Arch Version Repository Size
- ===========================================================================================================================================================================================================================================
- Installing:
- zip x86_64 3.0-.el7 base k
- Transaction Summary
- ===========================================================================================================================================================================================================================================
- Install Package
- Total download size: k
- Installed size: k
- Downloading packages:
- zip-3.0-.el7.x86_64.rpm | kB ::
- Running transaction check
- Running transaction test
- Transaction test succeeded
- Running transaction
- Installing : zip-3.0-.el7.x86_64 /
- Verifying : zip-3.0-.el7.x86_64 /
- Installed:
- zip.x86_64 :3.0-.el7
- Complete!
- [yinzhengjie@s101 ~]$
安装zip软件包([yinzhengjie@s101 ~]$ yum -y install zip)
- [yinzhengjie@s101 data]$ cat /home/yinzhengjie/bar.job
- # bar.job
- type=command
- dependencies=foo
- command=echo bar
- [yinzhengjie@s101 data]$ cat /home/yinzhengjie/foo.job
- # foo.job
- type=command
- command=echo foo
- [yinzhengjie@s101 data]$
- [yinzhengjie@s101 data]$ zip yinzhengjie.zip /home/yinzhengjie/bar.job /home/yinzhengjie/foo.job
- adding: home/yinzhengjie/bar.job (deflated %)
- adding: home/yinzhengjie/foo.job (deflated %)
- [yinzhengjie@s101 data]$ ll | grep yinzhengjie.zip
- -rw-rw-r-- yinzhengjie yinzhengjie Jun : yinzhengjie.zip
- [yinzhengjie@s101 data]$
- [yinzhengjie@s101 data]$ sz yinzhengjie.zip
- [yinzhengjie@s101 data]$
3>.在azkaban的web管理界面创建工程并上传zip包(过程和上面的上传步骤类似)
4>.在web和后台查看日志信息
Hadoop生态圈-Azkaban实战之Command类型多job工作流flow的更多相关文章
- Hadoop生态圈-Azkaban实战之Command类型执行指定脚本
Hadoop生态圈-Azkaban实战之Command类型执行指定脚本 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 1>.服务端测试代码(别忘记添加权限哟!) [yinzh ...
- Azkaban实战,Command类型单一job示例,任务中执行外部shell脚本,Command类型多job工作flow,HDFS操作任务,MapReduce任务,HIVE任务
本文转载自:https://blog.csdn.net/tototuzuoquan/article/details/73251616 1.Azkaban实战 Azkaba内置的任务类型支持comman ...
- Hadoop生态圈-Azkaban部署实战
Hadoop生态圈-Azkaban部署实战 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Azkaban部署流程 1>.上传azkaban程序并创建解压目录 [yinz ...
- Hadoop生态圈-Azkaban实现hive脚本执行
Hadoop生态圈-Azkaban实现hive脚本执行 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客中在HDFS分布式系统取的数据,而这个数据的是有之前我通过MapRed ...
- Hadoop生态圈-Azkaban实现文件上传到hdfs并执行MR数据清洗
Hadoop生态圈-Azkaban实现文件上传到hdfs并执行MR数据清洗 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 如果你没有Hadoop集群的话也没有关系,我这里给出当时我 ...
- Hadoop生态圈-Oozie实战之调度shell脚本
Hadoop生态圈-Oozie实战之调度shell脚本 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客展示案例:使用Oozie调度Shell脚本. 1>.解压官方案例 ...
- Hadoop生态圈-Oozie实战之逻辑调度执行多个Job
Hadoop生态圈-Oozie实战之逻辑调度执行多个Job 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 1>.启动hadoop集群 [root@yinzhengjie ha ...
- Hadoop之Azkaban详解
工作流调度器azkaban1 为什么需要工作流调度系统 1)一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序,java程序,mapreduce程序.hive脚本等 2)各任务单元之 ...
- Hadoop生态圈-Oozie部署实战
Hadoop生态圈-Oozie部署实战 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Oozie简介 1>.什么是Oozie Oozie英文翻译为:驯象人.一个基于工作流 ...
随机推荐
- HTML基础之CSS
CSS选择器 1.id选择器 2.class选择器 3.标签选择器 4.层级选择器(空格) 5.组合选择器(逗号) 6.属性选择器(中括号) <!DOCTYPE html> <htm ...
- PowerBI开发 第八篇:查询参数
在PowerBI Desktop中,用户可以定义一个或多个查询参数(Query Parameter),参数的功能是为了实现PowerBI的参数化编程,使得Data Source的属性.替换值和过滤数据 ...
- jenkis +sonarqube 对后端代码静态扫描,钉钉群通知执行结果(记录)
代码提交,触发后端sonar测试,测试完成,jenkins触发依赖任务,执行python脚本,达到预期,调用上线任务模块,进行上线,达不到预期,钉钉群通知. 牵涉到配置: 1.配置sonar测试任务 ...
- mybati缓存机制之一级缓存
在月黑风高的某天夜晚,boss chen语重心长的发条了消息给小草说:“小草啊,是时候写写博客来记录平常自己积累的东西了......”.小草一听,平常没有写博客的习惯,在平常开发中只是用笔记记录自 ...
- Codeforces Round #546 (Div. 2) E - Nastya Hasn't Written a Legend
这题是一个贼搞人的线段树 线段树维护的是 区间和a[i - j] 首先对于update的位置可以二分查找 其次update时候的lazy比较技巧 比如更新的是 l-r段,增加的是c 那么这段的值为: ...
- DVWA渗透测试系列 一 (DVWA环境配置)
DVWA介绍: DVWA是一个渗透测试靶机系统. DVWA具有十个模块:分别是 Brute Force(暴力破解).Command Injection(命令行注入).CSRF(跨站请求伪造).File ...
- 微软职位内部推荐-Senior Software Engineer_HPC
微软近期Open的职位: Job Title: Senior Software Engineer_HPC Location: Shanghai, China Are you passionate ab ...
- CodeMirror 小册子
User manual and reference guide version 5.41.1 用户手册和参考指南 CodeMirror is a code-editor component ...
- 20181023-3 每周例行报告(添加PSP)
此作业要求:[https://edu.cnblogs.com/campus/nenu/2018fall/homework/2100] 一.本周PSP表格 类型 任务 开始时间 结束时间 中断时间 净时 ...
- ElasticSearch 2 (3) - Breaking Changes
ElasticSearch 2.1.1 (3) - Breaking Changes Search Changes search_type = scan Deprecated GET /my_ind ...