Hadoop生态圈-Azkaban实战之Command类型多job工作流flow

                                          作者:尹正杰

版权声明:原创作品,谢绝转载!否则将追究法律责任。

  

  Azkaban内置的任务类型支持command、java。

一.Command类型单一job示例

1>.创建job描述文件

2>.将job资源文件打包成zip文件

3>.通过azkaban的web管理平台创建project并上传job压缩包(首先创建project

4>.上传zip包

5>.启动执行该job

6>.设置周期任务并开始执行job任务

 7>.工程变为绿色说明job执行成功

 8>.查看job list

二.Command类型多job工作流flow

1>.创建有依赖关系的多个job描述

  1. [yinzhengjie@s101 ~]$ more foo.job
  2. # foo.job
  3. type=command
  4. command=echo foo
  5. [yinzhengjie@s101 ~]$
  6. [yinzhengjie@s101 ~]$ more bar.job
  7. # bar.job
  8. type=command
  9. dependencies=foo
  10. command=echo bar
  11. [yinzhengjie@s101 ~]$

2>.将所有job资源文件打到一个zip包中

  1. [yinzhengjie@s101 ~]$ yum -y install zip
  2. Loaded plugins: fastestmirror
  3. You need to be root to perform this command.
  4. [yinzhengjie@s101 ~]$
  5. [yinzhengjie@s101 ~]$
  6. [yinzhengjie@s101 ~]$ sudo yum -y install zip
  7. [sudo] password for yinzhengjie:
  8. Loaded plugins: fastestmirror
  9. base | 3.6 kB ::
  10. epel/x86_64/metalink | 6.3 kB ::
  11. epel | 3.2 kB ::
  12. extras | 3.4 kB ::
  13. updates | 3.4 kB ::
  14. epel/x86_64/primary FAILED % [ ] 0.0 B/s | B --:--:-- ETA
  15. http://mirrors.aliyun.com/epel/7/x86_64/repodata/d214b3e89f48b6e4033ee71f60676d1c912c1a2726241f62de9181243dacaca1-primary.xml.gz: [Errno 14] HTTP Error 404 - Not Found ] 0.0 B/s | 0 B --:--:-- ETA
  16. Trying other mirror.
  17. To address this issue please refer to the below knowledge base article
  18.  
  19. https://access.redhat.com/articles/1320623
  20.  
  21. If above article doesn't help to resolve this issue please create a bug on https://bugs.centos.org/
  22.  
  23. (/): epel/x86_64/updateinfo | kB ::
  24. (/): updates//x86_64/primary_db | 2.7 MB ::
  25. (/): epel/x86_64/primary | 3.5 MB ::
  26. Determining fastest mirrors
  27. * base: mirror.bit.edu.cn
  28. * epel: mirrors.tongji.edu.cn
  29. * extras: mirror.bit.edu.cn
  30. * updates: mirror.bit.edu.cn
  31. epel /
  32. Resolving Dependencies
  33. --> Running transaction check
  34. ---> Package zip.x86_64 :3.0-.el7 will be installed
  35. --> Finished Dependency Resolution
  36.  
  37. Dependencies Resolved
  38.  
  39. ===========================================================================================================================================================================================================================================
  40. Package Arch Version Repository Size
  41. ===========================================================================================================================================================================================================================================
  42. Installing:
  43. zip x86_64 3.0-.el7 base k
  44.  
  45. Transaction Summary
  46. ===========================================================================================================================================================================================================================================
  47. Install Package
  48.  
  49. Total download size: k
  50. Installed size: k
  51. Downloading packages:
  52. zip-3.0-.el7.x86_64.rpm | kB ::
  53. Running transaction check
  54. Running transaction test
  55. Transaction test succeeded
  56. Running transaction
  57. Installing : zip-3.0-.el7.x86_64 /
  58. Verifying : zip-3.0-.el7.x86_64 /
  59.  
  60. Installed:
  61. zip.x86_64 :3.0-.el7
  62.  
  63. Complete!
  64. [yinzhengjie@s101 ~]$

安装zip软件包([yinzhengjie@s101 ~]$ yum -y install zip)

  1. [yinzhengjie@s101 data]$ cat /home/yinzhengjie/bar.job
  2. # bar.job
  3. type=command
  4. dependencies=foo
  5. command=echo bar
  6. [yinzhengjie@s101 data]$ cat /home/yinzhengjie/foo.job
  7. # foo.job
  8. type=command
  9. command=echo foo
  10. [yinzhengjie@s101 data]$
  11. [yinzhengjie@s101 data]$ zip yinzhengjie.zip /home/yinzhengjie/bar.job /home/yinzhengjie/foo.job
  12. adding: home/yinzhengjie/bar.job (deflated %)
  13. adding: home/yinzhengjie/foo.job (deflated %)
  14. [yinzhengjie@s101 data]$ ll | grep yinzhengjie.zip
  15. -rw-rw-r-- yinzhengjie yinzhengjie Jun : yinzhengjie.zip
  16. [yinzhengjie@s101 data]$
  17. [yinzhengjie@s101 data]$ sz yinzhengjie.zip
  18. [yinzhengjie@s101 data]$

3>.在azkaban的web管理界面创建工程并上传zip包(过程和上面的上传步骤类似)

 4>.在web和后台查看日志信息

Hadoop生态圈-Azkaban实战之Command类型多job工作流flow的更多相关文章

  1. Hadoop生态圈-Azkaban实战之Command类型执行指定脚本

    Hadoop生态圈-Azkaban实战之Command类型执行指定脚本 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 1>.服务端测试代码(别忘记添加权限哟!) [yinzh ...

  2. Azkaban实战,Command类型单一job示例,任务中执行外部shell脚本,Command类型多job工作flow,HDFS操作任务,MapReduce任务,HIVE任务

    本文转载自:https://blog.csdn.net/tototuzuoquan/article/details/73251616 1.Azkaban实战 Azkaba内置的任务类型支持comman ...

  3. Hadoop生态圈-Azkaban部署实战

    Hadoop生态圈-Azkaban部署实战 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.  一.Azkaban部署流程 1>.上传azkaban程序并创建解压目录 [yinz ...

  4. Hadoop生态圈-Azkaban实现hive脚本执行

    Hadoop生态圈-Azkaban实现hive脚本执行 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客中在HDFS分布式系统取的数据,而这个数据的是有之前我通过MapRed ...

  5. Hadoop生态圈-Azkaban实现文件上传到hdfs并执行MR数据清洗

    Hadoop生态圈-Azkaban实现文件上传到hdfs并执行MR数据清洗 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 如果你没有Hadoop集群的话也没有关系,我这里给出当时我 ...

  6. Hadoop生态圈-Oozie实战之调度shell脚本

    Hadoop生态圈-Oozie实战之调度shell脚本 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客展示案例:使用Oozie调度Shell脚本. 1>.解压官方案例 ...

  7. Hadoop生态圈-Oozie实战之逻辑调度执行多个Job

    Hadoop生态圈-Oozie实战之逻辑调度执行多个Job 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 1>.启动hadoop集群 [root@yinzhengjie ha ...

  8. Hadoop之Azkaban详解

    工作流调度器azkaban1 为什么需要工作流调度系统 1)一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序,java程序,mapreduce程序.hive脚本等 2)各任务单元之 ...

  9. Hadoop生态圈-Oozie部署实战

    Hadoop生态圈-Oozie部署实战 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Oozie简介 1>.什么是Oozie Oozie英文翻译为:驯象人.一个基于工作流 ...

随机推荐

  1. HTML基础之CSS

    CSS选择器 1.id选择器 2.class选择器 3.标签选择器 4.层级选择器(空格) 5.组合选择器(逗号) 6.属性选择器(中括号) <!DOCTYPE html> <htm ...

  2. PowerBI开发 第八篇:查询参数

    在PowerBI Desktop中,用户可以定义一个或多个查询参数(Query Parameter),参数的功能是为了实现PowerBI的参数化编程,使得Data Source的属性.替换值和过滤数据 ...

  3. jenkis +sonarqube 对后端代码静态扫描,钉钉群通知执行结果(记录)

    代码提交,触发后端sonar测试,测试完成,jenkins触发依赖任务,执行python脚本,达到预期,调用上线任务模块,进行上线,达不到预期,钉钉群通知. 牵涉到配置: 1.配置sonar测试任务 ...

  4. mybati缓存机制之一级缓存

      在月黑风高的某天夜晚,boss chen语重心长的发条了消息给小草说:“小草啊,是时候写写博客来记录平常自己积累的东西了......”.小草一听,平常没有写博客的习惯,在平常开发中只是用笔记记录自 ...

  5. Codeforces Round #546 (Div. 2) E - Nastya Hasn't Written a Legend

    这题是一个贼搞人的线段树 线段树维护的是 区间和a[i - j] 首先对于update的位置可以二分查找 其次update时候的lazy比较技巧 比如更新的是 l-r段,增加的是c 那么这段的值为: ...

  6. DVWA渗透测试系列 一 (DVWA环境配置)

    DVWA介绍: DVWA是一个渗透测试靶机系统. DVWA具有十个模块:分别是 Brute Force(暴力破解).Command Injection(命令行注入).CSRF(跨站请求伪造).File ...

  7. 微软职位内部推荐-Senior Software Engineer_HPC

    微软近期Open的职位: Job Title: Senior Software Engineer_HPC Location: Shanghai, China Are you passionate ab ...

  8. CodeMirror 小册子

    User manual and reference guide      version 5.41.1 用户手册和参考指南 CodeMirror is a code-editor component ...

  9. 20181023-3 每周例行报告(添加PSP)

    此作业要求:[https://edu.cnblogs.com/campus/nenu/2018fall/homework/2100] 一.本周PSP表格 类型 任务 开始时间 结束时间 中断时间 净时 ...

  10. ElasticSearch 2 (3) - Breaking Changes

    ElasticSearch 2.1.1 (3) - Breaking Changes Search Changes search_type = scan Deprecated GET /my_ind ...