Hadoop调度框架
大数据协作框架是一个桐城,就是Hadoop2生态系统中几个辅助的Hadoop2.x框架。主要如下:
1,数据转换工具Sqoop
2,文件搜集框架Flume
3,任务调度框架Oozie
4,大数据Web工具Hue任务调度框架
1,Linux Crontab
2,Azkaban –https://azkaban.github.io/
3,Ozie –http://oozie.apache.org/ 功能强大 难度大
工作流调度
协作调度(定时,数据可用性)
binder(批量)
4,Zeus –https://github.com/michael8335/zeus2
Hadoop调度框架
- Linux Crotab
- Azkaban
http://azkaban.github.io/
- Oozie
http://oozie.apache.org/
- Zeus
https://github.com/michael183335/zeus2
QUARTZ调度框架,但是多个作业时,缺点就出来了。
Linux Crotab
是针对每个用户而言。
crontab -e 就是加任务
规则如下:
* * * * * cmd
前面的五个*分别是表示设置的时间,即分钟、时、天、月和星期。然后cmd就是代表具体的命令。
比如:
crontab -e
## first crontab
*/1 * * * * /bin/date >> /home/hadoop/date.log
这个date.log是我们自己新建的。
查看任务
crontab -l
删除任务
crontab -r
针对Hadoop任务作业调度
针对mr怎么来写呢
/home/hadoop/app/hadoop-2.6.0-cdh5.5.4/bin/hadoop jar /home/hadoop/jar/***.jar com.*** input output
我一般喜欢把myeclipse或eclipse那边打好的jar包,放到/home/hadoop/jar目录下
针对hive怎么来写呢
/home/hadoop/app/hive-1.1.0-cdh5.5.4/bin/hive -f hive-select-log.sql
hive-select-log.sql是我们自己写好的sql脚本
针对sqoop怎么来写呢
/home/hadoop/app/sqoop-1.4.6-cdh5.5.4/bin/sqoop --options -file sqoop-imoort.sh
sqoop-imoort.txt是我们自己写好的脚本
针对shell script怎么来写呢
bin/sh ***.sh
先写好hive,再写好sqoop脚本
这里,我重点使用Oozie和Azkaban。
Oozie安装部署
Oozie安装的说明
Azkaban2.5安装部署(系统时区设置 + 安装和配置mysql + Azkaban Web Server 安装 + Azkaban Executor Server安装 + Azkaban web server插件安装 + Azkaban Executor Server 插件安装)(博主推荐)(五)
Hadoop调度框架的更多相关文章
- 1.1-1.4 hadoop调度框架和oozie概述
一.hadoop调度框架 Linux Crontab Azkaban https://azkaban.github.io/ Oozie http://oozie.apache.org/ Zeus(阿里 ...
- Java线程池管理及分布式Hadoop调度框架搭建
平时的开发中线程是个少不了的东西,比如tomcat里的servlet就是线程,没有线程我们如何提供多用户访问呢?不过很多刚开始接触线程的开发工程师却在这个上面吃了不少苦头. 怎么做一套简便的线程开发模 ...
- Hadoop Streaming框架学习(一)
Hadoop Streaming框架学习(一) Hadoop Streaming框架学习(一) 2013-08-19 12:32 by ATP_, 473 阅读, 3 评论, 收藏, 编辑 1.Had ...
- Hadoop Yarn框架详细解析
在说Hadoop Yarn之前,我们先来看看Yarn是怎样出现的.在古老的Hadoop1.0中,MapReduce的JobTracker负责了太多的工作,包括资源调度,管理众多的TaskTracker ...
- Hadoop mapreduce框架简介
传统hadoop MapReduce架构(老架构) 从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路: 1.首先用户程序 (JobClient) 提交了一个 job,job ...
- 下一代Apache Hadoop MapReduce框架的架构
背景 随着集群规模和负载增加,MapReduce JobTracker在内存消耗,线程模型和扩展性/可靠性/性能方面暴露出了缺点,为此需要对它进行大整修. 需求 当我们对Hadoop MapReduc ...
- Quartz.net 开源job调度框架(二)----定点执行
在上一篇 Quartz.net 开源job调度框架(一) 中讲到了基本的使用以及配置job轮训数据执行 这种做法适用于对数据操作实时性要求不高的场景,在实际场景中还有一种比较常用的场景就是我们需要在 ...
- Quartz定时调度框架
Quartz定时调度框架CronTrigger时间配置格式说明 CronTrigger时间格式配置说明 CronTrigger配置格式: 格式: [秒] [分] [小时] [日] [月] [周] [年 ...
- Quartz.net 开源job调度框架(一)
Quartz.NET是一个开源的作业调度框架,非常适合在平时的工作中,定时轮询数据库同步,定时邮件通知,定时处理数据等. Quartz.NET允许开发人员根据时间间隔(或天)来调度作业.它实现了作业和 ...
随机推荐
- Xamarin Android 记事本(三)删改
这篇我就不做太多的说明了,数据操作之前也都举过例子了,这里就直接贴出删除和修改的代码. public override bool OnOptionsItemSelected(IMenuItem ite ...
- webservice client setTimeOut
一:eclipse生成的client,基于axis client_sub.getOptions().setTimeOutInMilliSeconds(1000*60); client_sub表示一个客 ...
- VC FTP服务器程序分析(三)
CControlSocket类的分析,CControlSocket类的内容比较多,为什么呢.因为通信控制命令的传输全部在这里,通信协议的多样也导致了协议解析的多样. 1.OnReceive 其大致说 ...
- SQL JOIN连接分类[转]
1.内联接(典型的联接运算,使用像 = 或 <> 之类的比较运算符):包括相等联接和自然联接: 内联接使用比较运算符根据每个表共有的列的值匹配两个表中的行: 2.外联接.外联接可以 ...
- SDIO卡 了解
SDIO接口是在SD接口基础上发展起来的,SDIO接口兼容SD接口.SDIO协议又在SD卡协议之上添加了CMD52(一般用来访问寄存器)和CMD53(字节和块传输)命令.SDIO和SD卡规范间的一个重 ...
- I.MX6 按键开关机 PMIC 检测
/************************************************************************* * I.MX6 按键开关机 PMIC 检测 * 说 ...
- PostgreSQL学习之【用户权限管理】说明
背景 最近在学习PostgreSQL,看了用户权限管理文档,涉及到的知识点比较多,顺便写篇文章进行整理并不定时更新,也方便自己后续进行查阅. 说明 注意:创建好用户(角色)之后需要连接的话,还需要修改 ...
- 《算法概论》第八章的一些课后题目 关于NP-Complete Problem
8.3 STINGY SAT STINGY SAT is the following problem: given a set of clauses (each a disjunction of li ...
- PostgreSQ 连接问题 FATAL: no pg_hba.conf entry for host
PostgreSQ数据库为了安全,它不会监听除本地以外的所有连接请求,当用户通过JDBC访问是,会报一些如下的异常: org.postgresql.util.PSQLException: FATAL: ...
- Ubuntu 16.04 如何使用Samba服务器
对于Windows与Ubuntu之间的数据传输,我们习惯于使用FTP工具,不过还是有学员问到samba服务器搭建和使用的问题,这便是本文的来由. Ubuntu版本:ARM裸机1期加强版配套的Ubunt ...