当我们在写MapReduce程序的时候,通常,在main函数里,我们会像下面这样做。建立一个Job对象,设置它的JobName,然后配置输入输出路径,设置我们的Mapper类和Reducer类,设置InputFormat和正确的输出类型等等。然后我们会使用job.waitForCompletion()提交到JobTracker,等待job运行并返回,这就是一般的Job设置过程。JobTracker会初始化这个Job,获取输入分片,然后将一个一个的task任务分配给TaskTrackers执行。TaskTracker获取task是通过心跳的返回值得到的,然后TaskTracker就会为收到的task启动一个JVM来运行。

  1. Configuration conf = getConf();
  2. Job job = new Job(conf, "SelectGradeDriver");
  3. job.setJarByClass(SelectGradeDriver.class);
  4. Path in = new Path(args[0]);
  5. Path out = new Path(args[1]);
  6. FileInputFormat.setInputPaths(job, in);
  7. FileOutputFormat.setOutputPath(job, out);
  8. job.setMapperClass(SelectGradeMapper.class);
  9. job.setReducerClass(SelectGradeReducer.class);
  10. job.setInputFormatClass(TextInputFormat.class);
  11. job.setOutputFormatClass(TextOutputFormat.class);
  12. job.setMapOutputKeyClass(InstituteAndGradeWritable.class);
  13. job.setMapOutputValueClass(Text.class);
  14. job.setOutputKeyClass(InstituteAndGradeWritable.class);
  15. job.setOutputValueClass(Text.class);
  16. System.exit(job.waitForCompletion(true)? 0 : 1);

Job其实就是提供配置作业、获取作业配置、以及提交作业的功能,以及跟踪作业进度和控制作业。Job类继承于JobContext类。JobContext提供了获取作业配置的功能,如作业ID,作业的Mapper类,Reducer类,输入格式,输出格式等等,它们除了作业ID之外,都是只读的。 Job类在JobContext的基础上,提供了设置作业配置信息的功能、跟踪进度,以及提交作业的接口和控制作业的方法。

  1. public class Job extends JobContext {
  2. public static enum JobState {DEFINE, RUNNING};
  3. private JobState state = JobState.DEFINE;
  4. private JobClient jobClient;
  5. private RunningJob info;
  6. public float setupProgress() throws IOException {
  7. ensureState(JobState.RUNNING);
  8. return info.setupProgress();
  9. }
  10. public float mapProgress() throws IOException {
  11. ensureState(JobState.RUNNING);
  12. return info.mapProgress();
  13. }
  14. public float reduceProgress() throws IOException {
  15. ensureState(JobState.RUNNING);
  16. return info.reduceProgress();
  17. }
  18. public boolean isComplete() throws IOException {
  19. ensureState(JobState.RUNNING);
  20. return info.isComplete();
  21. }
  22. public boolean isSuccessful() throws IOException {
  23. ensureState(JobState.RUNNING);
  24. return info.isSuccessful();
  25. }
  26. public void killJob() throws IOException {
  27. ensureState(JobState.RUNNING);
  28. info.killJob();
  29. }
  30. public TaskCompletionEvent[] getTaskCompletionEvents(int startFrom
  31. ) throws IOException {
  32. ensureState(JobState.RUNNING);
  33. return info.getTaskCompletionEvents(startFrom);
  34. }
  35. public void killTask(TaskAttemptID taskId) throws IOException {
  36. ensureState(JobState.RUNNING);
  37. info.killTask(org.apache.hadoop.mapred.TaskAttemptID.downgrade(taskId),
  38. false);
  39. }
  40. public void failTask(TaskAttemptID taskId) throws IOException {
  41. ensureState(JobState.RUNNING);
  42. info.killTask(org.apache.hadoop.mapred.TaskAttemptID.downgrade(taskId),
  43. true);
  44. }
  45. public Counters getCounters() throws IOException {
  46. ensureState(JobState.RUNNING);
  47. return new Counters(info.getCounters());
  48. }
  49. public void submit() throws IOException, InterruptedException,
  50. ClassNotFoundException {
  51. ensureState(JobState.DEFINE);
  52. setUseNewAPI();
  53. // Connect to the JobTracker and submit the job
  54. connect();
  55. info = jobClient.submitJobInternal(conf);
  56. super.setJobID(info.getID());
  57. state = JobState.RUNNING;
  58. }
  59. private void connect() throws IOException, InterruptedException {
  60. ugi.doAs(new PrivilegedExceptionAction<Object>() {
  61. public Object run() throws IOException {
  62. jobClient = new JobClient((JobConf) getConfiguration());
  63. return null;
  64. }
  65. });
  66. }
  67. public boolean waitForCompletion(boolean verbose
  68. ) throws IOException, InterruptedException,
  69. ClassNotFoundException {
  70. if (state == JobState.DEFINE) {
  71. submit();
  72. }
  73. if (verbose) {
  74. jobClient.monitorAndPrintJob(conf, info);
  75. } else {
  76. info.waitForCompletion();
  77. }
  78. return isSuccessful();
  79. }
  80. //lots of setters and others
  81. }

一个Job对象有两种状态,DEFINE和RUNNING,Job对象被创建时的状态时DEFINE,当且仅当Job对象处于DEFINE状态,才可以用来设置作业的一些配置,如Reduce task的数量、InputFormat类、工作的Mapper类,Partitioner类等等,这些设置是通过设置配置信息conf来实现的;当作业通过submit()被提交,就会将这个Job对象的状态设置为RUNNING,这时候作业以及提交了,就不能再设置上面那些参数了,作业处于调度运行阶段。处于RUNNING状态的作业我们可以获取作业、map task和reduce task的进度,通过代码中的*Progress()获得,这些函数是通过info来获取的,info是RunningJob对象,它是实际在运行的作业的一组获取作业情况的接口,如Progress。

在waitForCompletion()中,首先用submit()提交作业,然后等待info.waitForCompletion()返回作业执行完毕。verbose参数用来决定是否将运行进度等信息输出给用户。submit()首先会检查是否正确使用了new API,这通过setUseNewAPI()检查旧版本的属性是否被设置来实现的,接着就connect()连接JobTracker并提交。实际提交作业的是一个JobClient对象,提交作业后返回一个RunningJob对象,这个对象可以跟踪作业的进度以及含有由JobTracker设置的作业ID。

getCounter()函数是用来返回这个作业的计数器列表的,计数器被用来收集作业的统计信息,比如失败的map task数量,reduce输出的记录数等等。它包括内置计数器和用户定义的计数器,用户自定义的计数器可以用来收集用户需要的特定信息。计数器首先被每个task定期传输到TaskTracker,最后TaskTracker再传到JobTracker收集起来。这就意味着,计数器是全局的。

转自:

Job类的更多相关文章

  1. Java类的继承与多态特性-入门笔记

    相信对于继承和多态的概念性我就不在怎么解释啦!不管你是.Net还是Java面向对象编程都是比不缺少一堂课~~Net如此Java亦也有同样的思想成分包含其中. 继承,多态,封装是Java面向对象的3大特 ...

  2. C++ 可配置的类工厂

    项目中常用到工厂模式,工厂模式可以把创建对象的具体细节封装到Create函数中,减少重复代码,增强可读和可维护性.传统的工厂实现如下: class Widget { public: virtual i ...

  3. Android请求网络共通类——Hi_博客 Android App 开发笔记

    今天 ,来分享一下 ,一个博客App的开发过程,以前也没开发过这种类型App 的经验,求大神们轻点喷. 首先我们要创建一个Andriod 项目 因为要从网络请求数据所以我们先来一个请求网络的共通类. ...

  4. ASP.NET MVC with Entity Framework and CSS一书翻译系列文章之第二章:利用模型类创建视图、控制器和数据库

    在这一章中,我们将直接进入项目,并且为产品和分类添加一些基本的模型类.我们将在Entity Framework的代码优先模式下,利用这些模型类创建一个数据库.我们还将学习如何在代码中创建数据库上下文类 ...

  5. ASP.NET Core 折腾笔记二:自己写个完整的Cache缓存类来支持.NET Core

    背景: 1:.NET Core 已经没System.Web,也木有了HttpRuntime.Cache,因此,该空间下Cache也木有了. 2:.NET Core 有新的Memory Cache提供, ...

  6. .NET Core中间件的注册和管道的构建(2)---- 用UseMiddleware扩展方法注册中间件类

    .NET Core中间件的注册和管道的构建(2)---- 用UseMiddleware扩展方法注册中间件类 0x00 为什么要引入扩展方法 有的中间件功能比较简单,有的则比较复杂,并且依赖其它组件.除 ...

  7. Java基础Map接口+Collections工具类

    1.Map中我们主要讲两个接口 HashMap  与   LinkedHashMap (1)其中LinkedHashMap是有序的  怎么存怎么取出来 我们讲一下Map的增删改查功能: /* * Ma ...

  8. PHP-解析验证码类--学习笔记

    1.开始 在 网上看到使用PHP写的ValidateCode生成验证码码类,感觉不错,特拿来分析学习一下. 2.类图 3.验证码类部分代码 3.1  定义变量 //随机因子 private $char ...

  9. C# 多种方式发送邮件(附帮助类)

    因项目业务需要,需要做一个发送邮件功能,查了下资料,整了整,汇总如下,亲测可用- QQ邮箱发送邮件 #region 发送邮箱 try { MailMessage mail = new MailMess ...

  10. .NET平台开源项目速览(18)C#平台JSON实体类生成器JSON C# Class Generator

    去年,我在一篇文章用原始方法解析复杂字符串,json一定要用JsonMapper么?中介绍了简单的JSON解析的问题,那种方法在当时的环境是非常方便的,因为不需要生成实体类,结构很容易解析.但随着业务 ...

随机推荐

  1. swift-03-构造器(Designated&&Convenience)

    类里面所有的存储型属性--包括所有继承自父类的属性,都必须在构造过程中设置初始值.   构造器,为了确保所有类实例中的存储型属性都能获得初始值,设置了两个构造器--他们分别是指定构造器和便利构造器. ...

  2. 【转】Android中Application类用法

    转自:http://www.cnblogs.com/renqingping/archive/2012/10/24/Application.html Application类 Application和A ...

  3. 图像分割之(五)活动轮廓模型之Snake模型简介

    在"图像分割之(一)概述"中咱们简单了解了目前主流的图像分割方法.下面咱们主要学习下基于能量泛函的分割方法.这里学习下Snake模型简单的知识,Level Set(水平集)模型会在 ...

  4. APICloud提供适用于命令行的开发工具,开发更具极客精神!

    APICloud近期大动作不断,上周刚刚支持Atom编辑器,并推出核心开发工具库.本周又为开发者提供了一款超轻便的新开发工具--CLI工具! 操作系统: Mac/Windows/Linux nodej ...

  5. .net泛型理解

    泛型简介: 泛型(Generic Type)是.NET Framework2.0最强大的功能之一.泛型的主要思想是将算法与数据结构完全分离开,使得一次定义的算法能作用于多种数据结构,从而实现高度可重用 ...

  6. PHP的压力测试工具ab.exe 和mpm介绍提高并发数

    该工具是apache自带的,可以用它来测试网站的并发量有多大和某个页面的访问时间. 基本用法: 1.  进入CMD,转到apache的bin目录下. 2.  执行命令ab.exe  -n 访问的问次数 ...

  7. Spring Boot 2 Swagger2

    本文将介绍RESTful API的重磅好伙伴Swagger2,它可以轻松的整合到Spring Boot中,并与Spring MVC程序配合组织出强大RESTful API文档. 它既可以减少我们创建文 ...

  8. VMWare ESXi 5.5安装及配置

    VMWare ESXi 5.5安装大概过程如下:制作虚拟化ESXi系统的USB启动盘,安装ESXi系统到USB,用USB启动ESXi系统.比较难理解,下面图解过程. 下载UNetbootin   (下 ...

  9. [ArcEngine]IFeatureBuffer使用

    public static void LoadOnlyModeInsert(IFeatureClass featureClass, List < IGeometry > geometryL ...

  10. MongoDB ObjectId

    概述 > db.col.find() { , } { , } { , } { , } 每个文档中都有一个“_id”,她是一个12字节的BSON类型数据,格式如下 56c56dd4ca446fab ...