MapReduce源码分析之新API作业提交（二）：连接集群

MapReduce作业提交时连接集群是通过Job的connect()方法实现的，它实际上是构造集群Cluster实例cluster，代码如下：

1. private synchronized void connect()
2. throws IOException, InterruptedException, ClassNotFoundException {
3. // 如果cluster为null，构造Cluster实例cluster，
4. // Cluster为连接MapReduce集群的一种工具，提供了一种获取MapReduce集群信息的方法
5. if (cluster == null) {
6. cluster =
7. ugi.doAs(new PrivilegedExceptionAction<Cluster>() {
8. public Cluster run()
9. throws IOException, InterruptedException,
10. ClassNotFoundException {
11. return new Cluster(getConfiguration());
12. }
13. });
14. }
15. }

这个方法用synchronized关键字标识，处理逻辑为：如果cluster为null，构造Cluster实例cluster。

Cluster为连接MapReduce集群的一种工具，提供了一种获取MapReduce集群信息的方法，我们看下它的成员变量，如下所示：

1. // 客户端通信协议提供者
2. private ClientProtocolProvider clientProtocolProvider;
3. // 客户端通信协议实例
4. private ClientProtocol client;
5. // 用户信息
6. private UserGroupInformation ugi;
7. // 配置信息
8. private Configuration conf;
9. // 文件系统实例
10. private FileSystem fs = null;
11. // 系统路径
12. private Path sysDir = null;
13. // 阶段区域路径
14. private Path stagingAreaDir = null;
15. // 作业历史路径
16. private Path jobHistoryDir = null;
17. // 日志
18. private static final Log LOG = LogFactory.getLog(Cluster.class);
19. // 客户端通信协议提供者加载器
20. private static ServiceLoader<ClientProtocolProvider> frameworkLoader =
21. ServiceLoader.load(ClientProtocolProvider.class);

Cluster最重要的两个成员变量是客户端通信协议提供者ClientProtocolProvider实例clientProtocolProvider，客户端通信协议ClientProtocol实例client，而后者是依托前者的create()方法生成的。

Cluster提供了两个构造函数，如下：

1. public Cluster(Configuration conf) throws IOException {
2. this(null, conf);
3. }
4. public Cluster(InetSocketAddress jobTrackAddr, Configuration conf)
5. throws IOException {
6. <span style="white-space:pre">    </span>// 设置配置信息
7. this.conf = conf;
8. // 获取当前用户
9. this.ugi = UserGroupInformation.getCurrentUser();
10. // 调用initialize()方法完成初始化
11. initialize(jobTrackAddr, conf);
12. }

最终会调用initialize()方法完成初始化，代码如下：

1. // 确定客户端ClientProtocol实例client
2. private void initialize(InetSocketAddress jobTrackAddr, Configuration conf)
3. throws IOException {
4. synchronized (frameworkLoader) {
5. // 取出每个ClientProtocolProvider实例provider，通过其create()方法，
6. // 构造ClientProtocol实例clientProtocol，
7. // 并将两者赋值给对类应成员变量，退出循环
8. for (ClientProtocolProvider provider : frameworkLoader) {
9. LOG.debug("Trying ClientProtocolProvider : "
10. + provider.getClass().getName());
11. ClientProtocol clientProtocol = null;
12. try {
13. // 通过ClientProtocolProvider的create()方法，获取客户端与集群通讯ClientProtocol实例clientProtocol
14. if (jobTrackAddr == null) {
15. clientProtocol = provider.create(conf);
16. } else {
17. clientProtocol = provider.create(jobTrackAddr, conf);
18. }
19. // 设置类成员变量clientProtocolProvider、client，并退出循环
20. if (clientProtocol != null) {
21. clientProtocolProvider = provider;
22. client = clientProtocol;
23. // 记录debug级别日志信息
24. LOG.debug("Picked " + provider.getClass().getName()
25. + " as the ClientProtocolProvider");
26. break;
27. }
28. else {
29. // 记录debug级别日志信息
30. LOG.debug("Cannot pick " + provider.getClass().getName()
31. + " as the ClientProtocolProvider - returned null protocol");
32. }
33. }
34. catch (Exception e) {
35. LOG.info("Failed to use " + provider.getClass().getName()
36. + " due to error: " + e.getMessage());
37. }
38. }
39. }
40. // 如果clientProtocolProvider、client任一为空，直接抛出IO异常
41. if (null == clientProtocolProvider || null == client) {
42. throw new IOException(
43. "Cannot initialize Cluster. Please check your configuration for "
44. + MRConfig.FRAMEWORK_NAME
45. + " and the correspond server addresses.");
46. }
47. }

initialize()方法唯一的一个任务就是确定客户端通信协议提供者clientProtocolProvider，并通过其create()方法构造客户端通信协议ClientProtocol实例client。

MapReduce中，ClientProtocolProvider抽象类的实现共有YarnClientProtocolProvider、LocalClientProtocolProvider两种，前者为Yarn模式，而后者为Local模式。

我们先看下Yarn模式，看下YarnClientProtocolProvider的create()方法，代码如下：

1. @Override
2. public ClientProtocol create(Configuration conf) throws IOException {
3. // 如果参数mapreduce.framework.name配置的为yarn，构造一个YARNRunner实例并返回，否则返回null
4. if (MRConfig.YARN_FRAMEWORK_NAME.equals(conf.get(MRConfig.FRAMEWORK_NAME))) {
5. return new YARNRunner(conf);
6. }
7. return null;
8. }

Yarn模式下，如果参数mapreduce.framework.name配置的为yarn，构造一个YARNRunner实例并返回，否则返回null，关于YARNRunner，我们待会再讲，我们接着再看下Local模式，LocalClientProtocolProvider的create()方法，代码如下：

1. @Override
2. public ClientProtocol create(Configuration conf) throws IOException {
3. // 初始化framework：取参数mapreduce.framework.name，参数未配置默认为local
4. String framework =
5. conf.get(MRConfig.FRAMEWORK_NAME, MRConfig.LOCAL_FRAMEWORK_NAME);
6. // 如果framework是local，，则返回LocalJobRunner实例，并设置map任务数量为1，否则返回null
7. if (!MRConfig.LOCAL_FRAMEWORK_NAME.equals(framework)) {
8. return null;
9. }
10. conf.setInt(JobContext.NUM_MAPS, 1);
11. return new LocalJobRunner(conf);
12. }

Local模式也是需要看参数mapreduce.framework.name的配置是否为local，是的话，返回LocalJobRunner实例，并设置map任务数量为1，否则返回null，值得一提的是，这里参数mapreduce.framework.name未配置的话，默认为local，也就是说，MapReduce需要看参数mapreduce.framework.name确定连接模式，但默认是Local模式的。

到了这里，我们就能够知道一个很重要的信息，Cluster中客户端通信协议ClientProtocol实例，要么是Yarn模式下的YARNRunner，要么就是Local模式下的LocalJobRunner，记住这点，对透彻了解MapReduce作业提交的整体流程非常重要。

好了，我们继续以Yarn模式来分析MapReduce集群连接，看下YARNRunner的实现，先看下它的成员变量，如下：

1. // 记录工厂RecordFactory实例
2. private final RecordFactory recordFactory = RecordFactoryProvider.getRecordFactory(null);
3. // ResourceManager代理ResourceMgrDelegate实例
4. private ResourceMgrDelegate resMgrDelegate;
5. // 客户端缓存ClientCache实例
6. private ClientCache clientCache;
7. // 配置信息Configuration实例
8. private Configuration conf;
9. // 文件上下文FileContext实例
10. private final FileContext defaultFileContext;

其中，最重要的一个变量就是ResourceManager代理ResourceMgrDelegate实例resMgrDelegate，Yarn模式下整个MapReduce客户端就是由它负责与Yarn集群进行通信，完成诸如作业提交、作业状态查询等过程，通过它获取集群的信息，其内部有一个YarnClient实例YarnClient，负责与Yarn进行通信，还有ApplicationId、ApplicationSubmissionContext等与特定应用程序相关的成员变量。关于ResourceMgrDelegate的详细介绍，请阅读《MapReduce源码分析ResourceMgrDelegate》一文，这里不再做详细介绍。

另外一个比较重要的变量就是客户端缓存ClientCache实例clientCache，

接下来，我们看下YARNRunner的构造函数，如下：

1. /**
2. * Yarn runner incapsulates the client interface of
3. * yarn
4. * @param conf the configuration object for the client
5. */
6. public YARNRunner(Configuration conf) {
7. // 先构造ResourceManager代理ResourceMgrDelegate实例，然后再调用两个参数的构造函数
8. this(conf, new ResourceMgrDelegate(new YarnConfiguration(conf)));
9. }
10. /**
11. * Similar to {@link #YARNRunner(Configuration)} but allowing injecting
12. * {@link ResourceMgrDelegate}. Enables mocking and testing.
13. * @param conf the configuration object for the client
14. * @param resMgrDelegate the resourcemanager client handle.
15. */
16. public YARNRunner(Configuration conf, ResourceMgrDelegate resMgrDelegate) {
17. // 先构造客户端缓存ClientCache实例，然后再调用三个参数的构造函数
18. this(conf, resMgrDelegate, new ClientCache(conf, resMgrDelegate));
19. }
20. /**
21. * Similar to {@link YARNRunner#YARNRunner(Configuration, ResourceMgrDelegate)}
22. * but allowing injecting {@link ClientCache}. Enable mocking and testing.
23. * @param conf the configuration object
24. * @param resMgrDelegate the resource manager delegate
25. * @param clientCache the client cache object.
26. */
27. public YARNRunner(Configuration conf, ResourceMgrDelegate resMgrDelegate,
28. ClientCache clientCache) {
29. // 成员变量赋值
30. this.conf = conf;
31. try {
32. this.resMgrDelegate = resMgrDelegate;
33. this.clientCache = clientCache;
34. // 获取文件山下文FileContext实例defaultFileContext
35. this.defaultFileContext = FileContext.getFileContext(this.conf);
36. } catch (UnsupportedFileSystemException ufe) {
37. throw new RuntimeException("Error in instantiating YarnClient", ufe);
38. }
39. }

YARNRunner一共提供了三个构造函数，而我们之前说的WordCount作业提交时，其内部调用的是YARNRunner带有一个参数的构造函数，它会先构造ResourceManager代理ResourceMgrDelegate实例，然后再调用两个参数的构造函数，继而构造客户端缓存ClientCache实例，然后再调用三个参数的构造函数，而最终的构造函数只是进行简单的类成员变量赋值，然后通过FileContext的静态getFileContext()方法获取文件山下文FileContext实例defaultFileContext。

总结

MapReduce作业提交时连接集群是通过Job的connect()方法实现的，它实际上是构造集群Cluster实例cluster。Cluster为连接MapReduce集群的一种工具，提供了一种获取MapReduce集群信息的方法。在Cluster内部，有一个与集群进行通信的客户端通信协议ClientProtocol实例client，它由ClientProtocolProvider的静态create()方法构造，而Hadoop2.6.0中提供了两种模式的ClientProtocol，分别为Yarn模式的YARNRunner和Local模式的LocalJobRunner，Cluster实际上是由它们负责与集群进行通信的，而Yarn模式下，ClientProtocol实例YARNRunner对象内部有一个ResourceManager代理ResourceMgrDelegate实例resMgrDelegate，Yarn模式下整个MapReduce客户端就是由它负责与Yarn集群进行通信，完成诸如作业提交、作业状态查询等过程，通过它获取集群的信息。