1. <?xml version="1.0"?>
  2. <!--
  3. Licensed under the Apache License, Version 2.0 (the "License");
  4. you may not use this file except in compliance with the License.
  5. You may obtain a copy of the License at
  6.  
  7. http://www.apache.org/licenses/LICENSE-2.0
  8.  
  9. Unless required by applicable law or agreed to in writing, software
  10. distributed under the License is distributed on an "AS IS" BASIS,
  11. WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12. See the License for the specific language governing permissions and
  13. limitations under the License. See accompanying LICENSE file.
  14. -->
  15. <configuration>
  16.  
  17. <!-- Site specific YARN configuration properties -->
  18.  
  19. <property>
  20. <name>yarn.resourcemanager.ha.enabled</name>
  21. <value>true</value>
  22. </property>
  23. <property>
  24. <name>yarn.resourcemanager.ha.rm-ids</name>
  25. <value>rm1,rm2</value>
  26. </property>
  27. <property>
  28. <name>yarn.resourcemanager.hostname.rm1</name>
  29. <value>rm1</value>
  30. </property>
  31. <property>
  32. <name>yarn.resourcemanager.hostname.rm2</name>
  33. <value>rm2</value>
  34. </property>
  35. <property>
  36. <name>yarn.resourcemanager.recovery.enabled</name>
  37. <value>true</value>
  38. </property>
  39. <property>
  40. <name>yarn.resourcemanager.store.class</name>
  41. <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  42. </property>
  43. <property>
  44. <name>yarn.resourcemanager.zk-address</name>
  45. <value>zk1:2181,zk2:2181,zk3:2181</value>
  46. </property>
  47. <property>
  48. <name>yarn.resourcemanager.ha.id</name>
  49. <value>rm1</value>
  50. <description>每个rm节点分别配置。例如: rm1上配置为rm1, rm2上配置rm2</description>
  51. </property>
  52. <property>
  53. <name>yarn.resourcemanager.cluster-id</name>
  54. <value>hbasecluster</value>
  55. </property>
  56.  
  57. <property>
  58. <name>yarn.resourcemanager.address.rm1</name>
  59. <value>rm1:8080</value>
  60. </property>
  61.  
  62. <property>
  63. <name>yarn.resourcemanager.scheduler.address.rm1</name>
  64. <value>rm1:8081</value>
  65. </property>
  66. <property>
  67. <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
  68. <value>rm1:8082</value>
  69. </property>
  70. <property>
  71. <name>yarn.resourcemanager.admin.address.rm1</name>
  72. <value>rm1:23141</value>
  73. </property>
  74. <property>
  75. <name>yarn.resourcemanager.ha.admin.address.rm1</name>
  76. <value>rm1:23142</value>
  77. </property>
  78. <property>
  79. <name>yarn.resourcemanager.webapp.address.rm1</name>
  80. <value>rm1:23188</value>
  81. </property>
  82.  
  83. <property>
  84. <name>yarn.resourcemanager.address.rm2</name>
  85. <value>rm2:8080</value>
  86. </property>
  87.  
  88. <property>
  89. <name>yarn.resourcemanager.scheduler.address.rm2</name>
  90. <value>rm2:8081</value>
  91. </property>
  92. <property>
  93. <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
  94. <value>rm2:8082</value>
  95. </property>
  96.  
  97. <property>
  98. <name>yarn.resourcemanager.admin.address.rm2</name>
  99. <value>rm2:23141</value>
  100. </property>
  101. <property>
  102. <name>yarn.resourcemanager.ha.admin.address.rm2</name>
  103. <value>rm2:23142</value>
  104. </property>
  105. <property>
  106. <name>yarn.resourcemanager.webapp.address.rm2</name>
  107. <value>rm2:23188</value>
  108. </property>
  109.  
  110. <property>
  111. <name>yarn.nodemanager.aux-services</name>
  112. <value>mapreduce_shuffle</value>
  113. </property>
  114.  
  115. <property>
  116. <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
  117. <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  118. </property>
  119.  
  120. </configuration>

1, 其中需要注意的是yarn.resourcemanager.ha.id是对于每个rm节点单独配置的

2,配置后,首先使用前台方式启动查看是否配置正确

  1. yarn resourcemanager

3,没问题后使用服务启动命令,注意每个rm节点都需要启动

  1. yarn-daemon.sh start resourcemanager

4,验证:正常情况下,rm1(ip=103)节点是active节点,rm2(ip=104)节点为备份节点

看图,这是正常启动结果:

杀掉rm1上的进程,并重新启动,此时再看:

发现rm2已经成为活动节点。如果杀掉rm2上的进程并重新启动,rm1就会切换回active节点,而rm2切换回standby状态。

通过tarball形式安装HBASE Cluster(CDH5.0.2)——配置分布式集群中的YARN ResourceManager 的HA的更多相关文章

  1. 通过tarball形式安装HBASE Cluster(CDH5.0.2)——Hadoop NameNode HA 切换引起的Hbase错误,以及Hbase如何基于NameNode的HA进行配置

    通过tarball形式安装HBASE Cluster(CDH5.0.2)——Hadoop NameNode HA 切换引起的Hbase错误,以及Hbase如何基于NameNode的HA进行配置 配置H ...

  2. 通过tarball形式安装HBASE Cluster(CDH5.0.2)——集群安装总览

    1,手动下载压缩包.tar(下载地址),采用tarball形式手工安装集群. 2,共启用13台虚拟机,CentOS6.5 64bit,nn1,nn2,rm1,rm2,dn1,dn2,dn3,dn4,d ...

  3. 通过tarball形式安装HBASE Cluster(CDH5.0.2)——重新编译CDH5.0.2 HADOOP点滴

    本文参考博文Hadoop2.2.0遇到64位操作系统平台报错,重新编译Hadoop 由于我采用的tarball方式安装hadoop,其lib/native下根本没有内容,启动hdfs时报这个经典的na ...

  4. 通过tarball形式安装HBASE Cluster(CDH5.0.2)——HBASE 真分布式集群配置

    一.应该先配置好zookeeper并成功启动,否则hbase无法启动 二.配置HBASE集群 1,配置hbase-env.sh,下面是最少配置项目 [hadoop@zk1 conf]$ vim hba ...

  5. 通过tarball形式安装HBASE Cluster(CDH5.0.2)——如何配置分布式集群中的zookeeper

    集群安装总览参见这里 Zookeeper的配置 1,/etc/profile中加入zk的路径设置,见上面背景说明. 2,进入~/zk/conf目录,复制zoo_sample.cfg为zoo.cfg v ...

  6. 超详细!CentOS 7 + Hadoop3.0.0 搭建伪分布式集群

    超详细!CentOS 7 + Hadoop3.0.0 搭建伪分布式集群 ps:本文的步骤已自实现过一遍,在正文部分避开了旧版教程在新版使用导致出错的内容,因此版本一致的情况下照搬执行基本不会有大错误. ...

  7. Hadoop2.7.3+spark2.1.0+hbase0.98分布式集群部署

    运行环境配置(10.79.115.111-114) 1.关闭防火墙与selinux 关闭防火墙: CentOS 7.x默认使用的是firewall作为防火墙. systemctl stop firew ...

  8. spark1.1.0部署standalone分布式集群

    配置三个节点的spark集群,集群模式为standalone模式,其中sp1节点作为主节点,sp2节点和sp3节点为从节点.***注意所有操作均为root用户. 创建3个CentOS虚拟机,如下: s ...

  9. HBase 1.2.6 完全分布式集群安装部署详细过程

    Apache HBase 是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,是NoSQL数据库,基于Google Bigtable思想的开源实现,可在廉价的PC Server上搭建大规模结构化存 ...

随机推荐

  1. Android开发(六)——组件颜色Selector(Selector与Shape的基本用法 )

    andorid控件改变状态时改变颜色,使用selector. <?xml version="1.0" encoding="utf-8" ?> < ...

  2. iOS概念之KVO(Key-Value Observing)

    在一个复杂的,有状态的系统中,当一个对象的状态发生改变,如何通知系统,并对状态改变做出相应的行为是必需考虑的一个问题,在iOS中为这类问题提供了4种解决方法: 1. NSNotifiactaion和N ...

  3. java基础篇---I/O技术(一)

    对于任何程序设计语言而言,输入输出(I/O)系统都是比较复杂的而且还是比较核心的.在java.io.包中提供了相关的API. java中流的概念划分 流的方向: 输入流:数据源到程序(inputStr ...

  4. [转]看懂Oracle执行计划

    原文地址:https://www.cnblogs.com/Dreamer-1/p/6076440.html 一:什么是Oracle执行计划? 执行计划是一条查询语句在Oracle中的执行过程或访问路径 ...

  5. iis部署webservice问题集合

    一.添加网站 具体步骤:打开控制面板,选择管理工具,打开管理工具. 打开管理工具后,打开第二个internet信息服务(iis)管理器. 打开后的界面如下: 右击网站,添加网站后,弹出“添加网站”选项 ...

  6. java随机范围内的日期

    使用了最新的java8的java.time类,并提供了LocalDateTime和java.util.Date之间的转换. 使用方法: randomLocalDateTime(-3,3) : 取距离今 ...

  7. Spring Cloud Config 配置中心 自动加解密功能 JCE方式

    1.首先安装JCE JDK8的下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jce8-download-2133166.h ...

  8. altium designer 快捷键

    2010年03月27日 环境快捷键 F1 访问文档库 (in context with object under cursor) Ctrl + O 访问选择的文档打开对话框 Ctrl + F4 关闭活 ...

  9. R-Sys.time计算程序运行时间

    R用Sys.time()可以查看当前系统时间程序开始时记录: timestart<-Sys.time()程序临结束时记录: timeend<-Sys.time()程序运行时间: runni ...

  10. [技术选型] dubbo

    分布式服务架构 - 阿里开源项目 简介 Dubbo架构设计详解 Dubbo与Zookeeper.SpringMVC整合和使用(负载均衡.容错)