一、第一步当然是配置YARN HA,这在使用ambari管理时很简单,这里不在赘述。

二、建立HAWQ的专用资源队列queue

不要手工编辑scheduler设置,最方便的当然是使用queue manager,入口看图。

添加一个hawq_queue

三、重启受影响的yarn服务

添加或修改queue之后,ambari管理界面中会有提示,点击重启即可。

四、编辑hawq的配置文件

1,修改hawq-site.xml中hawq_global_rm_type值为yarn

        <property>
<name>hawq_global_rm_type</name>
<value>yarn</value>
<description>The resource manager type to start for allocating resource.
'none' means hawq resource manager exclusively uses whole
cluster; 'yarn' means hawq resource manager contacts YARN
resource manager to negotiate resource.
</description>
</property>

其他的hawq_rm_*相关键值不用动,因为配置yarn HA模式时无用,需要修改yarn_client.xml中HA相关配置。

2,修改yarn-client.xml中HA相关配置

<!-- HA  -->
<property>
<name>yarn.resourcemanager.ha</name>
<value>ep-bd05:,ep-bd01:</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.ha</name>
<value>ep-bd05:,ep-bd01:</value>
</property>
<!-- end HA -->

注意active RM节点写在前面,可以减少网络访问时间!

3,分发修改后配置文件到各个节点

cd /opt/gpadmin/apache-hawq/etc
gpscp -f slaves hawq-site.xml =:/opt/gpadmin/apache-hawq/etc/.
gpscp -f slaves yarn-client.xml =:/opt/gpadmin/apache-hawq/etc/.

四、在HAWQ主节点上重新启动hawq cluster

su - gpadmin
hawq restart cluster -a

五、两个注意事项:

1,HDP集群,在ambari中启用YARN HA后,RM服务端口没有配置,在配置文件中看不到,文件中只有未启用HA之前的单节点端口地址,例如我这里是:

<property>
<name>yarn.resourcemanager.address</name>
<value>ep-bd01:</value>
</property>

这个并不是启用HA后RM的端口,实际上应该查找配置项

yarn.resourcemanager.address.rm1

由于没有此项配置,所以我这里的HA rm的端口号是默认的端口号8032,这个需要注意。

2,启用yarn RM管理后,每个hawq 的segment节点,都需要配套nodemanager服务,否则不能与rm通讯,没有安装的需要在ambari管理界面中添加。 使用hawq自己管理资源时当然是不需要的。

HAWQ集成Yarn HA作为资源管理服务的更多相关文章

  1. hadoop3.1集成yarn ha

    1.角色分配

  2. 第7章 YARN HA配置

    目录 7.1 yarn-site.xm文件配置 7.2 测试YARN自动故障转移 ResourceManager (RM)负责跟踪集群中的资源,以及调度应用程序(例如,MapReduce作业).在Ha ...

  3. Apache Hadoop集群安装(NameNode HA + YARN HA + SPARK + 机架感知)

    1.主机规划 序号 主机名 IP地址 角色 1 nn-1 192.168.9.21 NameNode.mr-jobhistory.zookeeper.JournalNode 2 nn-2 192.16 ...

  4. 使用Cloudera Manager搭建YARN集群及YARN HA

    使用Cloudera Manager搭建YARN集群及YARN HA 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.使用Cloudera Manager搭建YARN集群 1& ...

  5. NodeJS中的静态资源管理服务

    欢迎大家指导与讨论 : ) 一.什么是静态资源 静态资源就是放在服务器中的特定的文件.比较常见的有.css,.png, .js的这一些后缀的文件.下图中的这个html页面便要获取到logo.png和a ...

  6. Hadoop2.4.1 64-Bit QJM HA and YARN HA + Zookeeper-3.4.6 + Hbase-0.98.8-hadoop2-bin HA Install

    Hadoop2.4.1 64-Bit QJM HA and YARN HA Install + Zookeeper-3.4.6 + Hbase-0.98.8-hadoop2-bin HA(Hadoop ...

  7. 虚拟机centos7系统下安装hadoop ha和yarn ha(详细)

    一:基础环境准备 (一):虚拟机新建五个centos7系统(复制文件夹的方式) (二):角色分配 (三)按照角色分配表配置 (1)更改主机ip(自行查找),如果只是个人搭建玩一玩,可选择安装cento ...

  8. Apache版本的Hadoop HA集群启动详细步骤【包括Zookeeper、HDFS HA、YARN HA、HBase HA】(图文详解)

    不多说,直接上干货! 1.先每台机器的zookeeper启动(bigdata-pro01.kfk.com.bigdata-pro02.kfk.com.bigdata-pro03.kfk.com) 2. ...

  9. Hadoop2.7.4 yarn(HA)集群搭建步骤(CentOS7)

    群节点分配: Park01:Zookeeper.NameNode(active).ResourceManager(active) Park02:Zookeeper.NameNode(standby) ...

随机推荐

  1. 考前停课集训 Day3 匪

    Day3——作死不可活的一天 Day3 今天下午才考 晚上时间少 下午网每断 因此我是PY的 然后被抓了 成绩做0分处理. 是啊,我只会抄题解. 其他什么都不会. 一无是处. 真的. 真实能力:ran ...

  2. Yii2 rules验证规则大全

    1.required : 必须值验证属性 [['字段名'],required,'requiredValue'=>'必填值','message'=>'提示信息']; #说明:CRequire ...

  3. 删除office拥有多个都需要激活的授权信息

    首先确认office目录下存在“ospp.vbs”文件,可以搜索确认文件路径. 我的是在C:\Program Files\Microsoft Office\Office16  然后以管理员身份打开cm ...

  4. 学习Struts--Chap04:result中type属性dispatcher、redirect、redirectAction、chain的区别

    1.Struts2框架中常用的结果类型的分析和比较 dispatcher:缺省的result类型,type默认是dispatcher内部转发.如果不写type类型只写一个名字的话,不单是type类型默 ...

  5. 如何实现织梦dedecms表单提交时发送邮箱功能【已解决】

    我们通过织梦系统制作网站时,很多客户需要有在线留言功能,这时就会用到自定义表单.但是很多用户觉得经常登陆后台查看留言信息太麻烦了,于是想能否在提交留言是直接把内容发送到指定邮箱.网站经过测试终于实现了 ...

  6. 【迎圣诞,拿大奖】+流量分析+Writeup分享

    太菜了太菜了,刚见到jsfuck时竟然不知道什么东西,自己都不敢说自己做过实验吧上的那道jsfuck题了. 进入正题: 首先解压发现两个文件,一个流量分析包,哇哇哇,我正好刚学了几天wireshark ...

  7. 转 What is Redis and what do I use it for?

    原文: http://stackoverflow.com/questions/7888880/what-is-redis-and-what-do-i-use-it-for Redis = Remote ...

  8. JAVA自学笔记18

    JAVA自学笔记18 1.Map接口: 1)功能: 2) Map<String,String>m=new HashMap<String,String>(); //添加元素,元素 ...

  9. 2、html补充

    今天补充几个html标签 <body>内常用标签 1.<div>和<span> <div></div> : <div>只是一个块 ...

  10. CSS魔法堂:Flex布局

    前言  Flex是Flexible Box的缩写,就是「弹性布局」.从2012年已经面世,但由于工作环境的原因一直没有详细了解.最近工作忙到头晕脑胀,是要学点新东西刺激一下大脑,打打鸡血. Flex就 ...