CDH 6.0.1 集群搭建 「After install」
集群搭建完成之后其实还有很多配置工作要做,这里我列举一些我去做的一些。
首先是去把 zk 的角色重新分配一下,不知道是不是我在配置的时候遗漏了什么在启动之后就有报警说目前只能检查到一个节点。去将 zk 角色调整到三个节点。
上一张目前的角色图
下面我将分别列出各应用的各个简写代表的意义:
Hbase:
M: Master | RS: RagionServer
HDFS:
B: Balance | DN: DataNode | FC: Failover Controller | JN: JournalNode | NN: NameNode
Hive:
G: Gateway | HMS: Hive Master Server | HS2: Hive Server 2
Hue:
LB: LoadBalancer | HS: HueServer
Impala:
ICS: Impala Catalog Server | ISS: StateStore | ID: Daemon
Oozie:
OS: Oozie Server
Spark:
G: Spark Gateway | HS: History Server
YARN:
JHS: JobHistory Server | RM: ResourceManager | NM: NodeManager
ZK:
S: Zk Server
CloueraManager:
AP: Alert Publish | ES: EventServer | HM: HostMonitor | SM: ServiceMonitor
角色按需分配,分配完成之后可能会有一些相关的报警或者是警告,最常见的可能是 HDFS 的副本分配,默认会是两份,如果我们拥有 datanode 节点有3个+ 的时候我们可以设置为三份。当我们设置为三份之后可能会遇到一个 waning 提示说没有足够的备份副本和块丢失的问题可以参看下面的 reference 「how-to-fix-corrupt-hdfs-files」 解决这个问题。
另外就是一些根据自己需要的配置这里就不再赘述了。
使用 Hive 的话需要使用 Hadoop 的 Hdfs 功能。需要在 yarn2 上安装包, YARN (MR2 Included)
-> action
-> Install YARN MapReduce frame jar 即可。
CDH 官方文档「after install」 提供了很多 enhancement 配置。包括对后期升级的支持,如何更新 CDH 等操作还有安全配置等。关心这些点可以前往查看。
Reference:
https://www.cloudera.com/documentation/enterprise/6/6.0/topics/after_install.html
https://www.cloudera.com/documentation/enterprise/6/6.0/topics/cm_ig_ports_cm.html#cm_cn_ports 集群端口详情
https://stackoverflow.com/questions/19205057/how-to-fix-corrupt-hdfs-files
https://community.hortonworks.com/questions/189402/why-are-there-drwho-myyarn-applications-running-an.html 解决 yarn cpu 高占用问题
CDH 6.0.1 集群搭建 「After install」的更多相关文章
- CDH 6.0.1 集群搭建 「Before install」
从这一篇文章开始会有三篇文章依次介绍集群搭建 「Before install」 「Process」 「After install」 继上一篇使用 docker 部署单机 CDH 的文章,当我们使用 d ...
- CDH 6.0.1 集群搭建 「Process」
这次搭建我使用的机器 os 是 Centos7.4 RH 系的下面以流的方式纪录搭建过程以及注意事项 Step1: 配置域名相关,因为只有三台机器组集群,所以直接使用了 hosts 的方法: 修改主机 ...
- Redis 5.0.5集群搭建
Redis 5.0.5集群搭建 一.概述 Redis3.0版本之后支持Cluster. 1.1.redis cluster的现状 目前redis支持的cluster特性: 1):节点自动发现 2):s ...
- java_redis3.0.3集群搭建
redis3.0版本之后支持Cluster,具体介绍redis集群我就不多说,了解请看redis中文简介. 首先,直接访问redis.io官网,下载redis.tar.gz,现在版本3.0.3,我下面 ...
- Redis 3.0.2集群搭建以及相关问题汇总
Redis3 正式支持了 cluster,是为了解决构建redis集群时的诸多不便 (1)像操作单个redis一样操作key,不用操心key在哪个节点上(2)在线动态添加.删除redis节点,不用停止 ...
- Hadoop2.0 HA集群搭建步骤
上一次搭建的Hadoop是一个伪分布式的,这次我们做一个用于个人的Hadoop集群(希望对大家搭建集群有所帮助): 集群节点分配: Park01 Zookeeper NameNode (active) ...
- redis4.0.6集群搭建
文件环境:CentOS7 + redis4.0.6 先去官网下载redis:https://redis.io/,然后上传到你的虚拟机,我上传到了/mysoft 先解压->然后进入主目录-> ...
- redis3.0.3集群搭建
redis3.0版本之后支持Cluster,具体介绍redis集群我就不多说,了解请看redis中文简介. 首先,直接访问redis.io官网,下载redis.tar.gz,现在版本3.0.3,我下面 ...
- ubuntu18.04 flink-1.9.0 Standalone集群搭建
集群规划 Master JobManager Standby JobManager Task Manager Zookeeper flink01 √ √ flink02 √ √ flink03 √ √ ...
随机推荐
- Jmeter插件安装及使用
1 安装Plugins Manager插件 1.1 下载Plugins Manager插件 插件下载官方地址:https://jmeter-plugins.org/downloads/all/ 将下载 ...
- focus()无效问题
我想点击弹出一个控件的时候控件里的input自动获取焦点,INPUT的class为"group-input",可用下面的写法不行: document.queryselect(&qu ...
- MySql Undo Redo
Undo LogUndo Log 是为了实现事务的原子性,在MySQL数据库InnoDB存储引擎中,还用Undo Log来实现多版本并发控制(简称:MVCC). - 事务的原子性(Atomicity) ...
- java实现随机四则运算
使用JAVA编程语言,独立完成一个包含3到5个数字的四则运算练习,软件基本功能要求如下: 程序可接收一个输入参数n,然后随机产生n道加减乘除练习题,每个数字在 0 和 100 之间,运算符在3个到5个 ...
- BZOJ3237:[AHOI2013]连通图(线段树分治,并查集)
Description Input Output Sample Input 4 5 1 2 2 3 3 4 4 1 2 4 3 1 5 2 2 3 2 1 2 Sample Output Connec ...
- P1460 健康的荷斯坦奶牛 Healthy(DFS)
思路:这道题还是用了小小的剪枝,这里要注意的是该题有很多中构建树的顺序,但是,在这众多顺序中不一定都能保证输出的方案字典序最小. 构建搜索树:如图构建 剪枝,emmm,看代码: #include< ...
- iOS开发之CoreImage
CoreImage是iOS中的一个图像处理框架,提供了强大高效的图像处理功能,可以通过调用简单的API来使用框架所带的各种滤镜对图像进行处理. CoreImgae的三个重要组成部分:1.CIFiter ...
- CentOS7 安装MySQL5.6
1. 检查是否有MariaDB和MySQL,如果有则卸载掉 [root@--- ~]# rpm -qa | egrep "mariadb|mysql" mariadb-serve ...
- Linux Namespace : Mount
Mount namespace 为进程提供独立的文件系统视图.简单点说就是,mount namespace 用来隔离文件系统的挂载点,这样进程就只能看到自己的 mount namespace 中的文件 ...
- webpack--配置output
Output output 配置如何输出最终想要的代码. output 是一个 object ,里面包含一系列配置项,下面分别介绍它们. filename output.filename 配置 ...