1. 安装依赖包和软件

在所有服务器上输入命令进行安装操作

yum install epel-release -y
yum install ganglia-web ganglia-gmetad ganglia-gmond –y

2. 在master服务器上配置监控端

vi /etc/ganglia/gmetad.conf

修改下面内容

data_source "server"  master: master-backup: node1: node2: node3:
case_sensitive_hostnames
vi /etc/ganglia/gmond.conf

修改下面内容

cluster {
name = "server"
owner = "unspecified"
latlong = "unspecified"
url = "unspecified"
}
udp_send_channel {
#mcast_join = 239.2.11.71
host = master
port =
ttl =
}
udp_recv_channel {
#mcast_join = 239.2.11.71
port =
#bind = 239.2.11.71
#retry_bind = true
# Size of the UDP buffer. If you are handling lots of metrics you really
# should bump it up to e.g. 10MB or even higher.
# buffer =
}

修改HTTP访问配置

vi /etc/httpd/conf.d/ganglia.conf

修改下面内容

Alias /ganglia /usr/share/ganglia
<Location /ganglia>
Order deny,allow
Allow from all
#Require local
# Require ip 10.1.2.3
# Require host example.org
</Location>

设置ganglia监控程序链接到指定目录

ln -s /usr/share/ganglia/ /var/www/html/ganglia

修改apache配置

vi /etc/httpd/conf/httpd.conf

将Directory里的内容改为

# 修改80端口为10080,防止后面与nginx端口冲突
Listen <Directory />
AllowOverride none
Order Allow,Deny
Allow from all
#Require all denied
</Directory>

3. 启动apache和ganglia,并设置开机启动

systemctl start httpd.service
systemctl start gmetad
systemctl start gmond
systemctl enable httpd.service
systemctl enable gmetad
systemctl enable gmond

启动服务

rrdcached /usr/bin/rrdcached -p /var/run/ganglia/hdp/rrdcached.pid -m  -l unix:/var/run/ganglia/hdp/rrdcached.sock -m  -P FLUSH,STATS,HELP -l unix:/var/run/ganglia/hdp/rrdcached.limited.sock -b /var/lib/ganglia/rrds -B -t  -w  -f  -z  -F

设置开机启动

vi /etc/rc.local

在尾部添加下面配置

/usr/bin/rrdcached -p /var/run/ganglia/hdp/rrdcached.pid -m  -l unix:/var/run/ganglia/hdp/rrdcached.sock -m  -P FLUSH,STATS,HELP -l unix:/var/run/ganglia/hdp/rrdcached.limited.sock -b /var/lib/ganglia/rrds -B -t  -w  -f  -z  -F

4. 配置被监控端

在其他服务器上做下面操作

vi /etc/ganglia/gmond.conf

修改下面内容

cluster {
name = "server"
owner = "unspecified"
latlong = "unspecified"
url = "unspecified"
}
udp_send_channel {
#mcast_join = 239.2.11.71
host = master
port =
ttl =
}
udp_recv_channel {
#mcast_join = 239.2.11.71
port =
#bind = 239.2.11.71
#retry_bind = true
}

5. 配置HDFS、YARN集成Ganglia

vi /usr/local/hadoop/etc/hadoop/hadoop-metrics2.properties

将里面的值全部注释掉,然后替换成下面配置

# for Ganglia 3.1 support
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
*.sink.ganglia.period=
# default for supportsparse is false
*.sink.ganglia.supportsparse=true
*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=,jvm.metrics.memHeapUsedM=
namenode.sink.ganglia.servers=master: # host请参考gmond.conf中的定义
datanode.sink.ganglia.servers=master:
resourcemanager.sink.ganglia.servers=master:
nodemanager.sink.ganglia.servers=master:
mrappmaster.sink.ganglia.servers=master:
jobhistoryserver.sink.ganglia.servers=master:
# 注意下面参数,如果修改可能会造成数据量过大,ganglia的磁盘空间迅速占满。
# Switch off container metrics
*.source.filter.class=org.apache.hadoop.metrics2.filter.GlobFilter
nodemanager.*.source.filter.exclude=*ContainerResource*

6. 配置HBase集成Ganglia

vi /usr/local/hbase/conf/hadoop-metrics2-hbase.properties

将里面的值全部注释掉,然后替换成下面配置

*.sink.file*.class=org.apache.hadoop.metrics2.sink.FileSink
# default sampling period
*.period=
*.source.filter.class=org.apache.hadoop.metrics2.filter.GlobFilter
*.record.filter.class=${*.source.filter.class}
*.metric.filter.class=${*.source.filter.class}
hbase.sink.ganglia.record.filter.exclude=*Regions*
hbase.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
hbase.sink.ganglia.tagsForPrefix.jvm=ProcessName
*.sink.ganglia.period=
hbase.sink.ganglia.servers=master: # host请参考gmond.conf中的定义

7. 设置被监控端自启动

systemctl start gmond
systemctl enable gmond

8. 检查服务是否正常

在master服务器上重启hadoop与hbase服务 访问http://192.168.10.90:10080/ganglia/ 查看监控页面

在master服务器输入命令查看监控服务运行状态

gstat –a

systemctl status gmetad –l

当遇到无法查看到监控信息时,可用上面的命令查看运行状态,如果gmetad与gmond服务都正常运行,却在网页端没有图形数据,可以在master服务器输入systemctl restart gmetad重启监控服务,在三个服务器都输入systemctl restart gmond重启监控收集服务。

版权声明:本文原创发表于 博客园,作者为 AllEmpty 本文欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则视为侵权。

作者博客:http://www.cnblogs.com/EmptyFS/

大数据高可用集群环境安装与配置(08)——安装Ganglia监控集群的更多相关文章

  1. 大数据高可用集群环境安装与配置(09)——安装Spark高可用集群

    1. 获取spark下载链接 登录官网:http://spark.apache.org/downloads.html 选择要下载的版本 2. 执行命令下载并安装 cd /usr/local/src/ ...

  2. 大数据高可用集群环境安装与配置(06)——安装Hadoop高可用集群

    下载Hadoop安装包 登录 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 镜像站,找到我们要安装的版本,点击进去复制下载链接 ...

  3. 大数据高可用集群环境安装与配置(07)——安装HBase高可用集群

    1. 下载安装包 登录官网获取HBase安装包下载地址 https://hbase.apache.org/downloads.html 2. 执行命令下载并安装 cd /usr/local/src/ ...

  4. 大数据高可用集群环境安装与配置(04)——安装JAVA运行环境

    Hadoop运行在java环境,所以在安装Hadoop之前,需要安装好jdk 提前下载好jdk安装包(jdk-8u161-linux-x64.tar.gz),将它上传到指定的安装目录当中,然后运行安装 ...

  5. 大数据高可用集群环境安装与配置(03)——设置SSH免密登录

    Hadoop的NameNode需要启动集群中所有机器的Hadoop守护进程,这个过程需要通过SSH登录来实现 Hadoop并没有提供SSH输入密码登录的形式,因此,为了能够顺利登录每台机器,需要将所有 ...

  6. 大数据高可用集群环境安装与配置(02)——配置ntp服务

    NTP服务概述 NTP服务器[Network Time Protocol(NTP)]是用来使计算机时间同步化的一种协议,它可以使计算机对其服务器或时钟源(如石英钟,GPS等等)做同步化,它可以提供高精 ...

  7. 大数据高可用集群环境安装与配置(10)——安装Kafka高可用集群

    1. 获取安装包下载链接 访问https://kafka.apache.org/downloads 找到kafka对应版本 需要与服务器安装的scala版本一致(运行spark-shell可以看到当前 ...

  8. 大数据高可用集群环境安装与配置(05)——安装zookeeper集群

    1. 下载安装包 登录官网下载安装包 https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/ 2. 执行命令下载并安装 cd /usr/local ...

  9. Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十)安装hadoop2.9.0搭建HA

    如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...

随机推荐

  1. ExpandableListActivity

    main.xml: <?xml version="1.0" encoding="UTF-8"?> <LinearLayout xmlns:an ...

  2. 解决modelsim破解在win10下无法生成license

    显示没有找到mgls.dll,此时,这个教程能够帮助你. 1.右击搜索结果cmd,选择以管理员身份运行 2. 打开win64(进入安装目录的win64),也就是两个破解文件所在的路径,输入cd win ...

  3. php 实现店铺装修5

    /** * @title 选中蜂店装修模板样式 * @param plate_id 是 int 商品(平台或特色)装修样式ID * @param type_id 是 int 要装修商品的类型(1-平台 ...

  4. IDEA spring mvc整合mybatis

    准备工作 IDEA 2019.3.1 MySql 8.0.17 Tomcat 7.0.9 开始步骤 一.创建一个项目,添加Web支持 点击菜单:File->NEW->Project 选择左 ...

  5. 阿里云服务器win2003下iis整合tomcat共享80端口

    阿里云服务器win2003下iis整合tomcat共享80端口 很多机器都用tomcat跟IIS部署不同网站.最近买了阿里云的服务器.于是也想玩一下.网上百度了很多方法.但是都有缺陷说的不是很清楚.通 ...

  6. centos 安装 memcached

    centos 安装 memcached 1. 安装依赖: libeventyum install libevent-devel 2. 获取最新版本wget http://memcached.org/l ...

  7. 关于pgsql 几个操作符的效率测试比较

    关于pgsql 几个操作符的效率测试比较1. json::->> 和 ->> 测试方法:单次运行100次,运行10个单次取平均时间.测试结果:->> 效率高 5% ...

  8. Codeforces 1294D - MEX maximizing

    思维,真的很巧妙啊,看了以下博客 https://www.cnblogs.com/stelayuri/p/12230033.html

  9. SpringAOP源码跟踪及学习

    Spring 版本 4.3.2 在拿到 Bean 实例以后,会经历一系列的初始化工作,如:工厂回调.init 方法.后处理器在 Bean 初始化前后的处理等,在一般情况下(非 factory-meth ...

  10. Ubuntu指令

    cd ~ 进入桌面 cd /进入计算机 mkdir 创建文件夹 mv移动文件  mv 源文件 目标文件 记得前面加/.