前提是已经安装好Ganglia和Hadoop集群

1 Master节点配置hadoop-metrics2.properties

  1. # syntax: [prefix].[source|sink|jmx].[instance].[options]
  2. # See package.html for org.apache.hadoop.metrics2 for details
  3.  
  4. *.sink.file.class=org.apache.hadoop.metrics2.sink.FileSink
  5.  
  6. #namenode.sink.file.filename=namenode-metrics.out
  7.  
  8. #datanode.sink.file.filename=datanode-metrics.out
  9.  
  10. #jobtracker.sink.file.filename=jobtracker-metrics.out
  11.  
  12. #tasktracker.sink.file.filename=tasktracker-metrics.out
  13.  
  14. #maptask.sink.file.filename=maptask-metrics.out
  15.  
  16. #reducetask.sink.file.filename=reducetask-metrics.out
  17. # Below are for sending metrics to Ganglia
  18. #
  19. # for Ganglia 3.0 support
  20. # *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink30
  21. #
  22. # for Ganglia 3.1 support
  23. *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
  24.  
  25. *.sink.ganglia.period=10
  26.  
  27. # default for supportsparse is false
  28. *.sink.ganglia.supportsparse=true
  29.  
  30. *.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
  31. *.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40
  32.  
  33. namenode.sink.ganglia.servers=master:8649
  34.  
  35. tasktracker.sink.ganglia.servers=master:8649
  36.  
  37. maptask.sink.ganglia.servers=master:8649
  38.  
  39. reducetask.sink.ganglia.servers=master:8649
  40.  
  41. 2 slave节点配置hadoop-metrics2.properties
  1. # syntax: [prefix].[source|sink|jmx].[instance].[options]
  2. # See package.html for org.apache.hadoop.metrics2 for details
  3.  
  4. *.sink.file.class=org.apache.hadoop.metrics2.sink.FileSink
  5.  
  6. #namenode.sink.file.filename=namenode-metrics.out
  7.  
  8. #datanode.sink.file.filename=datanode-metrics.out
  9.  
  10. #jobtracker.sink.file.filename=jobtracker-metrics.out
  11.  
  12. #tasktracker.sink.file.filename=tasktracker-metrics.out
  13.  
  14. #maptask.sink.file.filename=maptask-metrics.out
  15.  
  16. #reducetask.sink.file.filename=reducetask-metrics.out
  17. # Below are for sending metrics to Ganglia
  18. #
  19. # for Ganglia 3.0 support
  20. # *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink30
  21. #
  22. # for Ganglia 3.1 support
  23. *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
  24.  
  25. *.sink.ganglia.period=10
  26.  
  27. # default for supportsparse is false
  28. *.sink.ganglia.supportsparse=true
  29.  
  30. *.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
  31. *.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40
  32.  
  33. datanode.sink.ganglia.servers=master:8649
  34.  
  35. jobtracker.sink.ganglia.servers=master:8649
  36.  
  37. maptask.sink.ganglia.servers=master:8649
  38.  
  39. reducetask.sink.ganglia.servers=master:8649
  40.  
  41. 3 重启Hadoop和ganglia

Ubuntu 14.10 下Ganglia监控Hadoop集群的更多相关文章

  1. Ubuntu 14.10 下Ganglia监控Spark集群

    由于Licene的限制,没有放到默认的build里面,所以在官方网站下载的二进制文件中并不包含Gangla模块,如果需要使用,需要自己编译.在使用Maven编译Spark的时候,我们可以加上-Pspa ...

  2. Ganglia监控Hadoop集群的安装部署[转]

    Ganglia监控Hadoop集群的安装部署 一. 安装环境 Ubuntu server 12.04 安装gmetad的机器:192.168.52.105 安装gmond的机 器:192.168.52 ...

  3. Ganglia监控Hadoop集群的安装部署

    一. 安装环境 Ubuntu server 12.04 安装gmetad的机器:192.168.52.105 安装gmond的机器:192.168.52.31,192.168.52.32,192.16 ...

  4. Ubuntu 14.04下Hadoop2.4.1集群安装配置教程

    一.环境 系统: Ubuntu 14.04 64bit Hadoop版本: hadoop 2.4.1 (stable) JDK版本: OpenJDK 7 台作为Master,另3台作为Slave. 所 ...

  5. 【Hadoop】用 Ganglia 监控hadoop集群

    随着数据中心的增长和管理人员的缩减,对计算资源使用有效监视工具的需求变得比以往更加迫切.术语监视 在应用到数据中心时可能会让人混淆,因为它的含义会根据具体的说话者和听众而有所不同.例如: 在集群中运行 ...

  6. Ubuntu 14.10 下Eclipse安装Hadoop插件

    准备环境 1 安装好了Hadoop,之前安装了Hadoop 2.5.0,安装参考http://www.cnblogs.com/liuchangchun/p/4097286.html 2 安装Eclip ...

  7. Ubuntu 14.10下基于Nginx搭建mp4/flv流媒体服务器(可随意拖动)并支持RTMP/HLS协议(含转码工具)

    Ubuntu 14.10下基于Nginx搭建mp4/flv流媒体服务器(可随意拖动)并支持RTMP/HLS协议(含转码工具) 最近因为项目关系,收朋友之托,想制作秀场网站,但是因为之前一直没有涉及到这 ...

  8. Ubuntu 14.10 下安装Ganglia监控集群

    关于 Ganglia 软件,Ganglia是一个跨平台可扩展的,高性能计算系统下的分布式监控系统,如集群和网格.它是基于分层设计,它使用广泛的技术,如XML数据代表,便携数据传输,RRDtool用于数 ...

  9. Ubuntu 14.10 下Hadoop HttpFS 配置

    因为hadoop集群中需要配置一个图形化管理数据的截面,后来找到HUE,那么在配置HUE的过程中,发现需要配置httpfs,因为配置了httpfs,hue才能去操作hdfs中的数据. HttpFs能干 ...

随机推荐

  1. as的Enter_Frame与Timer

    As3中的Timer和Event.EnterFrame是有明显的区别的. Evnet.EnterFrame是定时间隔多少时间出发.如果执行时间比间隔时间长,则会间隔执行时间这么久. 举个例子: Fla ...

  2. 【Problem solved】发现输入法都是仅桌面使用，无法输入中文时

    你打开命令提示符输入CTFMON就可以啦.

  3. Loadrunner基础：Loadrunner Vuser基本概念和应用

    学习示例 Loadrunner自带有WebTour的网站可以帮助初学者学习性能测试安装完Loadrunner以后进入到Program Files下的WebTour文件加,启动WebTour服务在浏览器 ...

  4. ACM2 递归 n分成k份

    //将n 分成k份的 分法总数 #include "stdafx.h" #include"stdio.h" #include<iostream> u ...

  5. tableview调用reloadData()之后界面不刷新显示

    解决方法: 查看是否有指定tableView的delegate和datasource. self.tableView.delegate = self self.tableView.datasource ...

  6. SAP采购申请审批记录增强

    业务需要,开发就搞.... EBAN中增强结构:CI_EBANDB ANAME 类型 UNAME 用户名 ADATE 类型 AEDAT DATS 更改日期 ATIME 类型 UZEIT TIMS 时间 ...

  7. 递归算法（一）——akm

    要求 已知akm函数如下: { n+1 while m=0 }                          => Rule I akm(m,n)= { akm(m-1,1) while n ...

  8. Bag of mice（CodeForces 148D ）

    D. Bag of mice time limit per test 2 seconds memory limit per test 256 megabytes input standard inpu ...

  9. 布隆过滤器(Bloom Filter)详解——基于多hash的概率查找思想

    转自:http://www.cnblogs.com/haippy/archive/2012/07/13/2590351.html   布隆过滤器［1］(Bloom Filter)是由布隆(Burton ...

  10. EF 7 Code First

    加载方式三种 1. Eager Loading 2. Lazy Loading 3.Explicit Loading 使用EF在与关系型数据库的交互中不可避免地需要加载数据,如何加载数据变得至关重要. ...