Hadoop记录-Ganglia监控HDFS和HBase指标说明
HDFS相关
datanode相关
参数 | 解释 |
---|---|
dfs.datanode.blockChecksumOp_avg_time | 块校验平均时间 |
dfs.datanode.blockChecksumOp_num_ops | 块检验次数 |
dfs.datanode.blockReports_avg_time | 块报告平均时间 |
dfs.datanode.blockReports_num_ops | 块报告次数 |
dfs.datanode.block_verification_failures | 块验证失败次数 |
dfs.datanode.blocks_read | 从硬盘读块总次数 |
dfs.datanode.blocks_removed | 删除块数目 |
dfs.datanode.blocks_replicated | 块复制总次数 |
dfs.datanode.blocks_verified | 块验证总次数 |
dfs.datanode.blocks_written | 向硬盘写块总次数 |
dfs.datanode.bytes_read | 读出总字节包含crc验证文件字节数 |
dfs.datanode.bytes_written | 写入总字节数(在写入每个packet时计数) |
dfs.datanode.copyBlockOp_avg_time | 复制块平均时间 |
dfs.datanode.copyBlockOp_num_ops | 复制块次数 |
dfs.datanode.heartBeats_avg_time | 向namenode汇报平均时间 |
dfs.datanode.heartBeats_num_ops | 向namenode汇报总次数 |
dfs.datanode.readBlockOp_avg_time | 读块平均时间(单位ms) |
dfs.datanode.readBlockOp_num_ops | 读块总次数 |
dfs.datanode.reads_from_local_client | 从本地读入块次数 |
dfs.datanode.reads_from_remote_client | 从远程读入块次数 |
dfs.datanode.replaceBlockOp_avg_time | 替换块平均时间(负载均衡策略) |
dfs.datanode.replaceBlockOp_num_ops | 替换块次数(负载均衡策略) |
dfs.datanode.volumeFailures | notfound |
dfs.datanode.writeBlockOp_avg_time | 写块平均时间 |
dfs.datanode.writeBlockOp_num_ops | 写块总次数一般和dfs.datanode.blocks_written |
dfs.datanode.writes_from_local_client | 写本地次数 |
dfs.datanode.writes_from_remote_client | 写远程次数 |
JVM相关
参数 | 解释 |
---|---|
jvm.metrics.gcCount | gc总次数 |
jvm.metrics.gcTimeMillis | gc总耗时(ms) |
jvm.metrics.logErro | jvm Error次数 |
jvm.metrics.logFatal | jvm出现fatal次数 |
jvm.metrics.logInfo | jvm 出现Info的次数 |
jvm.metrics.logWarn | jvm出现warn的次数 |
jvm.metrics.maxMemoryM | jvm试图使用最大内存(M),如果没有限制返回Long.MAX_VALUE |
jvm.metrics.memHeapCommittedM | jvm提交堆内存大小 |
jvm.metrics.memHeapUsedM | jvm使用堆内存大小 |
jvm.metrics.memNonHeapCommittedM | jvm非堆内存已提交大小 |
jvm.metrics.memNonHeapUsedM | jvm非堆内存已使用大小 |
jvm.metrics.threadsBlocked | 正在阻塞等待监视器锁的线程数目 |
jvm.metrics.threadsNew | 尚未启动的线程数目 |
jvm.metrics.threadsRunnable | 正在执行状态的线程数目 |
jvm.metrics.threadsTerminated | 已退出线程数目 |
jvm.metrics.threadsTimedWaiting | 等待另一个线程执行取决于指定等待时间的操作的线程数目 |
jvm.metrics.threadsWaiting | 无限期地等待另一个线程来执行某一特定操作的线程数目 |
RPC相关
参数 | 解释 |
---|---|
rpc.metrics.NumOpenConnections | number of open connections rpc连接打开的数目 |
rpc.metrics.ReceivedBytes | number of bytes received rpc收到的字节数 |
rpc.metrics.RpcProcessingTime_avg_time | Average time for RPC Operations in last interval rpc在最近的交互中平均操作时间 |
rpc.metrics.RpcProcessingTime_num_ops | rpc在最近的交互中连接数目 |
rpc.metrics.RpcQueueTime_avg_time | rpc在交互中平均等待时间 |
rpc.metrics.RpcQueueTime_num_ops | rpc queue中完成的rpc操作数目 |
rpc.metrics.SentBytes | number of bytes sent rpc发送的数据字节 |
rpc.metrics.callQueueLen | length of the rpc queue rpc 队列长度 |
rpc.metrics.rpcAuthenticationFailures | number of failed authentications rpc 验证失败次数 |
rpc.metrics.rpcAuthenticationSuccesses | number of successful authentications 验证成功数 |
rpc.metrics.rpcAuthorizationFailures | number of failed authorizations 授权失败次数 |
rpc.metrics.rpcAuthorizationSuccesses | number of successful authorizations 成功次数 |
MapReduce相关
参数 | 解释 |
---|---|
mapred.shuffleInput.shuffle_failed_fetches | 从map输出中取数据过程中获取失败次数 |
mapred.shuffleInput.shuffle_fetchers_busy_percent | 在获取map输出过程中并行获取线程忙碌占总并行获取线程百分比 |
mapred.shuffleInput.shuffle_input_bytes | shuffle过程中读入数据字节 |
mapred.shuffleInput.shuffle_success_fetches | 从map输出中取数据过程中获取成功次数 |
mapred.shuffleOutput.shuffle_failed_outputs | 向reduce发送map输出失败次数 |
mapred.shuffleOutput.shuffle_handler_busy_percent | 向reduce发送map输出中server线程忙碌占总工作线程(在tasktracker.http.threads中配置)百分比。 |
mapred.shuffleOutput.shuffle_output_bytes | shuffle过程中输出数据字节 |
mapred.shuffleOutput.shuffle_success_outputs | 向reduce成功 |
mapred.tasktracker.mapTaskSlots | 设置map槽数 |
mapred.tasktracker.maps_running | 正在运行的map数 |
mapred.tasktracker.reduceTaskSlots | 设置reduce槽数 |
mapred.tasktracker.reduces_running | 正在运行的reduce数 |
mapred.tasktracker.tasks_completed | 完成任务数 |
mapred.tasktracker.tasks_failed_ping | 因tasktracker与task交互失败导致的失败的task数目 |
mapred.tasktracker.tasks_failed_timeout | 因task未在mapred.task.timeout配置的(默认10分钟)时间内汇报进度而超时kill的task数目 |
rpc detailed 相关
参数 | 解释 |
---|---|
rpc.detailed-metrics.canCommit_avg_time | rpc询问是否提交任务平均时间 |
rpc.detailed-metrics.canCommit_num_ops | rpc询问是否提交任务次数 |
rpc.detailed-metrics.commitPending_avg_time | rpc报告任务提交完成,但是该提交仍然处于pending状态的平均时间 |
rpc.detailed-metrics.commitPending_num_ops | rpc报告任务提交完成,但是该提交仍然处于pending状态的次数 |
rpc.detailed-metrics.done_avg_time | rpc报告任务成功完成的平均时间 |
rpc.detailed-metrics.done_num_ops | rpc报告任务成功完成的次数 |
rpc.detailed-metrics.fatalError_avg_time | rpc报告任务出现fatalerror的平均时间 |
rpc.detailed-metrics.fatalError_num_ops | rpc报告任务出现fatalerror的次数 |
rpc.detailed-metrics.getBlockInfo_avg_time | 从指定datanode获取block的平均时间 |
rpc.detailed-metrics.getBlockInfo_num_ops | 从指定datanode获取block的次数 |
rpc.detailed-metrics.getMapCompletionEvents_avg_time | reduce获取已经完成的map输出地址事件的平均时间 |
rpc.detailed-metrics.getMapCompletionEvents_num_ops | reduce获取已经完成的map输出地址事件的次数 |
rpc.detailed-metrics.getProtocolVersion_avg_time | 获取rpc协议版本信息的平均时间 |
rpc.detailed-metrics.getProtocolVersion_num_ops | 获取rpc协议版本信息的次数 |
rpc.detailed-metrics.getTask_avg_time | 当子进程启动后,获取jvmtask的平均时间 |
rpc.detailed-metrics.getTask_num_ops | 当子进程启动后,获取jvmtask的次数 |
rpc.detailed-metrics.ping_avg_time | 子进程周期性的检测父进程是否还存活的平均时间 |
rpc.detailed-metrics.ping_num_ops | 子进程周期性的检测父进程是否还存活的次数 |
rpc.detailed-metrics.recoverBlock_avg_time | 为指定的block开始恢复标记生成的平均时间 |
rpc.detailed-metrics.recoverBlock_num_ops | 为指定的block开始恢复标记生成的次数 |
rpc.detailed-metrics.reportDiagnosticInfo_avg_time | 向父进程报告任务错误消息的平均时间,该操作应尽可能少,这些消息会在jobtracker中保存 |
rpc.detailed-metrics.reportDiagnosticInfo_num_ops | 向父进程报告任务错误消息的次数 |
rpc.detailed-metrics.startBlockRecovery_avg_time | 开始恢复block的平均时间 |
rpc.detailed-metrics.startBlockRecovery_num_ops | 开始恢复block的次数 |
rpc.detailed-metrics.statusUpdate_avg_time | 汇报子进程进度给父进程的平均时间 |
rpc.detailed-metrics.statusUpdate_num_ops | 汇报子进程进度给父进程的次数 |
rpc.detailed-metrics.updateBlock_avg_time | 更新block到新的标记及长度的平均操作时间 |
rpc.detailed-metrics.updateBlock_num_ops | 更新block到新的标记及长度的次数 |
HBase相关
参数 | 解释 |
---|---|
hbase.regionserver.blockCacheCount | 内存中缓存块(block cache)数。缓存中StoreFiles(HFiles)的块(block)数量。 |
hbase.regionserver.blockCacheEvictedCount | 因超出堆大小限制,从缓存中释放的块数量。 |
hbase.regionserver.blockCacheFree | 可用的缓存块容量。 |
hbase.regionserver.blockCacheHitCachingRatio | 缓存块的缓存命中率(0-100)。读取的缓存命中率被配置为查看缓存(如cacheblocks=true)。 |
hbase.regionserver.blockCacheHitCount | StoreFiles(HFiles)从缓存中读取的块数量。 |
hbase.regionserver.blockCacheHitRatio | 缓存块的命中率(0-100).包括所有读请求,尽管cacheBlocks=false的读出会被计为cache丢失。 |
hbase.regionserver.blockCacheMissCount | 被StoreFiles (HFiles)请求但是未从缓存中读出的块数量。 |
hbase.regionserver.blockCacheSize | 内存中块缓存的容量,特指被blockcache占用的内存容量。 |
hbase.regionserver.compactionQueueSize | Compaction队列大小,用于compaction的RegionServer中的Store个数。 |
hbase.regionserver.flushQueueSize | MemStore中等待flush操作的排队region数量。 |
hbase.regionserver.fsReadLatency_avg_time | 文件系统延迟(ms)。从HDFS读操作的平均时间。 |
hbase.regionserver.memstoreSizeMB | 当前RegionServer中所有Memstore的总容量(MB)。 |
hbase.regionserver.requests | 总 的读和写请求次数。请求相当于RegionServer的RPC调用,因此一个Get相当于一次请求,但是哪怕Scan的caching值设置为 1000,对SCAN每个“下一次”调用仅相当于一次请求,(例如,非每行)。对于大数据块的请求,每个 HFile对应一次请求。 |
hbase.regionserver.storefileIndexSizeMB | RegionServer中 StoreFile文件索引大小的总和(MB)。 |
Hadoop记录-Ganglia监控HDFS和HBase指标说明的更多相关文章
- Hadoop记录- zookeeper 监控指标
目前zookeeper获取监控指标已知的有两种方式: 1.通过zookeeper自带的 four letter words command 获取各种各样的监控指标 2.通过JMX Client连接zo ...
- 使用ganglia监控hadoop及hbase集群
一.Ganglia简介 Ganglia 是 UC Berkeley 发起的一个开源监视项目,设计用于测量数以千计的节点.每台计算机都运行一个收集和发送度量数据(如处理器速度.内存使用量等)的名为 gm ...
- 第十二章 Ganglia监控Hadoop及Hbase集群性能(安装配置)
1 Ganglia简介 Ganglia 是 UC Berkeley 发起的一个开源监视项目,设计用于测量数以千计的节点.每台计算机都运行一个收集和发送度量数据(如处理器速度.内存使用量等)的名为 gm ...
- 使用ganglia监控hadoop及hbase集群 分类: B3_LINUX 2015-03-06 20:53 646人阅读 评论(0) 收藏
介绍性内容来自:http://www.uml.org.cn/sjjm/201305171.asp 一.Ganglia简介 Ganglia 是 UC Berkeley 发起的一个开源监视项目,设计用于测 ...
- Hadoop记录-Hadoop监控指标汇总
系统参数监控metrics load_one 每分钟的系统平均负载 load_fifteen 每15分钟的系统平均负载 load_five 每5 ...
- Ganglia监控Hadoop集群的安装部署[转]
Ganglia监控Hadoop集群的安装部署 一. 安装环境 Ubuntu server 12.04 安装gmetad的机器:192.168.52.105 安装gmond的机 器:192.168.52 ...
- Ganglia 监控Hadoop
Ganglia监控Hadoop集群的安装部署 一. 安装环境 Ubuntu server 12.04 安装gmetad的机器:192.168.52.105 安装gmond的机 器:192.168.52 ...
- 大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
微信公众号[程序员江湖] 作者黄小斜,斜杠青年,某985硕士,阿里 Java 研发工程师,于 2018 年秋招拿到 BAT 头条.网易.滴滴等 8 个大厂 offer,目前致力于分享这几年的学习经验. ...
- Ganglia监控Hadoop集群的安装部署
一. 安装环境 Ubuntu server 12.04 安装gmetad的机器:192.168.52.105 安装gmond的机器:192.168.52.31,192.168.52.32,192.16 ...
随机推荐
- Mysql 计划任务
-- 设置 show variables like '%sche%'; ; -- Start存储过程 drop PROCEDURE if exists test; CREATE PROCEDURE t ...
- 初次尝试使用jenkins+python+appium构建自动化测试
初次尝试使用jenkins+python+appium构建自动化测试 因为刚刚尝试使用jenkins+python+appium尝试,只是一个Demo需要很多完善,先记录一下今天的成果,再接再厉 第一 ...
- FPGA时序分析相关
什么叫时序? 时间与动作的相互关系,什么时间干什么活. 同步时序:单一时钟源,所有寄存器在单一时钟源下同步工作. 异步时序:多个时钟源,除使用带时钟的触发器之外,还可以使用不带时钟的触发器与延时元件作 ...
- 「BZOJ1251」序列终结者 (splay 区间操作)
题面: 1251: 序列终结者 Time Limit: 20 Sec Memory Limit: 162 MBSubmit: 5367 Solved: 2323[Submit][Status][D ...
- Jeesite 代码生成
1.mysql数据库建表 参考自带的sys_area 的创表SQL复制来修修改改即可 2.配置代码生成文件覆盖路径 打开eclipse 按ctrl+shift+R 找到jeesite.propert ...
- [luogu4149][bzoj2599][IOI2011]Race【点分治】
题目描述 给一棵树,每条边有权.求一条简单路径,权值和等于 K,且边的数量最小. 题解 比较明显需要用到点分治,我们定义\(d\)数组表示当前节点到根节点\(rt\)之间有多少个节点,也可以表示有多少 ...
- 【转】非常实用的高频PCB电路设计70问
1.如何选择PCB 板材? 选择PCB 板材必须在满足设计需求和可量产性及成本中间取得平衡点.设计需求包含电气和机构这两部分.通常在设计非常高速的 PCB 板子(大于 GHz 的频率)时这材质问题会比 ...
- 2018"百度之星"程序设计大赛 - 资格赛hdu6349三原色(最小生成树)
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=6349 题目: 三原色图 Time Limit: 1500/1000 MS (Java/Others) ...
- Codeforces Round #493 (Div. 2)
C - Convert to Ones 给你一个01串 x是反转任意子串的代价 y是将子串全部取相反的代价 问全部变成1的最小代价 两种可能 一种把1全部放到一边 然后把剩下的0变成1 要么把所有的 ...
- oath2
最近在补架构师图谱里的内容,OAuth2.0是其中一块,抽空看了几个文章,理解了一下. 不过我感觉多数文章都不是很直观,花费了好久才理解其中的过程,以及为什么要这么设计,也许里面还有一些为什么没搞清楚 ...