附录:Metrics含义

MemoryUsed
  cluster/topology/worker使用到的物理内存
HeapMemory
  cluster/topology/worker JVM使用到的堆内存
CpuUsedRatio
  cluster/topology/worker cpu利用率,62.000 表示使用0.62个cpu,200.00表示使用2个cpu
NettyCliSendSpeed
  cluster/topology/worker当前发送流量,单位字节/每秒
NettySrvRecvSpeed
  cluster/topology/worker当前接收流量,单位字节/每秒
FullGc
  cluster/topology/worker当前1分钟 full gc 次数
RecvTps
  cluster/topology/component/task/stream 接收到的tuple的tps。
SendTps
  cluster/topology/component/task/stream 发送tuple的tps。
Emitted
  cluster/topology/component/task/stream 当前1分钟发送的消息数,包括业务消息和acker消息。
Acked
  cluster/topology/component/task/stream 当前1分钟被ack的消息数。注意这个和Emitted的区别:
  如果打开了acker机制, emitted的消息里面含有acker消息, 经常emitted 消息数量是acker消息数量的2倍。
Failed
  cluster/topology/component/task/stream 当前1分钟 被ack失败的消息数(可能是没有完全处理,也可能是超时)。

Component 级别
EmitTime
  component/task/stream, 这是spout/bolt将消息发布到disruptor队列中的时间,单位为微秒, JStorm从2.1.0开始所有时间相关的单位均为微秒。
DeserializeTime
  component/task/stream, TaskReceiver中对一个tuple做反序列化的时间,单位为微秒。
SerializeTime
  component/task/stream, TaskTransfer中对一个tuple做序列化的时间,单位为微秒。
ExecutorTime
  component/task/stream, 只在spout中存在,nextTuple所花费的时间,单位为微秒。
ProcessLatency
  component/task/stream, 这个是bolt execute消耗的时间,单位为微秒, 具体来说,就是从processTuple时,
  tuple被放进pending map时会给一个时间, 到调用ack的时候从pending map中取出来,用当前时间减去放入的时间,即为ProcessLatency。
  如果是spout,则为从消息最初从spout发出,一直到最后收到acker的ack消息的完整时间。
  在spout中,由于ProcessLatency意味着一个tuple走完了所有的bolt最后被ack, 因此通常会比较大(一般会比TupleLifeCycle还要大)。
TupleLifeCycle
  component/task/stream, 这个是一个tuple或者一个batch从上一级component中被emit出来,单位为微秒,
  到当前component接收到这个tuple或者batch的时间,这段时间包括了上游序列化时间、网络发送和下游反序列化时间的总和

Task 级别
DeserializeQueue
  反序列化队列堆积情况。补充说明,一个task 有4个队列, 反序列化队列,执行队列,控制消息队列,序列化队列。
SerializeQueue
  序列化队列堆积情况。补充说明,一个task 有4个队列, 反序列化队列,执行队列,控制消息队列,序列化队列。
ExecutorQueue
  执行队列堆积情况。补充说明,一个task 有4个队列, 反序列化队列,执行队列,控制消息队列,序列化队列。
CtrlQueue
  控制执行队列的堆积情况。补充说明,一个task 有4个队列, 反序列化队列,执行队列,控制消息队列,序列化队列。
PendingNum
  只对spout有效,表示 spout 中已经发送了但还没有ack的tuple数量
BatchInterval
  性能调优使用, 表示2次batch打满时,间隔微秒

Worker 级别
GCCount
  当前1分钟gc的次数
GCTime
  当前1分钟gc所花费的时间之和,单位是微妙
NettyCliSendBatchSize
  当前1分钟worker 发送netty包的平均大小(Bytes)
NettySrvTransmitTime
  当前1分钟,worker 解析netty包的耗时,单位微秒。
RecvCtrlQueue
  worker级别的总接受控制队列堆积情况
SendCtrlQueue
  worker级别的总发送控制队列堆积情况

supervisor 级别
DiskUsage
  当前jstorm账户所在文件磁盘空间的利用率;
MemoryUsage
  当前机器的内存利用率
CpuUsedRatio
  当前机器的cpu利用率
NettyCliSendSpeed/NettySrvRecvSpeed
  当前机器网卡每秒接收和发送字节数

JStorm的Metrics含义的更多相关文章

  1. 携程实时大数据平台演进:1/3 Storm应用已迁到JStorm

    携程大数据平台负责人张翼分享携程的实时大数据平台的迭代,按照时间线介绍采用的技术以及踩过的坑.携程最初基于稳定和成熟度选择了Storm+Kafka,解决了数据共享.资源控制.监控告警.依赖管理等问题之 ...

  2. 附001.etcd配置文件详解

    一 示例yml配置文件 # This is the configuration file for the etcd server.   # Human-readable name for this m ...

  3. etcd配置文件详解

    一 示例yml配置文件 # This is the configuration file for the etcd server. # Human-readable name for this mem ...

  4. 什么是Etcd,如何运维Etcd ?

    介绍 ETCD 是一个分布式.可靠的 key-value 存储的分布式系统,用于存储分布式系统中的关键数据:当然,它不仅仅用于存储,还提供配置共享及服务发现:基于Go语言实现. ETCD的特点 简单: ...

  5. 使用Metrics.NET 构建 ASP.NET MVC 应用程序的性能指标

    通常我们需要监测ASP.NET MVC 或 Web API 的应用程序的性能时,通常采用的是自定义性能计数器,性能计数器会引发无休止的运维问题(损坏的计数器.权限问题等).这篇文章向你介绍一个新的替代 ...

  6. zookeeper+jstorm的集群搭建

    zookeeper的配置: zookeeper有三种配置方式:单机式/伪分布式/集群式 其中伪分布式是在一台电脑上通过不同的端口来模拟分布式情形,需要N份配置文件和启动程序,而集群式是多个zookee ...

  7. 第三十五章 metrics(3)- codahale-metrics基本使用

    <!-- metrics --> <dependency> <groupId>io.dropwizard.metrics</groupId> <a ...

  8. JAVA Metrics度量工具 - Metrics Core 翻译

    Metrics核心 翻译自Metrics官方文档: http://metrics.codahale.com/manual/core/ JAVA Metrics是一个用于度量的一个JAVA的类库,使用请 ...

  9. metrics实践 (metrics-spring)

    这里主要介绍metrics与spring集成的使用方式. 1  添加maven依赖 <dependency> <groupId>com.ryantenney.metrics&l ...

随机推荐

  1. BZOJ2594 [Wc2006]水管局长数据加强版 【LCT维护最小生成树】

    题目 SC省MY市有着庞大的地下水管网络,嘟嘟是MY市的水管局长(就是管水管的啦),嘟嘟作为水管局长的工作就是:每天供水公司可能要将一定量的水从x处送往y处,嘟嘟需要为供水公司找到一条从A至B的水管的 ...

  2. mac平台打造犀利的Android Studio开发环境

    0x0 背景介绍  随着Android Studio功能越来越强大,Android平台的开发者们基本上都从原来的Eclipse + ADT 转到了AS上.本文就记录自己在配置AS环境过程中遇到的各种问 ...

  3. noi2017 T1 整数 ——线段树

    loj.ac上有  题目传送门 不过我还是把题目搬过来吧 整数(integer)[题目背景]在人类智慧的山巅,有着一台字长为 1048576 位的超级计算机,著名理论计算机科 学家 P 博士正用它进行 ...

  4. webservice soapheader验证方法

    using System; using System.Collections.Generic; using System.Linq; using System.Web; using System.We ...

  5. linq使用 count与sum等

    using System; using System.Data; using System.Configuration; using System.Linq; using System.Web; us ...

  6. ES6 - Babel编译环境搭建

    都看到这里了,我就不写什么node环境安装之类的了. 直接从新建项目文件夹后开始吧! 安装依赖: 命令行cd到项目文件夹之后,执行以下命令:(mac记得前边加sudo) npm init –y  // ...

  7. ios 最新系统bug与解决——微信公众号中弹出键盘再收起时,原虚拟键盘位点击事件无效

    最近ios发布新版本系统12.1,随着部分用户的系统更新,一些问题也渐渐暴露出来... 公司用户反映微信公众号出现了点击无效的bug!!测试调查发现,只有iphonex.iphone6,ihpone7 ...

  8. UVA 1604:Cubic Eight-Puzzle(模拟,BFS Grade C)

    题意: 3*3方格,有一个是空的.其他的每个格子里有一个立方体.立方体最初上下白色,前后红色,左右蓝色.移动的方式为滚.给出初态空的位置,终态上面颜色情况,问最少多少步能到达.如果超过30步不能到达, ...

  9. Codeforces 1018D D. Order book

    解法:用l,r分别代表buy的最大值和sell的最小值,add时,若添加的值在l,r之间,则该值有可能作为下一次accept的值 accept x时,x只能在区间[l,r]中,否则无解,若x为l或r, ...

  10. 【贪心】Mixing Milk

    题目描述 The Merry Milk Makers company buys milk from farmers, packages it into attractive 1- and 2-Unit ...