前言:对于任意一个系统而言,做好监控都是非常重要的,HBase也不例外。经常,我们会从JMX中获取相关指标来做展示、对HBase进行监控,那这些指标是怎么生成的呢?如果你想自定义自己的监控指标又该怎么做呢?基于好奇之心和学习的目的,最近打算学习一下HBase监控相关原理及实现,今天先简单捋一捋思路。

1. 如何下手?

我一向比较喜欢先看项目所依赖的pom文件,打开HBase源码,有两个非常相关的模块:

  • hbase-metrics-api

  • hbase-metrics

分别打开两个子项目的pom文件查看,搜索关键词'metrics'碰碰运气,有两个小发现:

  1. 子项目hbase-metrics依赖子项目hbase-metrics-api,子项目hbase-metrics-api大部分是接口类,而子项目hbase-metrics基本上是对子项目hbase-metrics-api接口类的实现类。

  2. 子项目hbase-metrics中有metrics相关继承式依赖,如下:

<dependency>
<groupId>io.dropwizard.metrics</groupId>
<artifactId>metrics-core</artifactId>
</dependency>

那这是个什么东西呢?凭直觉,要理解好HBase Metrics的实现,首先要先搞明白这是个什么东东。本文接下来也主要围绕io.dropwizard.metrics展开。

2. Dropwizard是什么?

经过一番调研,总感觉dropwizard是上个世纪的产物。看下官网介绍:

Dropwizard is a Java framework for developing ops-friendly, high-performance, RESTful web services.

翻译一下:

Dropwizard是一个Java框架,用于开发对操作友好的高性能RESTful Web服务。

感觉理解不太到位,RESTful Web服务也没听说过这个,百度扫扫盲吧!结果很意外,网上竟是Dropwizard与Spring Boot比较相关的文章。我抽两条比较重要的:

  1. Dropwizard定位:微服务框架
  2. 两者都有很强很大的社区支持。如果你更喜欢轻量,无疑Dropwizard胜出,如果你已经有Spring经验,无疑使用Spring Boot。

好稀罕!真的是孤陋寡闻了吗?竟然是跟Spring Boot相媲美的,也集成了众多框架,Dropwizard metrics 就是其自带的监控框架。下面就介绍一下Dropwizard metrics。

3. Dropwizard metrics

看下官网介绍:

Metrics is a Java library which gives you unparalleled insight into what your code does in production.

Metrics provides a powerful toolkit of ways to measure the behavior of critical components in your production environment.

With modules for common libraries like Jetty, Logback, Log4j, Apache HttpClient, Ehcache, JDBI, Jersey and reporting backends like Graphite, Metrics provides you with full-stack visibility.

翻译一下:

Metrics是一个Java库,可让您无比洞察代码在生产中的功能。Metrics提供了一种功能强大的工具包,该工具包可用于衡量生产环境中关键组件的行为。借助适用于常见库(如Jetty,Logback,Log4j,Apache HttpClient,Ehcache,JDBI,Jersey)的模块以及报告后端(如Graphite),Metrics可为您提供全栈可见性。

大白话:dropwizard-metrics是一个度量工具包,可集成于多种常见库,提供全栈监控可见性。

“目前最为流行的 metrics 库是来自 Coda Hale 的 dropwizard/metrics,该库被广泛地应用于各个知名的开源项目中。例如 Hadoop,Kafka,Spark,JStorm 中。”

然后我又不禁自己问自己了:市面上这么多监控系统和框架,dropwizard-metrics处于什么定位呢?

基于好奇,自己又展开了一番调研。

4. 监控体系梳理

提到监控,无非以下这些常见的词汇:

Atlas、Datadog、Ganglia、Graphite、Influx、JMX、NewRelic、Prometheus、SignalFx、StatsD、Wavefront、Micrometer、Spring-actuator、Pinpoint、Zipkin、Skywalking、Grafana等等。

我从数据流的角度将以上框架大致分为三种:

  • 生产类监控指标框架:进行指标统计与监控,首先要生产指标数据,这类框架如Micrometer,我们也叫埋点类指标框架。
  • 消费类监控指标框架:有了指标数据,我们就要采集处理进行消费,这类框架如Ganglia、Prometheus、Influx等。
  • 展示类监控指标框架:这类框架主要用于数据图标的前端展示,如:Graphite、Grafana等。

而今天我们了解到的Dropwizard-Metrics监控框架,就属于生产类监控指标框架。那Dropwizard-Metrics监控框架与Micrometer有什么关系吗?如何做选择呢?

回答是:没有关系,并存关系。

我们知道,Spring2监控框架是基于Micrometer,并深度集成的。然而Hadoop、HBase则是基于Dropwizard-Metrics拓展开来,你猜是为什么?先读读下面一句话。

“springboot2在spring-boot-actuator中引入了micrometer,对1.x的metrics进行了重构,另外支持对接的监控系统也更加丰富(Atlas、Datadog、Ganglia、Graphite、Influx、JMX、NewRelic、Prometheus、SignalFx、StatsD、Wavefront)。1.x的metrics都有点对齐dropwizard-metrics的味道,而micrometer除了一些基本metrics与dropwizard-metrics相类似外,重点支持了tag。这是一个很重要的信号,标志着老一代的statsd、graphite逐步让步于支持tag的influx以及prometheus。”

看着好像Micrometer更强大似的,简直像Dropwizard-Metrics二代升级版呀!不仅对接的监控系统更加丰富,而且还重点支持了tag,对于伟大的集大成者、人人口中的强力胶——Spring而言,当然选择爸爸版咯~

而像Hadoop、HBase之类的数据层软件框架,或许我只能大概猜一猜了!

  • Micrometer固然强大,但我并不需要你那么强大,Dropwizard-Metrics够轻所以我选它!
  • 难道跟Spring家族是死对头?
  • 或许真的是当初选错了?
  • 还是Micrometer生的太晚了?

你猜呢?哈哈哈~ 魂力不足,不如继续学习吧!随后我们继续深入Dropwizard-Metrics~

转载请注明出处!欢迎关注本人微信公众号【HBase工作笔记】

HBase 监控 | HBase Metrics 初探(一)的更多相关文章

  1. 使用JConsole监控HBase内存状态

    使用JConsole或者VisualVM等工具监控HBase状态时,需要修改HBase的配置文件,以解决随机端口问题. 文件名:hbase-env.sh export HBASE_JMX_BASE=& ...

  2. hbase 监控指标项

    名词解释 JMX:Java Management Extensions,用于用于Java程序扩展监控和管理项 GC:Garbage Collection,垃圾收集,垃圾回收机制 指标项来源 主机名 u ...

  3. Hbase监控指标项

    名词解释 JMX:Java Management Extensions,用于用于Java程序扩展监控和管理项 GC:Garbage Collection,垃圾收集,垃圾回收机制 指标项来源 主机名 u ...

  4. HBase学习-HBase原理

    1.系统架构 1.1 图解   从HBase的架构图上可以看出,HBase中的组件包括Client.Zookeeper.HMaster.HRegionServer.HRegion.Store.MemS ...

  5. 大数据技术之_11_HBase学习_01_HBase 简介+HBase 安装+HBase Shell 操作+HBase 数据结构+HBase 原理

    第1章 HBase 简介1.1 什么是 HBase1.2 HBase 特点1.3 HBase 架构1.3 HBase 中的角色1.3.1 HMaster1.3.2 RegionServer1.3.3 ...

  6. 【HBase】HBase Getting Started(HBase 入门指南)

    入门指南 1. 简介 Quickstart 会让你启动和运行一个单节点单机HBase. 2. 快速启动 – 单点HBase 这部分描述单节点单机HBase的配置.一个单例拥有所有的HBase守护线程- ...

  7. Hbase总结(一)-hbase命令,hbase安装,与Hive的区别,与传统数据库的区别,Hbase数据模型

    Hbase总结(一)-hbase命令 下面我们看看HBase Shell的一些基本操作命令,我列出了几个常用的HBase Shell命令,如下: 名称 命令表达式 创建表 create '表名称', ...

  8. Hbase理论&&hbase shell&&python操作hbase&&python通过mapreduce操作hbase

    一.Hbase搭建: 二.理论知识介绍: 1Hbase介绍: Hbase是分布式.面向列的开源数据库(其实准确的说是面向列族).HDFS为Hbase提供可靠的底层数据存储服务,MapReduce为Hb ...

  9. Hbase启动hbase shell运行命令报Class path contains multiple SLF4J bindings.错误

    1:Hbase启动hbase shell运行命令报Class path contains multiple SLF4J bindings.错误,是因为jar包冲突了,所以对于和hadoop的jar包冲 ...

随机推荐

  1. linux构建DHCP服务器

    1.DHCP(Dynamic Host Configuration Protocol,动态主机配置协议)是一个局域网的网络协议,使用UDP协议工作,主要用途:给内部网络或网络服务供应商自动分配IP地址 ...

  2. MySQL数据备份之逻辑备份工具mysqldump

    #前言:我们知道对数据进行备份很重要,出现非正常操作可以进行对数据进行恢复,下面我们就来使用一下mysql数据库自带的一个逻辑备份工具mysqldump 1.简单概述 #mysqldump:mysql ...

  3. 项目测试中发现产品bug怎么办

    我所在的产品线,并非公司最大最强的产品 甚至为了推广我们这个产品,一般会拿给客户先免费试用 而在试用之前,是要经过一番通测的,测得很急,测得很快 所以产品bug非常多 那么在测试项目的时候,自然会发现 ...

  4. java网络编程——多线程数据收发并行

    基本介绍与思路 收发并行 前一篇博客中,完成了客户端与服务端的简单TCP交互,但这种交互是触发式的:客户端发送一条消息,服务端收到后再回送一条.没有做到收发并行.收发并行的字面意思很容易理解,即数据的 ...

  5. 附014.Kubernetes Prometheus+Grafana+EFK+Kibana+Glusterfs整合性方案

    一 glusterfs存储集群部署 注意:以下为简略步骤,详情参考<附009.Kubernetes永久存储之GlusterFS独立部署>. 1.1 架构示意 略 1.2 相关规划 主机 I ...

  6. 《Python学习手册 第五版》 -第15章 文档

    本章主要介绍Python中的文档,会通过多种方式来说明,如果查看Python自带文档和其他参考的资料 本章重点内容 1.#注释:源文件文档 2.dir函数:以列表显示对象中可用的属性 3.文档字符串 ...

  7. 聊一聊 React 中的 CSS 样式方案

    和 Angular,Vue 不同,React 并没有如何在 React 中书写样式的官方方案,依靠的是社区众多的方案.社区中提供的方案有很多,例如 CSS Modules,styled-compone ...

  8. 聊聊OkHttp实现WebSocket细节,包括鉴权和长连接保活及其原理!

    一.序 OkHttp 应该算是 Android 中使用最广泛的网络库了,我们通常会利用它来实现 HTTP 请求,但是实际上它还可以支持 WebSocket,并且使用起来还非常的便捷. 那本文就来聊聊, ...

  9. thinkphp 前后端分离

    thinkphp 前后端分离 简单记录一下之前学习tp的历程吧. 前端HTML页面渲染 <?php namespace app\index\controller; use think\Contr ...

  10. jmeter3.3 接口压测入门和软件下载

    Jmeter3.3软件下载地址 https://download.csdn.net/download/qq_36625806/11076556 简单的使用教程 1.启动Jmeter 双击jemeter ...