微服务监控之二:Metrics+influxdb+grafana构建监控平台
系统开发到一定的阶段,线上的机器越来越多,就需要一些监控了,除了服务器的监控,业务方面也需要一些监控服务。Metrics
作为一款监控指标
的度量类库,提供了许多工具帮助开发者来完成自定义的监控工作。
使用Metrics
通过构建一个Spring Boot
的基本应用来演示Metrics
的工作方式。
在Maven的pom.xml
中引入Metrics
:
<dependency>
<groupId>io.dropwizard.metrics</groupId>
<artifactId>metrics-core</artifactId>
<version>${metrics.version}</version>
</dependency>
目前Metrics
的最新版本是3.1.2
。
Metrics的基本工具
Metrics
提供了五个基本的度量类型:
- Gauges(度量)
- Counters(计数器)
- Histograms(直方图数据)
- Meters(TPS计算器)
- Timers(计时器)
Metrics
中MetricRegistry
是中心容器,它是程序中所有度量的容器,所有新的度量工具都要注册到一个MetricRegistry
实例中才可以使用,尽量在一个应用中保持让这个MetricRegistry
实例保持单例。
MetricRegistry 容器
在代码中配置好这个MetricRegistry
容器:
@Bean
public MetricRegistry metrics() {
return new MetricRegistry();
}
Meters TPS计算器
TPS计算器
这个名称并不准确,Meters
工具会帮助我们统计系统中某一个事件的速率。比如每秒请求数(TPS),每秒查询数(QPS)等等。这个指标能反应系统当前的处理能力,帮助我们判断资源是否已经不足。Meters
本身是一个自增计数器。
通过MetricRegistry
可以获得一个Meter
:
@Bean
public Meter requestMeter(MetricRegistry metrics) {
return metrics.meter("request");
}
在请求中调用mark()
方法,来增加计数,我们可以在不同的请求中添加不同的Meter
,针对自己的系统完成定制的监控需求。
@RequestMapping("/hello")
@ResponseBody
public String helloWorld() {
requestMeter.mark();
return "Hello World";
}
应用运行的过程中,在console中反馈的信息:
-- Meters ----------------------------------------------------------------------
request
count = 21055
mean rate = 133.35 events/second
1-minute rate = 121.66 events/second
5-minute rate = 36.99 events/second
15-minute rate = 13.33 events/second
从以上信息中可以看出Meter
可以为我们提供平均速率,以及采样后的1分钟,5分钟,15分钟的速率。
Histogram 直方图数据
直方图是一种非常常见的统计图表,Metrics
通过这个Histogram
这个度量类型提供了一些方便实时绘制直方图的数据。
和之前的Meter
相同,我们可以通过MetricRegistry
来获得一个Histogram
。
@Bean
public Histogram responseSizes(MetricRegistry metrics) {
return metrics.histogram("response-sizes");
}
在应用中,需要统计的位置调用Histogram
的update()
方法。
responseSizes.update(new Random().nextInt(10));
比如我们需要统计某个方法的网络流量,通过Histogram
就非常的方便。
在console中Histogram
反馈的信息:
-- Histograms ------------------------------------------------------------------
response-sizes
count = 21051
min = 0
max = 9
mean = 4.55
stddev = 2.88
median = 4.00
75% <= 7.00
95% <= 9.00
98% <= 9.00
99% <= 9.00
99.9% <= 9.00
Histogram
为我们提供了最大值,最小值和平均值等数据,利用这些数据,我们就可以开始绘制自定义的直方图了。
Counter 计数器
Counter
的本质就是一个AtomicLong
实例,可以增加或者减少值,可以用它来统计队列中Job的总数。
通过MetricRegistry
也可以获得一个Counter
实例。
@Bean
public Counter pendingJobs(MetricRegistry metrics) {
return metrics.counter("requestCount");
}
在需要统计数据的位置调用inc()
和dec()
方法。
// 增加计数
pendingJobs.inc();
// 减去计数
pendingJobs.dec();
console的输出非常简单:
-- Counters --------------------------------------------------------------------
requestCount
count = 21051
只是输出了当前度量的值。
Timer 计时器
Timer
是一个Meter
和Histogram
的组合。这个度量单位可以比较方便地统计请求的速率和处理时间。对于接口中调用的延迟等信息的统计就比较方便了。如果发现一个方法的RPS(请求速率)
很低,而且平均的处理时间很长,那么这个方法八成出问题了。
同样,通过MetricRegistry
获取一个Timer
的实例:
@Bean
public Timer responses(MetricRegistry metrics) {
return metrics.timer("executeTime");
}
在需要统计信息的位置使用这样的代码:
final Timer.Context context = responses.time();
try {
// handle request
} finally {
context.stop();
}
console中就会实时返回这个Timer
的信息:
-- Timers ----------------------------------------------------------------------
executeTime
count = 21061
mean rate = 133.39 calls/second
1-minute rate = 122.22 calls/second
5-minute rate = 37.11 calls/second
15-minute rate = 13.37 calls/second
min = 0.00 milliseconds
max = 0.01 milliseconds
mean = 0.00 milliseconds
stddev = 0.00 milliseconds
median = 0.00 milliseconds
75% <= 0.00 milliseconds
95% <= 0.00 milliseconds
98% <= 0.00 milliseconds
99% <= 0.00 milliseconds
99.9% <= 0.01 milliseconds
Gauges 度量
除了Metrics
提供的几个度量类型,我们可以通过Gauges
完成自定义的度量类型。比方说很简单的,我们想看我们缓存里面的数据大小,就可以自己定义一个Gauges
。
metrics.register(
MetricRegistry.name(ListManager.class, "cache", "size"),
(Gauge<Integer>) () -> cache.size()
);
这样Metrics
就会一直监控Cache
的大小。
除此之外有时候,我们需要计算自己定义的一直单位,比如消息队列里面消费者(consumers)消费的速率和生产者(producers)的生产速率的比例,这也是一个度量。
public class CompareRatio extends RatioGauge {
private final Meter consumers;
private final Meter producers;
public CacheHitRatio(Meter consumers, Meter producers) {
this.consumers = consumers;
this.producers = producers;
}
@Override
protected Ratio getRatio() {
return Ratio.of(consumers.getOneMinuteRate(),
producers.getOneMinuteRate());
}
}
把这个类也注册到Metrics
容器里面:
@Bean
public CompareRatio cacheHitRatio(MetricRegistry metrics, Meter requestMeter, Meter producers) {
CompareRatio compareRatio = new CompareRatio(consumers, producers);
metrics.register("生产者消费者比率", compareRatio);
return cacheHitRatio;
}
Reporter 报表
Metrics
通过报表,将采集的数据展现到不同的位置,这里比如我们注册一个ConsoleReporter
到MetricRegistry
中,那么console中就会打印出对应的信息。
@Bean
public ConsoleReporter consoleReporter(MetricRegistry metrics) {
return ConsoleReporter.forRegistry(metrics)
.convertRatesTo(TimeUnit.SECONDS)
.convertDurationsTo(TimeUnit.MILLISECONDS)
.build();
}
除此之外Metrics
还支持JMX
、HTTP
、Slf4j
等等,可以访问 http://metrics.dropwizard.io/3.1.0/manual/core/#reporters 来查看Metrics
提供的报表,如果还是不能满足自己的业务,也可以自己继承Metrics
提供的ScheduledReporter
类完成自定义的报表类。
完整的代码
这个demo是在一个很简单的spring boot下运行的,关键的几个类完整代码如下。
配置类MetricConfig.java
package demo.metrics.config;
import com.codahale.metrics.*;
import org.slf4j.LoggerFactory;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import java.util.concurrent.TimeUnit;
@Configuration
public class MetricConfig {
@Bean
public MetricRegistry metrics() {
return new MetricRegistry();
}
/**
* Reporter 数据的展现位置
*
* @param metrics
* @return
*/
@Bean
public ConsoleReporter consoleReporter(MetricRegistry metrics) {
return ConsoleReporter.forRegistry(metrics)
.convertRatesTo(TimeUnit.SECONDS)
.convertDurationsTo(TimeUnit.MILLISECONDS)
.build();
}
@Bean
public Slf4jReporter slf4jReporter(MetricRegistry metrics) {
return Slf4jReporter.forRegistry(metrics)
.outputTo(LoggerFactory.getLogger("demo.metrics"))
.convertRatesTo(TimeUnit.SECONDS)
.convertDurationsTo(TimeUnit.MILLISECONDS)
.build();
}
@Bean
public JmxReporter jmxReporter(MetricRegistry metrics) {
return JmxReporter.forRegistry(metrics).build();
}
/**
* 自定义单位
*
* @param metrics
* @return
*/
@Bean
public ListManager listManager(MetricRegistry metrics) {
return new ListManager(metrics);
}
/**
* TPS 计算器
*
* @param metrics
* @return
*/
@Bean
public Meter requestMeter(MetricRegistry metrics) {
return metrics.meter("request");
}
/**
* 直方图
*
* @param metrics
* @return
*/
@Bean
public Histogram responseSizes(MetricRegistry metrics) {
return metrics.histogram("response-sizes");
}
/**
* 计数器
*
* @param metrics
* @return
*/
@Bean
public Counter pendingJobs(MetricRegistry metrics) {
return metrics.counter("requestCount");
}
/**
* 计时器
*
* @param metrics
* @return
*/
@Bean
public Timer responses(MetricRegistry metrics) {
return metrics.timer("executeTime");
}
}
接收请求的类MainController.java
package demo.metrics.action;
import com.codahale.metrics.Counter;
import com.codahale.metrics.Histogram;
import com.codahale.metrics.Meter;
import com.codahale.metrics.Timer;
import demo.metrics.config.ListManager;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.ResponseBody;
import java.util.Random;
@Controller
@RequestMapping("/")
public class MainController {
@Autowired
private Meter requestMeter;
@Autowired
private Histogram responseSizes;
@Autowired
private Counter pendingJobs;
@Autowired
private Timer responses;
@Autowired
private ListManager listManager;
@RequestMapping("/hello")
@ResponseBody
public String helloWorld() {
requestMeter.mark();
pendingJobs.inc();
responseSizes.update(new Random().nextInt(10));
listManager.getList().add(1);
final Timer.Context context = responses.time();
try {
return "Hello World";
} finally {
context.stop();
}
}
}
项目启动类DemoApplication.java
:
package demo.metrics;
import com.codahale.metrics.ConsoleReporter;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.context.ApplicationContext;
import java.util.concurrent.TimeUnit;
@SpringBootApplication
public class DemoApplication {
public static void main(String[] args) {
ApplicationContext ctx = SpringApplication.run(DemoApplication.class, args);
// 启动Reporter
ConsoleReporter reporter = ctx.getBean(ConsoleReporter.class);
reporter.start(1, TimeUnit.SECONDS);
}
}
这里再配合Influxdb
和Grafana
可以构建一个非常漂亮的实时监控界面。
采集数据(Metrics)-> 存储数据(InfluxDB) -> 显示数据(Grafana)。
资源有限,我把这一套服务搭建在了一台CentOS 7
的服务器上。
安装influxdb
InfluxDB
是Go语言写的一个时序型数据库,可以通过rpm的方式来安装它,这里最好能安装InfluxDB
的最新版本,否则跟Grafana
的交互会有一些不兼容。
wget http://dl.influxdata.com/influxdb/releases/influxdb-0.12.2-1.x86_64.rpm
yum localinstall influxdb-0.12.2-1.x86_64.rpm
安装完成之后,启动并查看这个服务是否在正常运行:
systemctl start influxdb.service
[root@metrics ~]# systemctl status influxdb.service
● influxdb.service - InfluxDB is an open-source, distributed, time series database
Loaded: loaded (/usr/lib/systemd/system/influxdb.service; enabled; vendor preset: disabled)
Active: active (running) since 一 2016-04-25 17:50:04 CST; 1 day 1h ago
Docs: https://docs.influxdata.com/influxdb/
Main PID: 17871 (sh)
CGroup: /system.slice/influxdb.service
├─17871 /bin/sh -c /usr/bin/influxd -config /etc/influxdb/influxdb.conf >>/dev/nul...
└─17872 /usr/bin/influxd -config /etc/influxdb/influxdb.conf
4月 25 17:50:04 metrics systemd[1]: Started InfluxDB is an open-source, distributed...se.
4月 25 17:50:04 metrics systemd[1]: Starting InfluxDB is an open-source, distribute......
Hint: Some lines were ellipsized, use -l to show in full.
启动后打开 web 管理界面 http://192.168.2.183:8083/ 默认用户名和密码是 root 和 root. InfluxDB 的 Web 管理界面端口是 8083,HTTP API 监听端口是 8086,如果需要更改这些默认设定,修改 InfluxDB 的配置文件(/etc/influxdb/influxdb.conf)并重启就可以了。
安装 Grafana
Grafana
是一个非常好看的监控界面,它的安装方式也非常简单,通过yum
,一条命令就可以在server上完成安装。
yum install https://grafanarel.s3.amazonaws.com/builds/grafana-3.0.0-beta51460725904.x86_64.rpm
完成安装之后,启动并检查它的状态:
[root@metrics ~]# systemctl start grafana-server.service
[root@metrics ~]# systemctl status grafana-server.service
● grafana-server.service - Starts and stops a single grafana instance on this system
Loaded: loaded (/usr/lib/systemd/system/grafana-server.service; disabled; vendor preset: disabled)
Active: active (running) since 一 2016-04-25 09:37:07 CST; 1 day 10h ago
Docs: http://docs.grafana.org
Main PID: 10309 (grafana-server)
CGroup: /system.slice/grafana-server.service
└─10309 /usr/sbin/grafana-server --config=/etc/grafana/grafana.ini --pidfile= cfg:d...
用浏览器访问 Grafana
,默认端口是3000
,默认的帐号密码都是 admin(可以在配置文件中找到),登录之后配置数据库
Metrics Reporter
之前提到Metrics
只需要配置它的Reporter
就可以输出到对应的地方,对于Influxdb
,在github
上找到了一个Influxdb
的Reporter
(https://github.com/davidB/metrics-influxdb)。
在Maven
中引入:
<dependency>
<groupId>com.github.davidb</groupId>
<artifactId>metrics-influxdb</artifactId>
<version>0.8.2</version>
</dependency>
并在代码中配置Influxdb
的数据源:
@Bean(name = "influxdbReporter")
public ScheduledReporter influxdbReporter(MetricRegistry metrics) throws Exception {
return InfluxdbReporter.forRegistry(metrics)
.protocol(InfluxdbProtocols.http("host_ip_address", port, "username", "password", "database"))
.convertRatesTo(TimeUnit.SECONDS)
.convertDurationsTo(TimeUnit.MILLISECONDS)
.filter(MetricFilter.ALL)
.skipIdleMetrics(false)
.build();
}
启动项目之后,我们开始配置我们需要看到的图表信息:
最后我们利用wrk
测试工具并发访问连接:
➜ ~ wrk -t 10 -c 50 -d 5s http://127.0.0.1:8888/hello
Running 5s test @ http://127.0.0.1:8888/hello
10 threads and 50 connections
Thread Stats Avg Stdev Max +/- Stdev
Latency 6.59ms 12.17ms 210.05ms 92.16%
Req/Sec 1.40k 427.51 2.79k 71.80%
69902 requests in 5.04s, 10.28MB read
Requests/sec: 13873.71
Transfer/sec: 2.04MB
于此同时Grafana
界面上系统实时的数据信息也展现出来了:
转载:https://www.jianshu.com/p/e4f70ddbc287
微服务监控之二:Metrics+influxdb+grafana构建监控平台的更多相关文章
- .NET Core微服务之基于App.Metrics+InfluxDB+Grafana实现统一性能监控
Tip: 此篇已加入.NET Core微服务基础系列文章索引 一.关于App.Metrics+InfluxDB+Grafana 1.1 App.Metrics App.Metrics是一款开源的支持. ...
- 利用Metrics+influxdb+grafana构建监控平台(转)
转自http://www.jianshu.com/p/fadcf4d92b0e 这里再配合Influxdb和Grafana可以构建一个非常漂亮的实时监控界面. Grafana监控界面 采集数据(Met ...
- 利用Metrics+influxdb+grafana构建监控平台
https://blog.csdn.net/fishmai/article/details/51817429
- Spring Boot Actutaur + Telegraf + InFluxDB + Grafana 构建监控平台
完成一套精准,漂亮图形化监控系统从这里开始第一步 Telegraf是收集和报告指标和数据的代理 它是TICK堆栈的一部分,是一个用于收集和报告指标的插件驱动的服务器代理.Telegraf拥有插件或集成 ...
- Spring Boot Actutaur + Telegraf + InFluxDB + Grafana 构建监控平台之应用数据分析
本节将引入完美的granafa仪表板,在上节的基础上,并提出自己的一些监控数据的总结和看法 你可以有一个类似于这个的Dashboard,会引入监控Zimbra协作 本节环境采用的是centos7系统, ...
- 基于.net core微服务(Consul、Ocelot、Docker、App.Metrics+InfluxDB+Grafana、Exceptionless、数据一致性、Jenkins)
1.微服务简介 一种架构模式,提倡将单一应用程序划分成一组小的服务,服务之间互相协调.互相配合,为用户提供最终价值.每个服务运行在其独立的进程中,服务与服务间采用轻量级的通信机制互相沟通(RESTfu ...
- Metrics.net + influxdb + grafana 构建WebAPI的自动化监控和预警
前言 这次主要分享通过Metrics.net + influxdb + grafana 构建WebAPI的自动化监控和预警方案.通过执行耗时,定位哪些接口拖累了服务的性能:通过请求频次,设置适当的限流 ...
- 7、Docker监控方案(cAdvisor+InfluxDB+Grafana)
一.组件介绍 我们采用现在比较流行的cAdvisor+InfluxDB+Grafana组合进行Docker监控. 1.cAdvisor(数据采集) 开源软件cAdvisor(Container Adv ...
- jmeter+influxdb+grafana性能测试监控
背景: 话说Jmeter原生的监控确实太丑了,听大佬们在讨论Jmeter+InfluxDb+Grafana的监控,于是,为了有一个漂亮的测试报告,就手动开始进行部署. 安装步骤: 1.influxdb ...
随机推荐
- JNI_Z_04_属性的操作(非String类型的属性)
1.步骤 : (1).获取 jclass (2).获取 类属性字段的id(最后一个参数是 属性字段 的签名) (3).获取/设置 类属性字段的值 ZC: 貌似 JNI里面 操作 类属性字段,完全是 无 ...
- Kubernetes的网络模型
http://blog.csdn.net/zjysource/article/details/52052420
- CMD下利用subst命令将一个文件夹镜像成本地的一个虚拟磁盘
我们都知道net use可以建立网络驱动器映射,这里不说了. 我今天刚看到这命令的,叫镜像虚拟磁盘subst命令,这个命令可以简化好多操作,比如一个常用的文件放在一个路径很深的文件夹中,每次我们想要操 ...
- python中的set类型
一. 定义 set是一个无序且不重复的元素集合 set和dict类似,是一组key的集合,但不存储value set有以下特性: 1. 由于key不能重复,所有set中没有重复的key 2. 元素为不 ...
- UVALive 4270 Discrete Square Roots
题目描述: 在已知一个离散平方根的情况下,按照从小到大的顺序输出其他所有的离散平方根. 在模n意义下,非负整数x的离散平方根是满足0<=r<n且r2=x(mod n)的整数r. 解题思路: ...
- 简短的perl程序
简短的perl程序能够实现大功能. perl是如何做到的呢? 1. 默认变量 如果没有向函数提供参数值,则默认参数为$_: 如果没有变量用于接收一个表达式的值,则默认接收变量为 ...
- angularJS中directive父子组件的数据交互
angularJS中directive父子组件的数据交互 1. 使用共享 scope 的时候,可以直接从父 scope 中共享属性.使用隔离 scope 的时候,无法从父 scope 中共享属性.在 ...
- ARM的编程模式和7种模式
ARM采用的是32位架构 ARM阅读 --Byte: 8 bits --Halfword: 16 bits(2 byte) 半字 --Word: 32 bits( ...
- LeetCode OJ:Permutations II(排列II)
Given a collection of numbers that might contain duplicates, return all possible unique permutations ...
- 谈一下思考,关于mybatis中<foreach collection="list">中list得来的原因 没看到官方说明
<foreach> 是在sql语句中进行多个id查询 时用到的,因为mybatis代替jdbc和hibernate, 使用 在xml文件中编写sql语句,这是一个标签文件.然后在 dao层 ...