Dubbo原理解析-监控
Dubbo发布代码中,自带了一个简易的监控中心实现。对于一般的小业务这个监控中心应该能够满足需求,对于那些大业务量的大公司一般都会有自己的监控中心,更加丰富的功能如常用的报警短信通知等等。这章讲解分析使得读者能够了解一般的监控中心实现,也使得有自己接入监控中心需求的大概知道如何集成自己的监控中心实现。下面我们就以dubbo自带的监控中心开始讲解。
监控中心
1. 监控中心启动,我们先看下dubbo的属性文件
dubbo.container=log4j,spring,registry,jetty
dubbo.application.name=simple-monitor
dubbo.application.owner=
dubbo.registry.address=zookeeper://127.0.0.1:2181
dubbo.protocol.port=7070
dubbo.jetty.port=8080
dubbo.jetty.directory=${user.home}/monitor
dubbo.charts.directory=${dubbo.jetty.directory}/charts
dubbo.statistics.directory=${user.home}/monitor/statistics
相比于provider, consumer的启动注册中心多了registry, jetty容器启动
它们都是基于dubbo的spi扩展机制的。
SpringContainer容器启动就是加载classpath*:META-INF/spring/ *.xml spring的配置文件
<beanid="monitorService"class="com.alibaba.dubbo.monitor.simple.SimpleMonitorService">
<propertyname="statisticsDirectory"value="${dubbo.statistics.directory}"/>
<propertyname="chartsDirectory"value="${dubbo.charts.directory}"/>
</bean>
<dubbo:applicationname="${dubbo.application.name}"owner="${dubbo.application.owner}"/>
<dubbo:registryaddress="${dubbo.registry.address}"/>
<dubbo:protocolname="dubbo"port="${dubbo.protocol.port}"/>
<dubbo:serviceinterface="com.alibaba.dubbo.monitor.MonitorService"ref="monitorService"delay="-1"/>
<dubbo:referenceid="registryService"interface="com.alibaba.dubbo.registry.RegistryService"/>
2. SimpleMonitorService
监控中心配置了监控服务的实现SimpleMonitorService, 并且作为一个普通的dubbo服务暴露到注册中心,供服务的提供者和服务的消费方调用,将服务提供者和服务的消费方的调用数据保存到监控中心。
监控服务的接口定义
public interface MonitorService {
/**
* 监控数据采集.
* 1. 支持调用次数统计:count://host/interface?application=foo&method=foo&provider=10.20.153.11:20880&success=12&failure=2&elapsed=135423423
* 1.1host,application,interface,group,version,method记录监控来源主机,应用,接口,方法信息。
* 1.2 如果是消费者发送的数据,加上provider地址参数,反之,加上来源consumer地址参数。
* 1.3 success,faulure,elapsed 记录距上次采集,调用的成功次数,失败次数,成功调用总耗时,平均时间将用总耗时除以成功次数。
*
* @paramstatistics
*/
void collect(URLstatistics);
/**
* 监控数据查询.
* 1. 支持按天查询:count://host/interface?application=foo&method=foo&side=provider&view=chart&date=2012-07-03
* 1.1host,application,interface,group,version,method查询主机,应用,接口,方法的匹配条件,缺失的条件的表示全部,host用0.0.0.0表示全部。
* 1.2 side=consumer,provider 查询由调用的哪一端采集的数据,缺省为都查询。
* 1.3 缺省为view=summary,返回全天汇总信息,支持view=chart表示返回全天趋势图表图片的URL地址,可以进接嵌入其它系统的页面上展示。
* 1.4 date=2012-07-03指定查询数据的日期,缺省为当天。
*
* @param query
* @returnstatistics
*/
List<URL> lookup(URL query);
}
注: lookup方面可能在开源过程中依赖了阿里的什么系统,并没有具体的实现,如果使用着需要此功能则需要根据接口定义自己实现
MonitorService的dubbo默认实现SimpleMonitorService
Collect方法被远程调用后将数据url(传过来的url包含监控需要的数据)保存到一个阻塞队列中BlockingQueue<URL>
启动定时任务将统计日志记录到本地,
String filename =${user.home}/monitor/statistics
+ "/" + day
+ "/" +statistics.getServiceInterface()
+ "/" +statistics.getParameter(METHOD)
+ "/" + consumer
+ "/" + provider
+ "/" + type + "." + key
这是文件在本地存储的格式
文件内容如图保存时间方法消费耗时
3. 起定时任务利用JFreeeChart绘制图表,保存路径
${user.home}\monitor\charts\date\interfaceName\methodName
产生监控数据
注册中心暴露了MonitorService服务,它是被谁调用的呢,监控中心的数据是从哪里来呢,下面我们看下服务提供方与服务的消费方式如何介入监控中心的。
在服务的提供方跟消费方的dubbo配置加入如下配置
通过注册中心<dubbo:monitor protocol="registry" />
或者直连 <dubbo:monitor address="127.0.0.1:7070" />
在构建服务的调用链的时候有如上基于监控的扩展,下面我们就来看下这个类
@Activate(group = {Constants.PROVIDER, Constants.CONSUMER})
//此过滤器在服务的提供方,服务的消费方应用中被激活,也就是起作用
public class MonitorFilter implements Filter {
private MonitorFactory monitorFactory;
public Result invoke(Invoker<?>invoker, Invocation invocation) throws RpcException {
if(invoker.getUrl().hasParameter(Constants.MONITOR_KEY)) {
//有注监控中心处理
1. 获取invoker的调用上下文
2. 记录起始时间戳
3. 并发计数加一
try {
4. 调用调用链的下一步
5. 采集调用信息
} finally {
6. 并发计数减一
}
} else {
//没有配置监控中心,直接往下调用
return invoker.inovke(invocation);
}
}
上面第5点信息采集
1. 计算调用耗时
2. 获取并发数
3. 获取服务名称
4. 获取方法名
5. 判断是服务消费方监控还是服务提供方监控
6. 由工厂类monitorFactory.getMonitor(监控url),获取DubboMonitor对象,
构建调用监控中心服务的的Url, url中包括了监控中心所需的监控信息
monitor.collect(newURL(Constants.COUNT_PROTOCOL,
NetUtils.getLocalHost(),localPort,
service + "/" +method,
MonitorService.APPLICATION, application,
MonitorService.INTERFACE,service,
MonitorService.METHOD,method,
remoteKey, remoteValue,
error ?MonitorService.FAILURE : MonitorService.SUCCESS, "1",
MonitorService.ELAPSED,String.valueOf(elapsed),
MonitorService.CONCURRENT,String.valueOf(concurrent),
Constants.INPUT_KEY, input,
Constants.OUTPUT_KEY, output));
DubboMonitor是调用监控中心的服务的封装,之所以没有直接调监控中心而是通过DubboMonitor调用,是因为监控是附加功能,不应该影响主链路更不应该损害主链路的新能,DubboMonitor采集到数据后通过任务定时调用监控中心服务将数据提交到监控中心。
RegistryContainer
监控中心refer引用了注册中心暴露的RegistryService服务,主要是被下面的RegistryContainer使用的。
RegistryContainer主要是到注册中心收集服务,分组,版本信息,并注册回调当注册中心数据发生变化的时候更新到监控中心
下面看下RegistryContainer的start方法流程:
1. 通过SpringContainer获取前面初始化的RegistryService, 得到其实是对注册中心的一个远程代理服务
2. 构建订阅注册中心数据的URL,看可以看出下面的url是订阅服务提供者和服务消费者的所有服务
subscribeUrl = newURL(Constants.ADMIN_PROTOCOL, NetUtils.getLocalHost(), 0,"",
Constants.INTERFACE_KEY,Constants.ANY_VALUE,//所有服务
Constants.GROUP_KEY,Constants.ANY_VALUE,//所有分组
Constants.VERSION_KEY, Constants.ANY_VALUE,//所有版本
Constants.CLASSIFIER_KEY,Constants.ANY_VALUE,//所有分类
Constants.CATEGORY_KEY,Constants.PROVIDERS_CATEGORY + "," + Constants.CONSUMERS_CATEGORY,//服务的提供者和服务的消费者
Constants.CHECK_KEY,String.valueOf(false));//不检查
3. 调注册中心服务registry.subscirbe(subscribeUrl,listener)订阅所有数据, NotifyListener在监控中心暴露为回调服务,由注册中心回调
回调接口NotifyListener实现的功能主要是按服务提供者和服务的消费者分类,收集服务名称,服务的url,服务提供方或者消费方的系统相关信息。 同时提供了一系列方法供注册中心调用查询。
JettyContainer
监控中心将采集到的信息通过内置jetty来展现给用户,这里为了不依赖与jsp, velocity,freemarker等一些编写web应用的技术,采用在servlet中将html,css,js打印出来
JettyContainer的start方法启动了内置的jettyweb容器
将监控中心访问的本地文件目录设置到ResourceFilter中,并设置这个filter的访问映射到jetty中 , ResourceFilter主要是读取本地保存的JFreeChart绘制的图片到浏览器中去。
将监控中心的前置控制器PageServlet, 以及这个servlet的访问映射配置到jetty中。之所以叫PageServet为前置控制器,就像其他的mvc框架一样用来分发具体的业务类
PageServet的init初始化方法在web容器启动的时候加载所有的页面处理器PageHandler, 用来根据不同的请求生成不同的页面,前面说过这里页面html都是通过java代码打印出来的。
PageServet的init方法加载所有PageHandler时会判断PageHandler上是否有@Menu注解,将有注解的PageHandler加入集合,以被HomePageHandl er用来生成主页以及各个页面的uri
PageServet的doGet, doPost接收浏览器请求,请求以xx.hml形式,xx就是PageHandler扩展的key,找到对应的PageHandler绘制对应的页面返回给浏览器。
@Menu(name = "Home",desc = "Home page.", order = Integer.MIN_VALUE)
//有注解 name跟desc属性都是在页面中展示给用户看的
public class HomePageHandlerimplements PageHandler {
public Page handle(URL url) {
List<List<String>> rows =new ArrayList<List<String>>();
for (PageHandler handler :PageServlet.getInstance().getMenus()) {
String uri =ExtensionLoader.getExtensionLoader(PageHandler.class).getExtensionName(handler); //这个uri其实就是PageHandler扩展配置的key,页面中用它来请求选择具体的handler绘制
//出具体的page
Menu menu =handler.getClass().getAnnotation(Menu.class);
List<String> row = newArrayList<String>();
row.add("<ahref=\"" + uri + ".html\">" + menu.name() +"</a>");
row.add(menu.desc());
rows.add(row);
}
return new Page("Home","Menus", new String[]{"Menu Name", "Menu Desc"}, rows); //一个Page实体就是一个页面,这里包含所有主要HomePage的页面内容
}
}
PageHandler的在com.alibaba.dubbo.container.page.PageHandler文件中的扩展配置
index=com.alibaba.dubbo.container.page.pages.HomePageHandler
providers=com.alibaba.dubbo.monitor.simple.pages.ProvidersPageHandler
consumers=com.alibaba.dubbo.monitor.simple.pages.ConsumersPageHandler
。。。。
下面截图看下dubbo大概提供了哪些扩展
下面截几张图看看监控中心的页面。
Dubbo原理解析-监控的更多相关文章
- Java进阶专题(二十六) 将近2万字的Dubbo原理解析,彻底搞懂dubbo
前言 前面我们研究了RPC的原理,市面上有很多基于RPC思想实现的框架,比如有Dubbo.今天就从Dubbo的SPI机制.服务注册与发现源码及网络通信过程去深入剖析下Dubbo. Dubbo架构 ...
- Dubbo原理解析(非常透彻)
一.概述 dubbo是一款经典的rpc框架,用来远程调用服务的. dubbo的作用: 面向接口的远程方法调用 智能容错和负载均衡 服务自动注册和发现. 自定义序列化协议 Dubbo 架构中的核心角色有 ...
- Java进阶专题(二十七) 将近2万字的Dubbo原理解析,彻底搞懂dubbo (下)
...接上文 服务发现 服务发现流程 整体duubo的服务消费原理 Dubbo 框架做服务消费也分为两大部分 , 第一步通过持有远程服务实例生成Invoker,这个Invoker 在客户端是核心的远程 ...
- 分布式服务框架dubbo原理解析(转)
libaba有好几个分布式框架,主要有:进行远程调用(类似于RMI的这种远程调用)的(dubbo.hsf),jms消息服务(napoli.notify),KV数据库(tair)等.这个框架/工具/产品 ...
- 分布式服务框架dubbo原理解析 转
alibaba有好几个分布式框架,主要有:进行远程调用(类似于RMI的这种远程调用)的(dubbo.hsf),jms消息服务(napoli.notify),KV数据库(tair)等.这个框架/工具/产 ...
- Dubbo原理解析-注册中心之Zookeeper协议注册中心
下面我们来看下开源dubbo推荐的业界成熟的zookeeper做为注册中心, zookeeper是hadoop的一个子项目是分布式系统的可靠协调者,他提供了配置维护,名字服务,分布式同步等服务.对于z ...
- 分布式服务框架dubbo原理解析
alibaba有好几个分布式框架,主要有:进行远程调用(类似于RMI的这种远程调用)的(dubbo.hsf),jms消息服务(napoli.notify),KV数据库(tair)等.这个框架/工具/产 ...
- 【DUBBO】Dubbo原理解析-服务引用
服务引用是服务的消费方向注册中心订阅服务提供方提供的服务地址后向服务提供方引用服务的过程. 服务的应用方在spring的配置实例如下: <dubbo:referenceid="demo ...
- 【DUBBO】Dubbo原理解析-服务发布
转载:http://blog.csdn.net/quhongwei_zhanqiu/article/details/41651205 服务发布方在spring的配置文件中配置如下: <bean ...
随机推荐
- matlab最小二乘法数据拟合函数详解
定义: 最小二乘法(又称最小平方法)是一种数学优化技术.它通过最小化误差的平方和寻找数据的最佳函数匹配.利用最小二乘法可 以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小. ...
- 原生js判断某个元素是否有指定的class名的几种方法
[注意]以下方法只对class只有一个值的情况下操作 ************************************************************* 结构部分: <d ...
- iScroll 4,把禁掉的:active样式还给我~
iScroll这个移动端的滚动神器大家都非常熟悉了,直到现在仍是实现移动端Web滚动的首选方案之一... 当我接触移动端Web时iScroll已经有两个版本了,iScroll 4和iScroll 5, ...
- 有一个警告:Could not open/create prefs root node
WARNING: Could not open/create prefs root node Software\JavaSoft\Prefs at root 0x80000002. 虽然程序也能正常运 ...
- mysql 特殊语句
1.获取下当前mysql的插件目录select @@plugin_dir 2.mysql移动文件 select load_file('文件路径') into dumpfile '导出路径' 3.des ...
- MySQL 表分区A
在MySQL中表的分区类型总的来说有四种: 第一种:range分区.基于一个给定的区间范围,把数据分配到不同的分区. 第二种:list 分区.基本枚举的值列表进行分区. 第三种:hast 分区.基 ...
- js动态创建样式: style 和 link
js动态创建样式: style 和 link ie6 不能 document.createElement('style') 然后append到head标签里.所以就找到这样个好文章 有很多提供动态创建 ...
- linux系统巡检脚本shell实例
#!/bin/sh BACKUP_TIMESTAMP=`date +%Y%m%d` HOSTNAME=`hostname` num=89 ###################核查文件系统opt### ...
- Windows Azure 新上线网络相关服务
动态路由网关.点到站点(Point to Site)VPN正式商用 动态路由网关和点到站点VPN支持基于路由的VPN,并且允许用户将独立计算机连接到Azure上的虚拟网络.现在,虚拟网络中的动态 ...
- java 反射提取类信息, 动态代理 和过滤某些方法演示
java 反射提取类信息, 动态代理 和过滤某些方法演示 package org.rui.classts.reflects; import java.lang.reflect.Constructor; ...