Dubbo架构学习整理
一. Dubbo诞生背景
随着互联网的发展和网站规模的扩大,系统架构也从单点的垂直结构往分布式服务架构演进,如下图所示:
- 单一应用架构:一个应用部署所有功能,此时简化CRUD的ORM框架是关键
- 垂直应用架构:应用拆分为不相干的几个应用,前后端分离,此时用于加速前端页面开发的Web MVC框架是关键
- 分布式服务架构:抽取各垂直应用的核心业务作为独立服务,形成稳定的服务中心,此时用于提高业务复用及整合的分布式服务框架(RPC)是关键
- 流动计算架构:当服务越来越多,容量的评估、小服务资源的浪费等问题逐渐显现,此时用于提高机器利用率的实时资源调度和治理中心(SOA)是关键
当服务比较少时,可以通过 RMI 或 Hession 等工具,简单的暴露和引用远程服务,通过配置服务的URL地址来调用,通过F5等硬件负载均衡
当服务越来越多时,服务配置URL变的困难,F5硬件负载均衡的单点压力越来越大。此时需要服务注册中心,动态的注册和发现服务,使服务的位置透明。服务调用实现软负载均衡和Failover,降低对F5硬件负载均衡器的依赖
当服务间关系越来越复杂时,此时需要自动画出服务间的依赖关系图,来帮助架构师理清服务关系
当服务调用量越来越大时,服务需要多少台机器支撑,服务容量的问题就暴露出来了,此时需要统计服务每天的调用量、响应时间等性能指标作为容量规划的参考。其次,还可以动态调整权重,将某台机器权重一直加大,直到响应时间到阀值,按照此时的访问量反推服务的总容量
以上是Dubbo的基本需求,如下图所示:
二. 整体架构
Dubbo的整体架构设计如图所示:
Dubbo框架一共分10层,各层单向依赖。最上面的 Service 和 Config 为API,其他均为 SPI。左边淡蓝色的为 consumer 使用的接口,右边淡绿色的为 provider 使用的接口,中间的为双方都用到的接口。
黑色箭头代表层之间的依赖关系;蓝色虚线为初始化过程,即启动时组装链;红色实线为方法调用过程;紫线为继承关系。线上的文字为调用的方法。
1、接口服务层(Service):该层与业务逻辑相关,根据 provider 和 consumer 的业务设计对应的接口和实现
2、配置层(Config):对外配置接口,以 ServiceConfig 和 ReferenceConfig 为中心
3、服务代理层(Proxy):服务接口透明代理,生成服务的客户端 Stub 和 服务端的 Skeleton,以 ServiceProxy 为中心,扩展接口为 ProxyFactory
4、服务注册层(Registry):封装服务地址的注册和发现,以服务 URL 为中心,扩展接口为 RegistryFactory、Registry、RegistryService
5、路由层(Cluster):封装多个提供者的路由和负载均衡,并桥接注册中心,以Invoker 为中心,扩展接口为 Cluster、Directory、Router和LoadBlancce
6、监控层(Monitor):RPC调用次数和调用时间监控,以 Statistics 为中心,扩展接口为 MonitorFactory、Monitor和MonitorService
7、远程调用层(Protocal):封装 RPC 调用,以 Invocation 和 Result 为中心,扩展接口为 Protocal、Invoker和Exporter
8、信息交换层(Exchange):封装请求响应模式,同步转异步。以 Request 和 Response 为中心,扩展接口为 Exchanger、ExchangeChannel、ExchangeClient和ExchangeServer
9、网络传输层(Transport):抽象 mina 和 netty 为统一接口,以 Message 为中心,扩展接口为Channel、Transporter、Client、Server和Codec
10、数据序列化层(Serialize):可复用的一些工具,扩展接口为Serialization、 ObjectInput、ObjectOutput和ThreadPool
各层关系说明:
- Portocol 是核心层,也就是只要有 Protocol + Invoker + Exporter 就可以完成非透明的 RPC 调用,然后在 Invoker 的主过程上 Filter 拦截点
- Cluster 是外围概念,目的是将多个 Invoker 伪装为一个 Invoker,这样其它人只要关注 Protocol 层 Invoker 即可。只有一个 provider 时,是不需要 Cluster 的
- Proxy 层封装了所有接口的透明化代理,而在其它层都以 Invoker 为中心,只有到了暴露给用户使用时,才用 Proxy 将 Invoker 转成接口,或将接口实现转成 Invoker,看起来像调本地服务一样调远程服务
- Remoting 内部再划为 Transport 传输层和 Exchange 信息交换层:Transport 层只负责单向消息传输,是对 Mina, Netty, Grizzly 的抽象;而 Exchange 层是在传输层之上封装了 Request-Response 语义
Dubbo核心领域模型:
- Protocol 是服务域,它是 Invoker 暴露和引用的主功能入口,它负责 Invoker 的生命周期管理
- Invoker 是实体域,它是 Dubbo 的核心模型,其它模型都向它靠扰,或转换成它。它代表一个可执行体,可向它发起 invoke 调用,它有可能是一个本地的实现,也可能是一个远程的实现,也可能一个集群实现
- Invocation 是会话域,它持有调用过程中的变量,比如方法名,参数等
Dubbo主要包括以下几个节点:
- Provider:暴露服务的服务提供方
- Consumer:调用远程服务的服务消费方
- Registry:服务注册和发现的注册中心
- Monitor:统计服务的调用次数和调用时间的监控中心
- Container:服务运行容器
Consumer, Provider, Registry, Monitor代表逻辑部署节点。图中只包含 RPC 层,不包含 Remoting层,Remoting整体隐藏在 Protocol 中。
蓝色方框代表业务有交互,绿色方框代表只对Dubbo内部交互。蓝色虚线为初始化时调用,红色虚线为运行时异步调用,红色实线为运行时同步调用
0、服务在容器中启动,加载,运行Provider
1、Provider在启动时,向Registry注册自己提供的服务
2、Consumer在启动时,想Registry订阅自己所需的服务
3、Registry给Consumer返回Provider的地址列表,如果Provider地址有变更(上线/下线机器),Registry将基于长连接推动变更数据给Consumer
4、Consumer从Provider地址列表中,基于软负载均衡算法,选一台进行调用,如果失败,重试另一台调用
5、Consumer和Provider,在内存中累计调用次数和时间,定时每分钟一次将统计数据发送到Monitor
将上面的服务调用流程展开,如下图所示:
蓝色虚线为初始化过程,即启动时组装链;红色实线为方法调用过程,即运行时调用链;紫色实线为继承
三、实现细节
Invoker 是 Dubbo 领域模型中非常重要的一个概念,很多设计思路都是向它靠拢,这就使得 Invoker 渗透在整个实现代码里。下面用一个精简的图来说明最重要的两种 Invoker:服务提供 Invoker 和服务消费 Invoker:
① 定义服务接口:
public interface DemoService {
String sayHello(String name);
}
② 服务提供者代码:
public class DemoServiceImpl implements DemoService {
public String sayHello(String name) {
return "Hello " + name;
}
}
ServiceConfig 类拿到对外提供服务的实际类 ref(如:DemoServiceImpl)通过 ProxyFactory.getInvoker 方法使用 ref 生成一个 AbstractProxyInvoker 实例,然后 通过 Protocol.export 方法新生成一个 Exporter 实例
当网络通讯层收到一个请求后,会找到对应的 Exporter 实例,并调用它所对应的 AbstractProxyInvoker 实例,从而真正调用了服务提供者的代码
③ 服务消费者代码:
public class DemoClientAction {
private DemoService demoService; public void setDemoService(DemoService demoService) {
this.demoService = demoService;
} public void start() {
String hello = demoService.sayHello("world");
}
}
首先通过 ReferenceConfig.init 方法调用 Protocal.refer 方法生成 Invoker 实例,接下来通过 ProxyFactory.getProxy 方法将 Invoker 转换为客户端需要的接口(如:DemoService)
DemoService 就是 consumer 端的 proxy,用户代码通过这个 proxy 调用其对应的 Invoker,通过 Invoker 实现真正的远程调用
四. 功能特性
1. 配置
Dubbo可以采用全Spring的配置方式,基于Spring的Schema扩展进行加载,接入对业务透明,无API侵入。配置项可参考:schema 配置参考手册
除了Spring配置,也可以使用API配置、属性配置和注解配置方式。
配置之间的关系,如下图所示:
provider side:
<dubbo:protocol/>:协议配置。用于配置提供服务的协议信息,协议由provider指定,consumer被动接受
<dubbo:service/>: 服务配置。暴露一个service,定义service的元信息,一个service可以用多个协议暴露,也可以注册到多个注册中心
<dubbo:provider/>:提供方配置【可选】。当 ProtocolConfig 和 ServiceConfig 某属性没有配置时,采用此缺省值
consumer side:
<dubbo:reference/>:引用配置。用于创建一个远程服务代理,一个引用可以指向多个注册中心
<dubbo:consumer/>:消费方配置【可选】。当 ReferenceConfig 某属性没有配置时,采用此缺省值
application shared:
<dubbo:application/>:应用配置。配置应用信息,包括provider和consumer
<dubbo:registry/>:注册中心配置。配置连接注册中心相关信息
<dubbo:monitor/>:监控中心配置【可选】。配置连接监控中心相关信息
sub-config:
<dubbo:method/>:方法配置。用于 ServiceConfig 和 ReferenceConfig 指定方法级的配置信息
<dubbo:argument/>:参数配置。用于指定方法参数配置
2. 集群容错
服务调用时的过程如下图:
Invoker:是Provider的一个可调用Service的抽象,封装了Provider地址和Service接口信息
Directory:代表多个Invoker,可将它看为List<Invoker>,它的值是动态变化的,比如注册中心推送变更
Cluster:将Directory的多个Invoker伪装为一个Invoker,对上层透明。伪装过程中包括容错逻辑,例如:一个Invoker调用失败后重试另一个Invoker
Router:从多个Invoker中按路由规则选出子集,例如:读写分离、应用隔离等
LoadBlance:从多个Invoker中选出具体的一个Invoker用于本次调用,选的过程包括负载均衡算法,调用失败后需要重选
当Cluster集群调用失败时,Dubbo提供了多种容错方案:
- Failover【默认】:失败时自动切换,重试其它服务器。通常用于读操作,可通过 retries="2" 来设置重试次数(不含第一次)
- Failfast:快速失败,只调用一次,失败立即报错。通常用于非幂等的写操作,比如:新增记录
- Failsafe:失败安全,失败时直接忽略。通常用于写入审计日志等操作
- Failback:失败自动恢复,后台记录失败请求,定时重发。通常用于消息通知等操作
- Forking:并行调用多个服务器,只要一个成功即返回。通常用于实时性较高的读操作,但浪费更多服务资源。可通过 forks="2" 设置最大并行数
- Broadcast:广播调用者,逐个调用,任意一台报错则报错。通常用于通知所有提供者更新本地资源信息,如缓存、日志等
3. 路由规则
路由规则决定一次dubbo服务调用的目标服务器,分为脚本路由规则和条件路由规则,支持可扩展。向注册中心写入路由规则的操作通常由治理中心的页面完成
- 脚本路由规则:支持JDK脚本引擎的所有脚本,例如:javascript, groovy 等
- 条件路由规则:基于条件的路由规则,例如:host = 10.20.153.10 => hsot = 10.20.153.11。=>之前是consumer匹配条件,所有参数和consumer的URL进行对比,如果consumer满足匹配条件,则对consumer执行后面的过滤规则。=>之后是provider地址列表的过滤条件,所有参数和provider的URL进行对比,consumer只拿到过滤后的地址列表
4. 负载均衡
如上图 LoadBlance 模块所示:在集群负载均衡时,Dubbo提供了不同的策略:
- Random【默认】:随机,按权重设置随机概率。调用量越大越均匀,有利于动态调整权重
- RoundRobin:轮询,按公约后的权限设置轮询比率。如果有台机器很慢,但没挂,当请求到那一台时就卡在那儿,久而久之,所有请求都卡在那台机器上
- LeastActive:最少活跃调用数,活跃数指调用前后计数差,越慢的provider的调用前后计数差越大,使得慢的provider收到更少请求
- ConsistentHash:一致性Hash,相同参数的请求发往同一台provider,当一台provider挂掉时,原本发往该机器的请求,基于虚拟节点会平摊到其他机器,不会引起剧烈变动
5. 线程派发模型
如果事件处理的逻辑能迅速完成,并且不发生新的IO请求(例如在内存中记个标识),则在IO线程上处理更快,因为减少了线程池调度
如果事件处理的逻辑较慢,或需要发起新的IO请求(例如需要查询数据库),则必须派发到线程池,否则 IO 线程阻塞,将导致不能接受其他请求
因此需要不同的派发策略和不同的线程池组合来应对不同的场景:
Dispatcher:
- all:所有消息派发到 ThreadPool,包括请求、响应、连接事件、断开事件、心跳等
- direct:所有消息不派发 ThreadPool,全在 IO 线程上执行
- message:只有请求响应消息派发到 ThreadPool,其他连接事件、断开事件、心跳等,在 IO 线程上执行
- execution:只请求消息派发到 ThreadPool,其他事件包括响应事件、连接断开事件、心跳等消息,在 IO 线程上执行
- connection:在 IO 线程上,将连接断开事件放入队列,有序逐个执行,其他时间派发到 ThreadPool
ThreadPool:
- fixed【默认】:固定大小线程池,启动时建立线程,一直持有不关闭
- cached:缓存线程池,空闲一分钟自动删除,需要时重建
- limited:可伸缩线程池,线程数只增长不收缩,目的是为了避免收缩时大流量引起的性能问题
- eager:优先创建Worker线程池,corePoolSize < 任务数量 < maximumPoolSize时,优先创建 Worker 处理任务。任务数量 > maximumPoolSize时,任务放入阻塞队列中,阻塞队列充满时抛出 RejectExecutionException
6. 上下文信息和隐式参数
上下文中存放着当前调用过程中所需的环境信息。RpcContext 是一个 ThreadLocal 的临时状态记录器,当接收或发起 RPC 请求时,RpcContext 都会发生变化。比如:A调用B,B调用C,在B调C之前,B机器上 RpcContext 记录的是A调用B的信息。
通过 RpcContext 的 setAttachment 和 getAttachment 可以在 provider 和 consumer 之间进行参数的隐式传递
7. 异步调用
基于NIO的非阻塞实现并行调用,客户端不需要启动多线程即可完成多个远程服务的并行调用,相对比多线程开销较小
8. 注册中心
对于 provider,它需要发布服务,而且由于应用系统的复杂性,服务的数量、类型也不断膨胀;对于 consumer,它最关心如何获取到它所需要的服务,而面对复杂的应用系统,需要管理大量的服务调用
服务注册中心通过特性协议将服务统一管理起来,有效的优化内部应用对服务发布/使用的流程。Dubbo提供的注册中心有如下几种类型可供选择:
① ZooKeeper注册中心
ZK是一个树形的服务目录,支持变更推送,适合作为Dubbo服务的注册中心。流程如下:
- provider启动时,向 /dubbo/com.foo.BarService/providers 目录下写入自己的 URL 地址
- consumer启动时,订阅 /dubbo/com.foo.BarService/providers 目录下的 providers 地址,并向 /dubbo/com.foo.BarService/consumers 目录下写入自己的 URL 地址
- 监控中心启动时,订阅 /dubbo/com.foo.BarService 目录下的所有 provider 和 consumer URL地址
当 provider 出现断电等异常停机时,注册中心能自动删除 provider 信息。当注册中心重启、或会话过期时,能自动恢复注册数据和订阅请求
② Multicase注册中心
Multicast注册中心不需要启动任何中心节点,只要广播地址即可互相发现
- provider 启动时广播自己的地址
- consumer 启动时广播订阅请求
- provider 收到订阅请求时,单播自己的地址给订阅者,若设置了 unicast=false,则广播给订阅者
- consumer 收到 provider 地址时,连接地址进行 RPC 调用
组播受网络结构限制,只适合小规模应用或开发阶段
③ Redis注册中心
使用 redis 的 Key/Map 结构存储数据结构:
- 主 Key 为服务名和类型
- Map 中的 Key 为 URL 地址
- Map 中的 Value 为过期时间,用于判断脏数据,脏数据由监控中心删除
调用过程:
- provider 启动时,向 Key:/dubbo/com.foo.BarService/providers 下,添加当前 provider 的地址
- 并向 Channel:/dubbo/com.foo.BarService/providers 发送 register 事件
- consumer 启动时,向 Key:/dubbo/com.foo.BarService/providers 下,添加当前 consumer 的地址
- 并从 Channel:/dubbo/com.foo.BarService/providers 订阅 register 和 unregister 事件
- consumer 收到 register 和 unregister 事件后,从 Key:/dubbo/com.foo.BarService/providers 下获取 provider 地址列表
- 服务监控中心启动时,从 Channel:/dubbo/* 订阅 register 和 unregister,以及 subscribe 和 unsubscribe 事件
- 监控中心收到 register 和 unregister 事件后,从 Key:/dubbo/com.foo.BarService/providers 下获取 provider 地址列表
- 监控中心收到 subscribe 和 unsubscribe 事件后,从 Key:/dubbo/com.foo.BarService/comsumers 下获取 consumer 地址列表
参考
Dubbo架构学习整理的更多相关文章
- Java开发瓶颈,Dubbo架构学习整理
作者:butterfly100 一. Dubbo诞生背景 随着互联网的发展和网站规模的扩大,系统架构也从单点的垂直结构往分布式服务架构演进,如下图所示: 单一应用架构:一个应用部署所有功能,此时简化C ...
- 这是一套Java菜鸟到大牛的学习路线之高级教程,由工作了10年的资深Java架构师整理。
这是一套Java菜鸟到大牛的学习路线之高级教程,由工作了10年的资深Java架构师整理. 01-java高级架构师设计-基础深入 J2SE深入讲解 Java多 ...
- Dubbo 用户手册学习笔记 —— Dubbo架构
Dubbo的架构 节点角色说明 节点 角色说明 Provider 服务提供方 Consumer 服务消费方 Registry 服务注册与发现的注册中心 Monitor 统计服务的调用次数和调用时间的监 ...
- 基于Spring Boot和Spring Cloud实现微服务架构学习
转载自:http://blog.csdn.net/enweitech/article/details/52582918 看了几周Spring相关框架的书籍和官方demo,是时候开始总结下这中间的学习感 ...
- 基于Spring Boot和Spring Cloud实现微服务架构学习--转
原文地址:http://blog.csdn.net/enweitech/article/details/52582918 看了几周spring相关框架的书籍和官方demo,是时候开始总结下这中间的学习 ...
- dubbo入门学习笔记之环境准备
粗略的学完springcloud后由于公司的项目有用到一点dubbo,刚好手头上又有dubbo的学习资料,于是趁机相对系统的学了下duboo框架,今天开始记录下我的所学所悟;说来惭愧,今年之前,作为一 ...
- Dubbo -- 系统学习 笔记 -- 配置参考手册
Dubbo -- 系统学习 笔记 -- 目录 配置参考手册 <dubbo:service/> <dubbo:reference/> <dubbo:protocol/> ...
- Dubbo -- 系统学习 笔记 -- 入门
Dubbo -- 系统学习 笔记 -- 目录 入门 背景 需求 架构 用法 入门 背景 随着互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行, ...
- dubbo入门学习
官方网址:http://dubbo.apache.org/zh-cn/index.html 学习可以参考官网中文文档:http://dubbo.apache.org/zh-cn/docs/user/q ...
随机推荐
- 1111. Online Map (30)
Input our current position and a destination, an online map can recommend several paths. Now your jo ...
- Java集合不能存放基本数据类型
Java集合不能存放基本数据类型,只能存放对象的引用. 每个集合元素都是一个引用变量,实际内容都存放在堆内或方法区里面, 但是基本数据类型是在栈内存上分配空间的,栈上的数据随时会被收回. 如何解决? ...
- 前端json导入excel中
ExportToExcel: function () { var param = {}; var _this = this; param.beginDate = $("#beginDate& ...
- HDU 4609 3-idiots (组合数学 + FFT)
题意:给定 n 条边,问随机选出 3 条边,能组成三角形的概率是多少. 析:答案很明显就是 能组成三角形的种数 / (C(n, 3)).现在的问题是怎么求能组成三角形的种数. 这个博客说的非常清楚了 ...
- Oracle创建物化视图
1.物化视图语法 create materialized view [view_name] refresh [fast|complete|force] [ on [commit|demand] | s ...
- 手机端-万种bt在线观看器,安卓正版下载!
安卓正版下载, 点击下载 无广告,完全免费!寻找任何你想要的资源!
- OC对象,自动释放池,OC与C语言的区别
在C语言中,编程都是面向过程的编程,每一个代码块都严格按照从上至下的顺序执行,在代码块之间同样也是这样, 但是在OC中往往不是这样,OC和C++.java等语言一样,都是面向对象的编程语言,在代码的执 ...
- PB开发境界 多个DW进行update
多个DW进行update //菜鸟代码dw_1.Update()dw_2.Update()初级代码IF dw_1.Update() = 1 And dw_2.Update() = 1 THEN ...
- unity 的一些API-01
public static float GetAxis(string axisName); 看下原话解释: Returns the value of the virtual axis identifi ...
- react-native 项目初始化
react-native 项目初始化 搭建java,android,node环境 http://www.cnblogs.com/morang/p/react-native-java-build.htm ...