SpringBoot-dubbo自定义负载均衡实现简单灰度
本文介绍如何利用dubbo自定义负载实现简单灰度（用户纬度，部分用户访问一个服务，其余访问剩余服务）。
其实在这之前，对dubbo了解的也不是很多，只是简单的使用过，跑了几个demo而已，但是得知接下来可能要用dubbo进行开发，还是赶紧补了一下相关的知识，看了看官网，另外买了一本书《深入理解Apache Dubbo实战》，看了一大半，感觉还是很不错的。
1.dubbo负载均衡介绍
因为官网介绍的很详细了，这里只简单的说一下。dubbo负载均衡包含如下四种：
- RandomLoadBalance：默认的负载策略，随机负载。
- ConsistentHashLoadBalance：一致性 Hash负载。
- LeastActiveLoadBalance：最少活跃数负载。
- RoundRobinLoadBalance：轮询负载。
可以查看官方：http://dubbo.apache.org/zh-cn/docs/user/demos/loadbalance.html
这四个类都继承了AbstractLoadBalance抽象类，源码相关分析可以查看官方：http://dubbo.apache.org/zh-cn/docs/source_code_guide/loadbalance.html
2.springboot-dubbo实现自定义负载方法
springboot-dubbo使用自定义负载其实很简单，大致分为如下几步：
- 1.创建自定义负载类，继承AbstractLoadBalance，重写doSelect方法，这个方法就是定义算法规则的地方。
- 2.添加dubbo负载扩展点，在src/main/resources目录下创建META-INFO/dubbo目录，在目录下创建org.apache.dubbo.rpc.cluster.LoadBalance文件，里面配置对应的负载算法类，如下：
gray=com.dalaoyang.balance.GrayLoadBalance
- 3.配置文件中使用，如下：
dubbo.provider.loadbalance=gray
3.模拟灰度方案及具体实现
3.1 灰度场景
现在模拟一个这样的方案，比如有4个服务提供者，端口分别是9001，9002，9003，9004，将其中9002端口的服务设置为灰度服务，当请求消费者接口testUser的userid为1-10时，强制转发到到灰度状态的提供者去，其余的还是请求到正常的服务，如图所示。
3.2 代码实现
接下来使用代码简单实现如上场景。
3.2.1 服务提供者
首先看一下pom文件，都是一些springboot-dubbo的依赖，如下：
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.0.3.RELEASE</version>
<relativePath/> <!-- lookup parent from repository -->
</parent>
<groupId>com.dalaoyang</groupId>
<artifactId>springboot_dubbo_provider</artifactId>
<version>0.0.1-SNAPSHOT</version>
<name>springboot_dubbo_provider</name>
<description>springboot_dubbo_provider</description>
<properties>
<java.version>1.8</java.version>
</properties>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
<!-- Aapche Dubbo -->
<dependency>
<groupId>org.apache.dubbo</groupId>
<artifactId>dubbo-spring-boot-starter</artifactId>
<version>2.7.1</version>
</dependency>
<dependency>
<groupId>org.apache.dubbo</groupId>
<artifactId>dubbo</artifactId>
<version>2.7.2</version>
<exclusions>
<exclusion>
<groupId>org.springframework</groupId>
<artifactId>spring</artifactId>
</exclusion>
<exclusion>
<groupId>javax.servlet</groupId>
<artifactId>servlet-api</artifactId>
</exclusion>
<exclusion>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>org.apache.curator</groupId>
<artifactId>curator-framework</artifactId>
<version>2.8.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.curator/curator-recipes -->
<dependency>
<groupId>org.apache.curator</groupId>
<artifactId>curator-recipes</artifactId>
<version>2.8.0</version>
</dependency>
<dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<exclusions>
<exclusion>
<artifactId>log4j</artifactId>
<groupId>log4j</groupId>
</exclusion>
<exclusion>
<artifactId>slf4j-log4j12</artifactId>
<groupId>org.slf4j</groupId>
</exclusion>
</exclusions>
<version>3.4.10</version>
<type>pom</type>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
</plugin>
</plugins>
</build>
</project>
然后暴露一个接口，供服务消费者使用，如下：
package com.dalaoyang.api;
public interface UserService {
String testUser(Long userId, String version);
}
实现类，接口返回对应的端口，dubbo的端口，如下：
package com.dalaoyang.api.impl;
import com.dalaoyang.api.UserService;
import org.apache.dubbo.config.annotation.Service;
import org.springframework.beans.factory.annotation.Value;
@Service
public class UserServiceImpl implements UserService {
@Value("${server.port}")
private String port;
@Value("${dubbo.protocol.port}")
private String dubboPort;
@Override
public String testUser(Long userId, String version) {
return "调用成功，端口是：" + port +
"。版本号是：" + version +
"，用户id：" + userId +
"，dubbo端口：" + dubboPort;
}
}
创建一个GrayLoadBalance继承AbstractLoadBalance类，其中包含如下配置：
- 当前请求的userId使用的dubbo隐式传参（也可以选用其他方式）。
- 灰度用户名单配置在了消费者的配置中
- 服务提供者配置中配置了一个属性status用于区分是prod服务还是gray服务。
- 没有匹配对象的话，使用随机负载策略进行分发。
看完上面的简介，在看代码就容易了很多，大致就是取出请求的用户id和灰度用户id集合，判断是否是灰度用户，如果是，则选择灰度服务，如下：
package com.dalaoyang.balance;
import org.apache.dubbo.common.URL;
import org.apache.dubbo.rpc.Invocation;
import org.apache.dubbo.rpc.Invoker;
import org.apache.dubbo.rpc.cluster.loadbalance.AbstractLoadBalance;
import org.springframework.stereotype.Component;
import java.util.*;
import java.util.concurrent.ThreadLocalRandom;
@Component
public class GrayLoadBalance extends AbstractLoadBalance {
public static final String NAME = "gray";
public GrayLoadBalance() {
}
@Override
protected <T> Invoker<T> doSelect(List<Invoker<T>> invokers, URL url, Invocation invocation) {
List<Invoker<T>> list = new ArrayList<>();
for (Invoker invoker : invokers) {
list.add(invoker);
}
Map<String, String> map = invocation.getAttachments();
String userId = map.get("userId");
Iterator<Invoker<T>> iterator = list.iterator();
String grayUserIds = url.getParameter("grayUserids", "");
String[] arrs = grayUserIds.split(",");
while (iterator.hasNext()) {
Invoker<T> invoker = iterator.next();
String providerStatus = invoker.getUrl().getParameter("status", "prod");
if (Objects.equals(providerStatus, NAME)) {
if (Arrays.asList(arrs).contains(userId)) {
return invoker;
} else {
iterator.remove();
}
}
}
return this.randomSelect(list, url, invocation);
}
/**
* 重写了一遍随机负载策略
*
* @param invokers
* @param url
* @param invocation
* @param <T>
* @return
*/
private <T> Invoker<T> randomSelect(List<Invoker<T>> invokers, URL url, Invocation invocation) {
int length = invokers.size();
boolean sameWeight = true;
int[] weights = new int[length];
int firstWeight = this.getWeight((Invoker) invokers.get(0), invocation);
weights[0] = firstWeight;
int totalWeight = firstWeight;
int offset;
int i;
for (offset = 1; offset < length; ++offset) {
i = this.getWeight((Invoker) invokers.get(offset), invocation);
weights[offset] = i;
totalWeight += i;
if (sameWeight && i != firstWeight) {
sameWeight = false;
}
}
if (totalWeight > 0 && !sameWeight) {
offset = ThreadLocalRandom.current().nextInt(totalWeight);
for (i = 0; i < length; ++i) {
offset -= weights[i];
if (offset < 0) {
return (Invoker) invokers.get(i);
}
}
}
return (Invoker) invokers.get(ThreadLocalRandom.current().nextInt(length));
}
}
接下来在src/main/resources/META-INF/dubbo下添加org.apache.dubbo.rpc.cluster.LoadBalance新增扩展点，内容如下：
gray=com.dalaoyang.balance.GrayLoadBalance
这里使用了多配置文件来启动多个服务提供者，主配置文件application.properties内容如下：
spring.profiles.active=test3
dubbo.provider.loadbalance=gray
application-test1.properties内容如下：
##端口号
server.port=9001
## Dubbo配置
dubbo.application.name=dubbo_provider
dubbo.registry.address=zookeeper://127.0.0.1:2181
dubbo.protocol.name=dubbo
dubbo.protocol.port=9011
dubbo.scan.base-packages=com.dalaoyang
dubbo.provider.version=2.0.0
application-test2.properties内容如下，这里多配置了dubbo.provider.parameters.status=gray属性用于区分灰度服务：
##端口号
server.port=9002
## Dubbo配置
dubbo.application.name=dubbo_provider
dubbo.registry.address=zookeeper://127.0.0.1:2181
dubbo.protocol.name=dubbo
dubbo.protocol.port=9012
dubbo.scan.base-packages=com.dalaoyang
dubbo.provider.version=2.0.0
dubbo.provider.parameters.status=gray
application-test3.properties内容如下：
##端口号
server.port=9003
## Dubbo配置
dubbo.application.name=dubbo_provider
dubbo.registry.address=zookeeper://127.0.0.1:2181
dubbo.protocol.name=dubbo
dubbo.protocol.port=9013
dubbo.scan.base-packages=com.dalaoyang
dubbo.provider.version=2.0.0
application-test4.properties内容如下：
##端口号
server.port=9004
## Dubbo配置
dubbo.application.name=dubbo_provider
dubbo.registry.address=zookeeper://127.0.0.1:2181
dubbo.protocol.name=dubbo
dubbo.protocol.port=9014
dubbo.scan.base-packages=com.dalaoyang
dubbo.provider.version=2.0.0
到这里，服务提供者就创建完成了。
3.2.2 服务消费者
服务消费者就简单很多，pom文件除dubbo对应包以外，引入服务提供者的包，如下：
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.0.3.RELEASE</version>
<relativePath/> <!-- lookup parent from repository -->
</parent>
<groupId>com.dalaoyang</groupId>
<artifactId>springboot_dubbo_consumer</artifactId>
<version>0.0.1-SNAPSHOT</version>
<name>springboot_dubbo_consumer</name>
<description>springboot_dubbo_consumer</description>
<properties>
<java.version>1.8</java.version>
</properties>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
<!-- Aapche Dubbo -->
<dependency>
<groupId>org.apache.dubbo</groupId>
<artifactId>dubbo-spring-boot-starter</artifactId>
<version>2.7.1</version>
</dependency>
<dependency>
<groupId>org.apache.dubbo</groupId>
<artifactId>dubbo</artifactId>
<version>2.7.2</version>
<exclusions>
<exclusion>
<groupId>org.springframework</groupId>
<artifactId>spring</artifactId>
</exclusion>
<exclusion>
<groupId>javax.servlet</groupId>
<artifactId>servlet-api</artifactId>
</exclusion>
<exclusion>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>com.dalaoyang</groupId>
<artifactId>springboot_dubbo_provider</artifactId>
<version>0.0.1-SNAPSHOT</version>
</dependency>
<dependency>
<groupId>org.apache.curator</groupId>
<artifactId>curator-framework</artifactId>
<version>2.8.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.curator/curator-recipes -->
<dependency>
<groupId>org.apache.curator</groupId>
<artifactId>curator-recipes</artifactId>
<version>2.8.0</version>
</dependency>
<dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<exclusions>
<exclusion>
<artifactId>log4j</artifactId>
<groupId>log4j</groupId>
</exclusion>
<exclusion>
<artifactId>slf4j-log4j12</artifactId>
<groupId>org.slf4j</groupId>
</exclusion>
</exclusions>
<version>3.4.10</version>
<type>pom</type>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
</plugin>
</plugins>
</build>
</project>
配置文件中配置上述需要的灰度userid名单，如下：
## 端口号
server.port=8881
##Dubbo配置
dubbo.application.name=dubbo_consumer
dubbo.registry.address=zookeeper://localhost:2181
dubbo.scan.base-packages=com.dalaoyang.api
dubbo.consumer.version=2.0.0
dubbo.consumer.parameters.grayUserids=1,2,3,4,5,6,7,8,9,10
dubbo.provider.loadbalance=gray
dubbo.protocol.port=10000
创建一个TestController，编写一个简单的测试类，调用dubbo服务，内容如下：
package com.dalaoyang.controller;
import com.dalaoyang.api.UserService;
import org.apache.dubbo.config.annotation.Reference;
import org.apache.dubbo.rpc.RpcContext;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import java.util.Objects;
@RestController
public class TestController {
@Reference
private UserService userService;
//灰度用户 http://localhost:8881/testUser?userId=3333&version=2.0.0
//正常用户 http://localhost:8881/testUser?userId=10&version=2.0.0
@GetMapping("/testUser")
public String testUser(Long userId, String version) {
RpcContext.getContext().setAttachment("userId", Objects.nonNull(userId) ? userId.toString() : "");
return userService.testUser(userId, version);
}
}
服务消费者到这里也完成了。
4.测试
4.1 启动项目
- 1.启动zookeeper
- 2.启动服务提供者，可以使用idea启动多服务，也可以打包，分别制定不同配置文件启动，任何方式都可以。
- 3.服务提供者启动完成后，启动服务消费者。
4.2 页面请求
如果灰度状态的服务启动的话，访问http://localhost:8881/testUser?userId=10&version=2.0.0，如图所示。
如果灰度状态的服务没有启动，或者userid不在1-10之间的话会显示如下图所示。
5.源码
本文相关源码全部上传到了码云上，地址是https://gitee.com/dalaoyang/springboot_dubbo
SpringBoot-dubbo自定义负载均衡实现简单灰度的更多相关文章
- SpringCloud全家桶学习之客户端负载均衡及自定义负载均衡算法----Ribbon（三）
一.Ribbon是什么? Spring Cloud Ribbon是基于Netflix Ribbon实现的一套客户端 负载均衡的工具(这里区别于nginx的负载均衡).简单来说,Ribbon是Netf ...
- Ribbon源码分析（一）-- RestTemplate 以及自定义负载均衡算法
如果只是想看ribbon的自定义负载均衡配置,请查看: https://www.cnblogs.com/yangxiaohui227/p/13186004.html 注意: 1.RestTemplat ...
- Dubbo的负载均衡策略&容错策略
dubbo的负载均衡策略 RandomLoadBalance 随机调用负载均衡 默认方式该类实现了抽象的AbstractLoadBalance接口,重写了doSelect方法,看方法的细节就是首先遍历 ...
- Nginx负载均衡配置简单配置方法
http://www.jb51.net/article/121235.htm Nginx作为负载均衡服务器,用户请求先到达nginx,再由nginx根据负载配置将请求转发至不同的Web服务器.下面通过 ...
- Spring-Cloud-Ribbon学习笔记（二）：自定义负载均衡规则
Ribbon自定义负载均衡策略有两种方式,一是JavaConfig,一是通过配置文件(yml或properties文件). 需求 假设我有包含A和B服务在内的多个微服务,它们均注册在一个Eureka上 ...
- 关于dubbo的负载均衡
1 dubbo的集群 将同一个服务部署到多个机器上,然后全部注册到注册中心.这样的多个机器就是一个dubbo集群了. 2 dubbo的负载均衡是怎么回事 由于多台机器上都有同一个服务,因此consum ...
- dubbo配置负载均衡、集群环境
再用dubbo作为项目架构的时候,给consumer消费者用nginx提供了负载均衡策略和集群的实现, 但是想了下,consumer再多,但是提供者还是一个,最后还不都是落到了这一个provider上 ...
- 【Ribbon篇四】自定义负载均衡策略（4）
官方文档特别指出:自定义的负载均衡配置类不能放在 @componentScan 所扫描的当前包下及其子包下,否则我们自定义的这个配置类就会被所有的Ribbon客户端所共享,也就是说我们达不到特殊化定制 ...
- gRPC负载均衡（自定义负载均衡策略）
前言 上篇文章介绍了如何实现gRPC负载均衡,但目前官方只提供了pick_first和round_robin两种负载均衡策略,轮询法round_robin不能满足因服务器配置不同而承担不同负载量,这篇 ...
随机推荐
- Vue.js 源码分析(十六) 指令篇 v-on指令详解
可以用 v-on 指令监听 DOM 事件,并在触发时运行一些 JavaScript 代码,例如: <!DOCTYPE html> <html lang="en"& ...
- C#,NPOI,Export Generic T Data
1.Nuget 下载NPOI; Install-package NPOI -version 2.4.1 2.下载EF install-package entityframework -version ...
- Ext.NET-WebForm之TreePanel组件
开启VS2017创建WebForm项目 打开NuGet搜索Ext.NET并安装 安装后可见 还自动帮我们创建了一个页面和文件夹项 打开自动添加的页面Ext.NET.Default.aspx,运行项目出 ...
- 如何优雅地使用腾讯云COS-.NET篇
如何优雅地使用腾讯云COS-.NET篇 代码下载地址 https://github.com/whuanle/txypx20190809 前提 创建子账号 打开 https://console.clou ...
- python 手机app数据爬取
目录 一:爬取主要流程简述 二:抓包工具Charles 1.Charles的使用 2.安装 (1)安装链接 (2)须知 (3)安装后 3.证书配置 (1)证书配置说明 (2)windows系统安装证书 ...
- python实现罗汉塔破解方法
主要使用函数的递归方法,考虑过程如下:n,a,b,c(n代表罗汉塔块数,a,b,c代表三块柱子)若n=1时,只需从a>>>c若n>1时,需要把上面n-1块从a移动到b,底下1块 ...
- python调用时间装饰器检测函数运行时间
用一个装饰器,监控程序的运行时间 import time def count_time(func): def int_time(*args, **kwargs): start_time = time. ...
- TensorFlow、numpy、matplotlib、基本操作
一.常量的定义 import tensorflow as tf #类比 语法 api 原理 #基础数据类型 运算符 流程 字典 数组 data1 = tf.constant(2,dtype=tf.in ...
- logstash 入门篇
场景介绍 基于分布式集群海量日志数据,且分布在不同的服务器上,日志的采集以及可视化是需要我们解决的问题.ELK就是这么一个方案,当然我们这里主要讲解logstash安装配置和基础语法. ELK帮我们解 ...
- 不了解MES系统中的看板管理?看完本文就懂了
如果想要在生产车间中,让生产过程管理都处在“看得见”的状态,那么看板可视化管理的导入是你的不二选择. MES看板包括四个部分:生产任务看板.各生产单位生产情况看板.质量看板和物料看板,其中生产任务看板 ...