spring-cloud-gateway负载普通web项目
spring-cloud-gateway负载普通web项目
对于普通的web项目,也是可以通过
spring-cloud-gateway
进行负载的,只是无法通过服务发现。
背景
不知道各位道友有没有使用过帆软,帆软是国内一款报表工具,这里不做过多介绍。
它是通过war包部署到tomcat
,默认是单台服务。如果想做集群,需要配置cluster.xml
,帆软会将当前节点的请求转发给主节点(一段时间内)。
在实际工作中,部署四个节点时,每个节点启动需要10分钟以上(单台的情况下,则需要一两分钟)。而且一段时间内其他节点会将请求转发给主节点,存在单点压力。
于是,通过spring-cloud-gateway
来负载帆软节点。
帆软集群介绍
在帆软9.0,如果部署A、B两个节点,当查询A节点后,正确返回结果;如果被负载到B,那么查询是无法拿到结果的。可以认为是session(此session非web中的session)不共享的,帆软是B通过将请求转发给A执行来解决共享问题的。
gateway负载思路
- 对于非登录的用户(此时我们是用不了帆软的),直接采用随机请求转发到某个节点即可
- 对于登录的用户,根据sessionId去hash,在本次会话内一直访问帆软的同一个节点
这样,我们能保证用户在本次会话内访问的是同一个节点,就不需要帆软9.0的集群机制了。
实现
基于spring cloud 2.x
依赖
我们需要使用spring-cloud-starter-gateway
、spring-cloud-starter-netflix-ribbon
。
其中:
spring-cloud-starter-gateway
用来做gatewayspring-cloud-starter-netflix-ribbon
做客户端的LoadBalancer
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>xxx</groupId>
<artifactId>yyy</artifactId>
<version>1.0.0</version>
<properties>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
<project.build.sourceEncoding>utf-8</project.build.sourceEncoding>
<spring.boot.version>2.1.2.RELEASE</spring.boot.version>
<spring.cloud.version>2.1.0.RELEASE</spring.cloud.version>
<slf4j.version>1.7.25</slf4j.version>
</properties>
<repositories>
<repository>
<id>aliyun</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
</repository>
</repositories>
<dependencies>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-gateway</artifactId>
<version>${spring.cloud.version}</version>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-netflix-ribbon</artifactId>
<version>${spring.cloud.version}</version>
</dependency>
</dependencies>
<dependencyManagement>
<dependencies>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<version>${slf4j.version}</version>
</dependency>
<dependency>
<groupId>org.apache.httpcomponents</groupId>
<artifactId>httpclient</artifactId>
<version>4.5.5</version>
</dependency>
<dependency>
<groupId>com.fasterxml.jackson.core</groupId>
<artifactId>jackson-annotations</artifactId>
<version>2.9.8</version>
</dependency>
<dependency>
<groupId>com.fasterxml.jackson.core</groupId>
<artifactId>jackson-core</artifactId>
<version>2.9.8</version>
</dependency>
<dependency>
<groupId>com.fasterxml.jackson.core</groupId>
<artifactId>jackson-databind</artifactId>
<version>2.9.8</version>
</dependency>
</dependencies>
</dependencyManagement>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.8.0</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
</configuration>
</plugin>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
<version>${spring.boot.version}</version>
<executions>
<execution>
<goals>
<goal>repackage</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>
核心配置
主要是通过lb
指定服务名,ribbon
指定多个服务实例(微服务是从注册中心中获取的)来进行负载。
spring:
cloud:
gateway:
routes:
# http
- id: host_route
# lb代表服务名,后面从ribbon的服务列表中获取(其实微服务是从注册中心中获取的)
# 这里负载所有的http请求
uri: lb://xx-http
predicates:
- Path=/**
filters:
# 请求限制5MB
- name: RequestSize
args:
maxSize: 5000000
# ws
- id: websocket_route
# lb代表服务名,后面从ribbon的服务列表中获取(其实微服务是从注册中心中获取的)
# 这里负载所有的websocket
uri: lb:ws://xx-ws
predicates:
- Path=/websocket/**
xx-http:
ribbon:
# 服务列表
listOfServers: http://172.16.242.156:15020, http://172.16.242.192:15020
# 10s
ConnectTimeout: 10000
# 10min
ReadTimeout: 600000
# 最大的连接
MaxTotalHttpConnections: 500
# 每个实例的最大连接
MaxConnectionsPerHost: 300
xx-ws:
ribbon:
# 服务列表
listOfServers: ws://172.16.242.156:15020, ws://172.16.242.192:15020
# 10s
ConnectTimeout: 10000
# 10min
ReadTimeout: 600000
# 最大的连接
MaxTotalHttpConnections: 500
# 每个实例的最大连接
MaxConnectionsPerHost: 300
之后,我们需要自定义负载均衡过滤器、以及规则。
自定义负载均衡过滤器
主要是通过判断请求是否携带session,如果携带说明登录过,则后面根据sessionId去hash,在本次会话内一直访问帆软的同一个节点;否则默认随机负载即可。
import org.springframework.cloud.client.ServiceInstance;
import org.springframework.cloud.client.loadbalancer.LoadBalancerClient;
import org.springframework.cloud.gateway.config.LoadBalancerProperties;
import org.springframework.cloud.gateway.filter.LoadBalancerClientFilter;
import org.springframework.cloud.gateway.support.ServerWebExchangeUtils;
import org.springframework.cloud.netflix.ribbon.RibbonLoadBalancerClient;
import org.springframework.http.HttpCookie;
import org.springframework.util.StringUtils;
import org.springframework.web.server.ServerWebExchange;
import java.net.URI;
import java.util.Objects;
/**
* 自定义负载均衡过滤器
*
* @author 奔波儿灞
* @since 1.0
*/
public class CustomLoadBalancerClientFilter extends LoadBalancerClientFilter {
private static final String COOKIE = "SESSIONID";
public CustomLoadBalancerClientFilter(LoadBalancerClient loadBalancer, LoadBalancerProperties properties) {
super(loadBalancer, properties);
}
@Override
protected ServiceInstance choose(ServerWebExchange exchange) {
// 获取请求中的cookie
HttpCookie cookie = exchange.getRequest().getCookies().getFirst(COOKIE);
if (cookie == null) {
return super.choose(exchange);
}
String value = cookie.getValue();
if (StringUtils.isEmpty(value)) {
return super.choose(exchange);
}
if (this.loadBalancer instanceof RibbonLoadBalancerClient) {
RibbonLoadBalancerClient client = (RibbonLoadBalancerClient) this.loadBalancer;
Object attrValue = exchange.getAttribute(ServerWebExchangeUtils.GATEWAY_REQUEST_URL_ATTR);
Objects.requireNonNull(attrValue);
String serviceId = ((URI) attrValue).getHost();
// 这里使用session做为选择服务实例的key
return client.choose(serviceId, value);
}
return super.choose(exchange);
}
}
自定义负载均衡规则
核心就是实现choose
方法,从可用的servers列表中,选择一个server去负载。
import com.netflix.client.config.IClientConfig;
import com.netflix.loadbalancer.AbstractLoadBalancerRule;
import com.netflix.loadbalancer.Server;
import org.apache.commons.lang.math.RandomUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.util.CollectionUtils;
import java.util.List;
/**
* 负载均衡规则
*
* @author 奔波儿灞
* @since 1.0
*/
public class CustomLoadBalancerRule extends AbstractLoadBalancerRule {
private static final Logger LOG = LoggerFactory.getLogger(CustomLoadBalancerRule.class);
private static final String DEFAULT_KEY = "default";
private static final String RULE_ONE = "one";
private static final String RULE_RANDOM = "random";
private static final String RULE_HASH = "hash";
@Override
public void initWithNiwsConfig(IClientConfig iClientConfig) {
}
@Override
public Server choose(Object key) {
List<Server> servers = this.getLoadBalancer().getReachableServers();
if (CollectionUtils.isEmpty(servers)) {
return null;
}
// 只有一个服务,则默认选择
if (servers.size() == 1) {
return debugServer(servers.get(0), RULE_ONE);
}
// 多个服务时,当cookie不存在时,随机选择
if (key == null || DEFAULT_KEY.equals(key)) {
return debugServer(randomChoose(servers), RULE_RANDOM);
}
// 多个服务时,cookie存在,根据cookie hash
return debugServer(hashKeyChoose(servers, key), RULE_HASH);
}
/**
* 随机选择一个服务
*
* @param servers 可用的服务列表
* @return 随机选择一个服务
*/
private Server randomChoose(List<Server> servers) {
int randomIndex = RandomUtils.nextInt(servers.size());
return servers.get(randomIndex);
}
/**
* 根据key hash选择一个服务
*
* @param servers 可用的服务列表
* @param key 自定义key
* @return 根据key hash选择一个服务
*/
private Server hashKeyChoose(List<Server> servers, Object key) {
int hashCode = Math.abs(key.hashCode());
if (hashCode < servers.size()) {
return servers.get(hashCode);
}
int index = hashCode % servers.size();
return servers.get(index);
}
/**
* debug选择的server
*
* @param server 具体的服务实例
* @param name 策略名称
* @return 服务实例
*/
private Server debugServer(Server server, String name) {
LOG.debug("choose server: {}, rule: {}", server, name);
return server;
}
}
Bean配置
自定义之后,我们需要激活Bean,让过滤器以及规则生效。
import com.netflix.loadbalancer.IRule;
import org.springframework.cloud.client.loadbalancer.LoadBalancerClient;
import org.springframework.cloud.gateway.config.LoadBalancerProperties;
import org.springframework.cloud.gateway.filter.LoadBalancerClientFilter;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
/**
* 负载均衡配置
*
* @author 奔波儿灞
* @since 1.0
*/
@Configuration
public class LoadBalancerConfiguration {
/**
* 自定义负载均衡过滤器
*
* @param client LoadBalancerClient
* @param properties LoadBalancerProperties
* @return CustomLoadBalancerClientFilter
*/
@Bean
public LoadBalancerClientFilter customLoadBalancerClientFilter(LoadBalancerClient client,
LoadBalancerProperties properties) {
return new CustomLoadBalancerClientFilter(client, properties);
}
/**
* 自定义负载均衡规则
*
* @return CustomLoadBalancerRule
*/
@Bean
public IRule customLoadBalancerRule() {
return new CustomLoadBalancerRule();
}
}
启动
这里是标准的spring boot程序启动。
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
/**
* 入口
*
* @author 奔波儿灞
* @since 1.0
*/
@SpringBootApplication
public class Application {
public static void main(String[] args) {
SpringApplication.run(Application.class, args);
}
}
补充
请求头太长错误
由于spring cloud gateway
使用webflux
模块,底层是netty
。如果超过netty
默认的请求头长度,则会报错。
默认的最大请求头长度配置reactor.netty.http.server.HttpRequestDecoderSpec
,目前我采用的是比较蠢的方式直接覆盖了这个类。哈哈。
断路器
由于是报表项目,一个报表查询最低几秒,就没用hystrix
组件了。可以参考spring cloud gateway
官方文档进行配置。
spring-cloud-gateway负载普通web项目的更多相关文章
- 创建网关项目(Spring Cloud Gateway)
创建网关项目 加入网关后微服务的架构图 创建项目 POM文件 <properties> <java.version>1.8</java.version> <s ...
- API网关spring cloud gateway和负载均衡框架ribbon实战
通常我们如果有一个服务,会部署到多台服务器上,这些微服务如果都暴露给客户,是非常难以管理的,我们系统需要有一个唯一的出口,API网关是一个服务,是系统的唯一出口.API网关封装了系统内部的微服务,为客 ...
- 搭建一套ASP.NET Core+Nacos+Spring Cloud Gateway项目
前言 伴随着随着微服务概念的不断盛行,与之对应的各种解决方案也层出不穷.这毕竟是一个信息大爆发的时代,各种编程语言大行其道,各有各的优势.但是有一点未曾改变,那就是他们服务的方式,工作的时候各 ...
- Spring Cloud Gateway Ribbon 自定义负载均衡
在微服务开发中,使用Spring Cloud Gateway做为服务的网关,网关后面启动N个业务服务.但是有这样一个需求,同一个用户的操作,有时候需要保证顺序性,如果使用默认负载均衡策略,同一个用户的 ...
- Spring Cloud Gateway 不小心换了个 Web 容器就不能用了,我 TM 人傻了
个人创作公约:本人声明创作的所有文章皆为自己原创,如果有参考任何文章的地方,会标注出来,如果有疏漏,欢迎大家批判.如果大家发现网上有抄袭本文章的,欢迎举报,并且积极向这个 github 仓库 提交 i ...
- Spring cloud gateway自定义filter以及负载均衡
自定义全局filter package com.example.demo; import java.nio.charset.StandardCharsets; import org.apache.co ...
- Spring cloud gateway 如何在路由时进行负载均衡
本文为博主原创,转载请注明出处: 1.spring cloud gateway 配置路由 在网关模块的配置文件中配置路由: spring: cloud: gateway: routes: - id: ...
- API网关性能比较:NGINX vs. ZUUL vs. Spring Cloud Gateway vs. Linkerd API 网关出现的原因
API网关性能比较:NGINX vs. ZUUL vs. Spring Cloud Gateway vs. Linkerd http://www.infoq.com/cn/articles/compa ...
- 微服务网关实战——Spring Cloud Gateway
导读 作为Netflix Zuul的替代者,Spring Cloud Gateway是一款非常实用的微服务网关,在Spring Cloud微服务架构体系中发挥非常大的作用.本文对Spring Clou ...
随机推荐
- 使用Sales_data类
写一段程序程序实现求两次交易相加结果的功能.程序的输入是下面这两条交易记录: 0-201-783456-X 3 20.00 0-201-783456-X 3 25.00 程序的结构如下: #inclu ...
- 2018-2019-2 网络对抗技术 20165237 Exp3 免杀原理与实践
2018-2019-2 网络对抗技术 20165237 Exp3 免杀原理与实践 一.实践目标 1.1 正确使用msf编码器,msfvenom生成如jar之类的其他文件,veil-evasion,加壳 ...
- 使用ansible实现轻量级的批量主机管理
作者:邓聪聪 查看ansible配置文件下的hosts的文件 [root@ansible-server scripts]# cat /etc/ansible/hosts [test] 172.16.1 ...
- 网络流板子/费用流板子 2018南京I题+2016青岛G题
2018南京I题: dinic,链式前向星,数组队列,当前弧优化,不memset全部数组,抛弃满流点,bfs只找一条增广路,每次多路增广 #include <bits/stdc++.h> ...
- Union 与 Union all 的区别【坑】
UNION操作符用于合并两个或多个SELECT语句的结果集 请注意,UNION 内部的 SELECT 语句必须拥有相同数量的列.列也必须拥有相似的数据类型.同时,每条 SELECT 语句中的列的顺序必 ...
- 【JS】Javascript数组操作
1.提取数组中每个对象的某个属性组成新的数组 如数组为: let arry = [ { name: 'zhao', 'age': 18 }, { name: 'qian', 'age': 19 }, ...
- TopN案例
准备三份数据 t1 2067 t2 2055 t3 2055 t4 1200 t5 2367 t6 255 t7 2555 t8 12100 t9 20647 t10 245 t11 205 t12 ...
- SSM框架中写sql在xml文件中
第一种(用Mapper.xml映射文件中定义了操作数据库sql) 注意点: 1.#{}与${} #{}表示一个占位符,使用占位符可以防止sql注入, ${}通过${}可以将parameterType传 ...
- zabbix4.0添加磁盘io监控
agent服务器端的操作 1.设置zabbix-agent端的配置文件 找到agent端配置文件的位置,本例agent端的配置文件路径在/usr/local/etc/zabbix下 首先:在主配置文件 ...
- layui报错 "Layui hint: 模块名 xxx 已被占用" 的问题解决方案
由于扩展模块数量众多, 于是我需要将扩展模块分类到二级文件夹中, 我在页面中是这么写的 <script> layui.extend({ courseTask: 'task/courseTa ...