代理层Nginx限流(降级)预案
典型服务架构介绍
典型的互联网服务访问链路都是分层结构的,从流量入口,到应用层,到后端资源层;其中流量入口可能会有4层负载均衡、7层负载均衡,负载均衡也可能有多层;流量打到应用层之后,就要看具体的业务场景了,不同的业务可能会有不同的依赖请求,包括对第三方服务的或者对缓存、数据库、队列等资源的访问。
┌──────────────────┐
│ LB - layer 4 │
└─────────┬────────┘
│
▼
┌──────────────────┐
│ LB - layer 7 │
└──────────────────┘
│
│
......
│
▼
┌──────────┐ ┌──────────┐
│ App │───────▶│Resources │
└──────────┘ └──────────┘
预案适用场景
此预案的应用场景并不是很多,在一般情况下我们不会启用这个预案。但是对Nginx入口(上图LB-layer 7处1)做限流的操作作为一项特殊场景下的预案还是有必要简单整理下的。
针对合适启动这个预案需要经过一系列的人工判断,并且具体是否要启用这个预案一般是需要经过业务方、运维、依赖方进行讨论确认的。
很多时候是否启动这个预案可能需要依赖一定的经验来判断,需要通过多项监控指标来综合考虑,没有某一个单一的监控指标可以指导启用这个方案。
下面简单描述几个适用此预案的场景:
- 疑似被刷量,需要配合业务QPS、访问日志中的来源IP、访问接口统计来甄别;
- 正常访问量增长,业务层代理、后端APP、后端资源等无法支撑,并且也没有可用的扩容资源、或者无法快速扩容;
- 基于极端场景下资源池资源不足,需要舍弃部分非核心业务来保障核心业务的时候,可能会对非核心业务做缩容,此时可能需要配合Nginx入口层的限流策略,避免因为后端缩容导致(非核心)业务完全不可用;
- 异常访问量,访问量大幅突增,后端无法支撑,并且无法快速定位、解决异常问题的时候;
监控指标
因为此预案的开启无法通过单一的监控指标来做判断,用于辅助判断是否启用此预案的监控指标列举如下:
- 域名QPS历史趋势
- 域名访问日志
- 容器LB、APP层机器(Pod)负载、后端资源负载
操作手册
相关文档
- http://nginx.org/en/docs/http/ngx_http_limit_req_module.html#limit_req
- https://www.centos.bz/2017/03/using-nginx-limit_req-limit-user-request-rate/
操作方法
启用限流需要两个步骤:
- 在http配置区段中声明一个limit_req_zone
- 在需要做限流的http、server、location配置区段内部启用limit_req指令进行限速
配置语法
- limit_req_zone
Syntax:
limit_req_zone key zone=name:size rate=rate [sync];
Default:
—
Context:
http
- limit_req
Syntax:
limit_req zone=name [burst=number] [nodelay | delay=number];
Default:
—
Context:
http, server, location
配置样例
http {
limit_req_zone $upstream_addr zone=thatsit:100m rate=4000r/s;
server {
server_name thatsit.com;
location / {
limit_req zone=thatsit burst=300 nodelay;
}
}
}
配置解释
- limit_req_zone
limit_req_zone $upstream_addr zone=thatsit:100m rate=4000r/s;`
声明一个大小为100M名称为thatsit的limit_req_zone(会申请一块共享内存来键值的状态);
使用$upstream_addr
变量来作为存储键值对用的键
限制到同一个upstream($upstream_addr
)的平均请求频率为每秒4000 requests;
- limit_req
limit_req zone=thatsit burst=300 nodelay;
在
location /
中启动请求限制,使用名为thatsit的共享内存空间来存储限流中用到的键值对
限制并发数300
请求超过限制之后不做延迟处理,直接响应错误,默认的错误状态码为503,这个状态码可以通过limit_req_status
指令进行修改
注意事项
- 配置的时候需要综合考虑请求的平均处理时间来配置请求并发数(burst)和频率(rates);
- 需要综合评估
nodelay
参数的影响,默认配置都是开启delay的,即所有超过限制频率的请求都会被延迟处理,在请求量高的情况下可能会超过Nginxbacklog
的限制; - 我们一般会把这个限制做在LB层,LB层一般都会包含多台机器,在做限制的时候需要做好计算(总的rates限制需要乘以LB服务器的数量);
limit_req_zone
参数支持配置多个变量作为key,可以根据实际需求合理配置;
之所以将限流操作放到7层代理来做,是因为7层上可以更方便的基于业务来做配置,会更灵活。针对下文中描述的场景,这个预案是一个弃车保帅的方案,是为了避免特定的业务对整体业务造成影响,或者被迫放弃部分业务流量。 ↩
代理层Nginx限流(降级)预案的更多相关文章
- Nginx可以说是标配组件,但是主要场景还是负载均衡、反向代理、代理缓存、限流等场景;而把Nginx作为一个Web容器使用的还不是那么广泛。
Nginx可以说是标配组件,但是主要场景还是负载均衡.反向代理.代理缓存.限流等场景:而把Nginx作为一个Web容器使用的还不是那么广泛. 用Nginx+Lua(OpenResty)开发高性能Web ...
- Nginx限流办法
Nginx 限流 电商平台营销时候,经常会碰到的大流量问题,除了做流量分流处理,可能还要做用户黑白名单.信誉分析,进而根据用户ip信誉权重做相应的流量拦截.限制流量.Nginx自身有的请求限制模块ng ...
- SpringBoot进阶教程(六十八)Sentinel实现限流降级
前面两篇文章nginx限流配置和SpringBoot进阶教程(六十七)RateLimiter限流,我们介绍了如何使用nginx和RateLimiter限流,这篇文章介绍另外一种限流方式---Senti ...
- 死磕nginx系列--nginx 限流配置
限流算法 令牌桶算法 算法思想是: 令牌以固定速率产生,并缓存到令牌桶中: 令牌桶放满时,多余的令牌被丢弃: 请求要消耗等比例的令牌才能被处理: 令牌不够时,请求被缓存. 漏桶算法 算法思想是: 水( ...
- 限流降级神器,带你解读阿里巴巴开源 Sentinel 实现原理
Sentinel 是阿里中间件团队开源的,面向分布式服务架构的轻量级高可用流量控制组件,主要以流量为切入点,从流量控制.熔断降级.系统负载保护等多个维度来帮助用户保护服务的稳定性. 大家可能会问:Se ...
- 图解Nginx限流配置
本文以示例的形式,由浅入深讲解Nginx限流相关配置,是对简略的官方文档的积极补充. Nginx限流使用的是leaky bucket算法,如对算法感兴趣,可移步维基百科先行阅读.不过不了解此算法,不影 ...
- Nginx限流
文章原创于公众号:程序猿周先森.本平台不定时更新,喜欢我的文章,欢迎关注我的微信公众号. 在当今流量徒增的互联网时代,很多业务场景都会涉及到高并发.这个时候接口进行限流是非常有必要的,而限流是Ngin ...
- [转]Nginx限流配置
原文:https://www.cnblogs.com/biglittleant/p/8979915.html 作者:biglittleant 1. 限流算法 1.1 令牌桶算法 算法思想是: 令牌以固 ...
- nginx限流模块(防范DDOS攻击)
Nginx限流模式(防范DDOS攻击) nginx中俩个限流模块: 1.ngx_http_limit_req_module(按请求速率限流) 2.ngx_http_limit_conn_module( ...
随机推荐
- 在docker容器中调用docker命令
宿主容器均为CentOS7.6.1810 docker run -it --rm \ -v /usr/bin/docker:/usr/bin/docker \ -v /var/run/docker.s ...
- 基于球分割的空间二叉树检索算法(sphere-kdtree)
sphere-kdtree算法思路说明 具体思路如下: 第一.球半径分割,即利用不同的球半径,将三维空间点(向量)分割成多块.所以首先要求确定的就是分割多少块,怎么设置半径最合理. 第二.三维空间点平 ...
- 在aspx页面的checkbox取值验证
在做项目的时候遇到了一个选择性的问题,之前都可以用$("#id").checked,但是不知道为什么现在不可以了,只能if($(this).is(":checked&qu ...
- Git:目录
ylbtech-Git:目录 1.返回顶部 1. https://git-scm.com/ 2. 2.返回顶部 1.Easy Git Integration Tools https://marketp ...
- java数字加密算法
数字加密在项目中时常会遇到,如手机号,身份证号信息等,下面小白将自己手写的数字加密算法分享给大家,可在项目中直接运用.加密规则,入参时传递一个字段时间戳 time:* 1.以字母代替数字,0-9分别为 ...
- Python基本语法_变量作用域LEGB
目录 目录 软件系统 变量的作用域 高级语言对数据类型的使用过程 作用域的产生 作用域的类型 Llocal局部作用域 Eenclosing嵌套作用域 Gglobal全局作用域 Bbuilt-in内置作 ...
- Struts2测试题
今天给大家看一套我最近做的一套关于Struts2的题: 1.以下关于jQuery说法错误的选项是( D ). A.“$”为jQuery脚本库的默认全局变量名,即“$” = “jQuery” B.$.a ...
- 7.k8s.调度器scheduler 亲和性、污点
#k8s. 调度器scheduler 亲和性.污点 默认调度过程:预选 Predicates (过滤节点) --> 优选 Priorities(优先级排序) --> 优先级最高节点 实际使 ...
- spring几种获取 HttpServletRequest 对象的方式
以下的 request 实例都编号了,一共 4 种 方式 1.@Autowired 方式2.public void Test(HttpServletRequest request1, HttpServ ...
- C++:输入n个数,通过气泡法从小到大排列顺序(掌握不熟,还请谅解)
#include<iostream> using namespace std; int main() { int n; cin>>n; int a[n]; int i,j,t; ...