【Redis技术专区】「优化案例」谈谈使用Redis慢查询日志以及Redis慢查询分析指南
前提介绍
本篇文章主要介绍了Redis的执行的慢查询的功能的查询和配置功能,从而可以方便我们在实际工作中,进行分析Redis的性能运行状况以及对应的优化Redis性能的佐证和指标因素。
在我们5.0左右的版本中Redis使用单线程架构和I/O多路复用模型来实现高性能的内存数据服务。接下来主要分析Redis单线程命令处理机制,接着分析Redis单线程模型为什么性能如此之高。
单线程命令的处理机制
Redis客户端与服务端的模型主要是下图所示。
每次客户端调用都经历了发送命令、执行命令、返回结果三个过程。
本章内容
本章的文章内容主要是一下几点。
什么是慢查询
慢查询就是当Redis在处理一条指令的时候,当超过了系统配置的执行时间的阈值的时候,就会被系统当作慢查询统计和判定。
慢查询日志
慢查询日志就是系统在命令执行前后计算每条命令的执行时间,当超过预设阈值,就将这条命令的相关信息(例如:发生时间、耗时、命令的详细信息)记录下来。
Redis慢查询日志
Redis慢查询日志功能是用于记录执行时间超过给定时长的命令请求,可以通过查看慢查询日志来监控和优化查询速度。
Redis慢查询的危害
说到了Redis慢查询的危害,就会先说一下Redis的运行机制。
Redis客户端执行一条命令的步骤
Redis是单线程来处理命令,所以一条命令从客户端到达服务端不会立即被执行,所有的命令都会进入一个队列,然后逐个被执行。
因此Redis服务端去执行操作的是可以主要以下几个步骤:
所有的指令都有先后顺序,但是真正意义到达服务端的执行顺序也是不确定的,因为中间有网络传输。但是可以肯定的是,不会有两条命令被同时执行,这样就不会产生并发问题,这就是Redis单线程的基本模型。
慢查询引发的问题
- 单线程机制:所有命令放在一个队列中
- Redis执行指令主要是在内存中执行、非IO阻塞、避免线程切换和竞态产生的消耗。
因为单线程的问题,一个命令不能执行太长时间,不然会阻塞其他命令的执行。所以慢查询会造成整体的Redis服务的性能的下降以及CPU的耗时和负载变高。
注意:慢查询只会记录执行命令的时间,没有慢查询并不代表客户端没有超时问题。
阈值和慢查询的日志的设置
监控Redis指令的慢查询功能,需要明确两件事:
- 预设阈值怎么设置?
- 慢查询记录存放在哪里?
预设阈值怎么设置?
针对于慢查询的阈值,在Redis提供了slowlog-log-slower-than
和slowlog-max-len
配置来解决这两个问题。
阈值参数设置
慢查询执行时间阈值
- slowlog-log-slower-than:指定执行时间超过多少微秒的命令会被记录到日志上,它的单位是微妙(1秒=1000毫秒=1000000微秒),默认值10000。
例如,该值设为100,执行了一条很慢的命令(例如 keys * ),如果它的执行时间超过了100微秒,则这个命令会被记录到慢查询日志中。
慢查询数据存储阈值
慢查询日志最多存储多少条,并没有说明存放在那里?主要通过slowlog-max-len进行控制和设置。从底层角度分析,Redis使用了一个列表来存储慢查询日志,slowlog-max-log就是列表的最大长度。
- slowlog-max-len:指定服务器上最多保存慢查询日志的条数。
- slowlog-log-slower-than=0,那么系统会记录所有的命令
- slowlog-log-slower-than<0,那么对任何命令都不会记录。
例如,该值设为5,那么命令执行时间超过slowlog-log-slower-than设置的时间的命令会被记录到慢查询日志上,如果慢查询日志的数量等于5,那么再添加慢查询日志时,需要把最早添加的慢查询日志删除,即慢查询日志删除采用先进先出的方式。
慢查询的配置类型和方式
Redis有两种修改配置的方法:1. 修改配置文件;2. config set命令动态修改。
例如,使用config set命令将slowlog-log-slower-than设置为20000微秒,slowlog-max-len设置为10000:
config set slowlog-log-slower-than 20000
config set slowlog-max-len 10000
config rewrite
如果要Redis将配置持久化到本地配置文件,要执行config rewrite命令,它会重写配置文件。
慢查询日志的操作命令
慢查询日志的的查询和维护主要是通过:slowlog get、slowlog len、slowlog reset这几条命令。
slowlog get [n]
慢查询日志有4个属性组成:日志id、发生时间戳、命令耗时、执行命令和参数。
127.0.0.1:6379> slowlog get
1) 1) (integer) 1
2) (integer) 1513709400
3) (integer) 11
4) 1) "slowlog"
2) "get"
2) 1) (integer) 0
2) (integer) 1513709398
3) (integer) 4
4) 1) "config"
2) "set"
3) "slowlog-log-slower-than"
4) "2"
slowlog len
获取慢查询日志列表当前的长度
127.0.0.1:6379> slowlog len
(integer) 2
上面则说明当前的满查询列表中至于连个慢查询日志。
slowlog reset
实际是对慢查询日志列表做清理操作。
127.0.0.1:6379> slowlog len
(integer) 6
127.0.0.1:6379> slowlog reset
OK
127.0.0.1:6379> slowlog len
(integer) 1
为什么还有1个,因为阈值设的比较小,slowlog reset就属于慢查询。
【Redis技术专区】「优化案例」谈谈使用Redis慢查询日志以及Redis慢查询分析指南的更多相关文章
- 「完整案例」基于Socket开发TCP传输客户端
1 程序界面设计 TCP客户端在上位机开发中应用很广,大多数情况下,上位机软件都是作为一个TCP客户端来与PLC或其他服务器进行通信的.TCP客户端的主要功能就是连接服务器.发送数据.接收数据.断开 ...
- 「mysql优化专题」什么是慢查询?如何通过慢查询日志优化?(10)
日志就跟人们写的日记一样,记录着过往的事情.但是人的日记是主观的(记自己想记的内容),而数据库的日志是客观的,根据记录内容分为以下好几种日志(技术文): a.错误日志:记录启动.运行或停止mysqld ...
- 记一次mysql多表查询(left jion)优化案例
一次mysql多表查询(left jion)优化案例 在新上线的供需模块中,发现某一个查询按钮点击后,出不来结果,找到该按钮对应sql手动执行,发现需要20-30秒才能出结果,所以服务端程序判断超时, ...
- redis 笔记06 发布与订阅、事务、慢查询日志、监视器
发布与订阅 1. 服务器状态在pubsub_channels字典保存了所有频道的订阅关系:SUBSCRIBE命令负责将客户端和被订阅的频道关联到这个字典里面,而UNSUBSCRIBE命令则负责 解除客 ...
- 【笔记】《Redis设计与实现》chapter22 二进制位数组 chapter23 慢查询日志 chapter24 监视器
chapter22 二进制位数组 22.4 BITCOUNT命令的实现 遍历算法 查表算法 variable-precision SWAP算法 chapter23 慢查询日志 Redis的慢查询日志功 ...
- Redis | 第10章 二进制数组、慢查询日志和监视器《Redis设计与实现》
目录 前言 1. 二进制位数组 1.1 位数组的表示 1.2 GETBIT 命令的实现 1.3 SETBIT 命令的实现 1.4 BITECOUNT 命令的实现 1.5 BITOP 命令的实现 2. ...
- Redis慢查询日志学习功能
慢查询日志 什么是SLOW LOG? Slow log是Redis用来记录查询执行时间超过给定时长的命令请求的日志系统.查询执行时间指的是不包括像客户端响应(talking).发送回复等IO操作,而单 ...
- MySQL优化之慢查询日志
慢查询日志概述 所谓慢查询日志,就是用于记录MySQL中响应时间超过设定阈值的SQL语句,通过打开慢查询开关,MySQL会将大于阈值的SQL记录在日志中,以便于分析性能. 慢查询日志选项默认是关闭的, ...
- Taro 周报 #7: 收获「e代驾」案例,发布 v2.2.16 和 v3.2.0-canary.2
Taro 周报 2020 年 12 月 05 日 - 2020 年 12 月 12 日 ,更多的Taro周报点击 Taro 大事件 58 技术发布文章<开源 | Taro 3 支持 React ...
- 「学习笔记」FFT 之优化——NTT
目录 「学习笔记」FFT 之优化--NTT 前言 引入 快速数论变换--NTT 一些引申问题及解决方法 三模数 NTT 拆系数 FFT (MTT) 「学习笔记」FFT 之优化--NTT 前言 \(NT ...
随机推荐
- 使用LEFT JOIN 统计左右存在的数据
最近做了一个数据模块的统计,统计企业收款.发票相关的数据,开始统计是比较简单,后面再拆分账套统计就有点小复杂,本文做一个简单的记录. 需求 企业表 企业表t_company有如下字段:标识id.企业名 ...
- docker-compose编排启动LNMP
2-1.docker-compose启动php #生成php镜像 [root@rocky8 data]#vim /data/dockerfile/ubuntu_php/Dockerfile FRO ...
- onps栈移植说明(3)——添加网卡
4. 添加网卡 移植的最后一步就是编写网卡驱动然后将网卡添加到协议栈.网卡驱动其本质上完成的是数据链路层的工作,在整个通讯链路上处于通讯枢纽位置,通讯报文的发送和接收均由其实际完成.针对网卡部分的移植 ...
- C#多线程之线程高级(下)
四.Monitor信号构造 信号构造本质:一个线程阻塞直到收到另一个线程发来的通知. 当多线程Wait同一对象时,就形成了一个"等待队列(waiting queue)",和用于等待 ...
- 我把 CPU 三级缓存的秘密,藏在这 8 张图里
本文已收录到 GitHub · AndroidFamily,有 Android 进阶知识体系,欢迎 Star.技术和职场问题,请关注公众号 [彭旭锐] 进 Android 面试交流群. 前言 大家好 ...
- 一文详解GaussDB(DWS) 的并发管控和内存管控
摘要:DWS的负载管理分为两层,第一层为cn的全局并发控制,第二层为资源池级别的并发控制. 本文分享自华为云社区<GaussDB(DWS) 并发管控&内存管控>,作者: fight ...
- .net core/5/6/7中WPF如何优雅的开始开发
WPF是微软的.net平台中的一个桌面客户端应用程序框架,经常用于企业开发windows桌面客户端,广泛应用于中小企业快速开发一款工具,本人也是比较喜欢利用WPF开发一些小工具. 目录 知名案例 .n ...
- 关于linux上strongswan客户端的配置
前言 这几天回家了,想连学校的vpn, 学校vpn用的是strongswan的EAP认证(不需要证书什么的),手机上直接用软件连接就可以了,windows也是内置了这个协议,无奈我用的是linux m ...
- 浏览器直接修改网站的js代码
1.按下F12打开控制台,找到源代码,然后是替换 2.在本地创建一个文件夹,会提示风险,点击允许 3.再找到你要修改的js文件代码,右击选择保存并覆盖 这样代码会保存到你刚刚创建的本地文件夹当中,接着 ...
- 【Java框架】SSM-Spring总结:IOC、DI、AOP、JDBC、事务管理、实际案例
〇.概述 1.常用资料 2.组成 一.控制反转与依赖注入 (一)Spring概述 1.介绍 以IOC和AOP为内核的框架 通过IOC实现控制,使用spring创建对象,与DI描述同一个概念 DI是对象 ...