02-Redis系列之-架构和高级API的使用
通用部分
通用命令
# 1-keys
# 打印出所有key
keys *
# 打印出所有以n开头的key
keys n*
# 打印出所有以nam开头,第四个字母是a到z的范围
keys nam[a-z]
# 四位长度,以n开头,?表示任意一位,*表示0或多位
keys nam?
keys name*
# keys命令一般不在生产环境中使用(性能差),生产环境key很多,时间复杂度为o(n),常用scan命令
# 2-dbsize 计算key的总数
dbsize # redis内置了计数器,插入删除值该计数器会更改,所以可以在生产环境使用,时间复杂度是o(1)
# 3-exists key 时间复杂度o(1)
# 查看name是否存在(存在返回1 不存在返回0)
exists name
# 4-del key 时间复杂度o(1)
删除成功返回1,key不存在返回0
# 5-expire key seconds 时间复杂度o(1)
expire name 10 # 3s 过期
ttl name # 查看name还有多长时间过期(-1表示已经过期或未设置过期时间)
persist name # 去掉name的过期时间
# 6-type key 时间复杂度o(1)
type name # 查看name类型,返回string
其他
info # 内存,cpu,主从相关
client list # 正在连接的会话 (redis-cli -a root123456 client list)
client kill ip:端口
flushall # 清空所有
flushdb # 只清空当前库
select 数字 # 选择某个库,总共16个库(0-15)
monitor # 记录操作日志,夯住(日志审计)
数据结构和内部编码
Redis单线程架构
单线程架构
一个瞬间只会执行一条命令
redis为什么这么快
- 纯内存
- 使用IO多路复用模型,非阻塞IO(
epoll
),自身实现了事件处理,不在网络io上浪费过多时间 - 避免线程间切换和竞态消耗(单线程,网络请求模块使用一个线程来处理,即一个线程处理所有网络请求,其他模块仍用了多个线程。6.0以后是多线程)
redis为什么不支持windows
因为轮询机制的不同
windows上的redis是第三方做出来的,redis官网不支持windows版本
windows使用的轮询是select,linux使用的epoll
因为性能原因,redis官方选择了linux的epoll去做
注意
一次只运行一条命令
拒绝长慢命令
- keys,flushall,flushdb,慢的lua脚本,mutil/exec,operate,big value
其实不是单线程(在做持久化是另外的线程)
fysnc file descriptor
close file descriptor
字符串类型
字符串键值结构
key value
hello world # 可以很复杂,如json格式字符串
counter 1 # 数字类型
bits 10101010 # 二进制(位图)
# 字符串value不能大于512m,一般建议100k以内
# 用于缓存,计数器,分布式锁...
字符串常用命令
# 1---基本使用get,set,del
get age # 时间复杂度 o(1)
set age 22 # 时间复杂度 o(1)
del age # 时间复杂度 o(1)
# 2---其他使用incr,decr,incrby,decrby
incr age #对age这个key的value值自增1
decr age #对age这个key的value值自减1
incrby age 10 #对age这个key的value值增加10
decrby age 10 #对age这个key的value值减10
# 应用场景
"""
# 统计网站访问量(单线程无竞争,天然适合做计数器)
# 缓存mysql的信息(json格式)
# 分布式id生成(多个机器同时并发着生成,不会重复)
"""
# 3---set,setnx,setxx
set name python #不管key是否存在,都设置
setnx name python #key不存在时才设置(新增操作)
set name python nx #同上
set name python2 xx #key存在,才设置(更新操作)
# 4---mget mset
mget key1 key2 key3 #批量获取key1,key2.。。时间复杂度o(n)
mset key1 value1 key2 value2 key3 value3 #批量设置时间复杂度o(n)
mset hobby ball sex 1
mget hobby sex
# n次get和mget的区别
-n次get时间=n次命令时间+n次网络时间
-mget时间=1次网络时间+n次命令时间
-管道是一次执行
# 5---其他:getset,append,strlen
getset name redis #设置新值并返回旧值 时间复杂度o(1)
append name 666 #将value追加到旧的value 时间复杂度o(1)
strlen name #计算字符串长度(注意中文) 时间复杂度o(1)
# 6---其他:incrybyfloat,getrange,setrange
increbyfloat age 3.5 #为age自增3.5,传负值表示自减 时间复杂度o(1)
getrange key start end #获取字符串制定下标所有的值 时间复杂度o(1)
setrange key index value #从指定index开始设置value值(会覆盖后面的值) 时间复杂度o(1)
哈希类型
哈希值结构
哈希重要api
# 1---hget,hset,hdel(时间复杂度是o(1))
hget key field #获取hash key对应的field的value 时间复杂度为 o(1)
hset key field value #设置hash key对应的field的value值 时间复杂度为 o(1)
hdel key field #删除hash key对应的field的值 时间复杂度为 o(1)
hset userinfo name hkw age 22 hobby ball
hget userinfo name
# 2---hexists,hlen(时间复杂度是o(1))
hexists key field #判断hash key 是否存在field 时间复杂度为 o(1)
hlen key #获取hash key field的数量 时间复杂度为 o(1)
hexists userinfo name
hlen userinfo
# 3---hmget,hmset(时间复杂度是o(n))
hmget key field1 field2 ...fieldN #批量获取hash key 的一批field对应的值 时间复杂度是o(n)
hmset key field1 value1 field2 value2 #批量设置hash key的一批field value 时间复杂度是o(n)
hmset userinfo2 name root age 99 hobby girl
hmget userinfo2 name age
# 4---hgetall,hvals,hkeys(时间复杂度是o(n))---尽量不要使用hgetall(容易夯住)
hgetall key #返回hash key 对应的所有field和value 时间复杂度是o(n)
hvals key #返回hash key 对应的所有field的value 时间复杂度是o(n)
hkeys key #返回hash key对应的所有field 时间复杂度是o(n)
其他操作
# 其他操作 hsetnx,hincrby,hincrbyfloat
hsetnx key field value # 设置hash key对应field的value(如果field已存在,则失败),时间复杂度o(1)
hincrby key field intCounter # hash key 对英的field的value自增intCounter 时间复杂度o(1)
hincrbyfloat key field floatCounter # hincrby 浮点数 时间复杂度o(1)
# hincrby场景:计算网站每个用户主页的访问量
hincrby webinfo userinfo 3
hget webinfo userinfo
hash vs string
相似的api
get | hget |
---|---|
set /sentnx | hset hsetnx |
del | hdel |
incr incrby dear decrby | hincrby |
mset | hmset |
mget | hmget |
缓存三种方案
直接json格式字符串
每个字段一个key
使用hash操作
列表类型
列表特点
有序队列,可以从左侧添加,右侧添加,可以重复,可以从左右两边弹出
API操作
插入操作
# rpush 从右侧插入
rpush key value1 value2 ...valueN #时间复杂度为o(1~n)
# lpush 从左侧插入
# linsert
linsert key before|after value newValue
# 从元素value的前或后插入newValue 时间复杂度o(n) ,需要遍历列表,插入失败返回(integer) -1
删除操作
lpop key # 从列表左侧弹出一个item 时间复杂度o(1)
rpop key # 从列表右侧弹出一个item 时间复杂度o(1)
# lrem
lrem key count value
# 根据count值,从列表中删除所有value相同的项 时间复杂度o(n)
1 count>0 从左到右,删除最多count个value相等的项
2 count<0 从右向左,删除最多 Math.abs(count)个value相等的项
3 count=0 删除所有value相等的项
lrem key 0 a # 删除列表中所有值a
lrem key -1 a # 从右侧删除1个a
# ltrim
ltrim key start end # 按照索引范围修剪列表 o(n),只保留下表区间内的元素
查询操作
lrange key start end # 包含end获取列表指定索引范围所有item o(n)
lrange key 0 -1 # 获取全部
lindex key index # 获取列表指定索引的item o(n)
llen key # 获取列表长度
修改操作
lset key index newValue # 设置列表指定索引值为newValue o(n)
实战应用
实现timeLine功能,时间轴,微博关注的人,按时间轴排列,在列表中放入关注人的微博的即可
其他操作
blpop key timeout # lpop的阻塞版,timeout是阻塞超时时间,timeout=0为拥有不阻塞 o(1)
brpop key timeout # rpop的阻塞版,timeout是阻塞超时时间,timeout=0为拥有不阻塞 o(1)
# 要实现栈的功能
lpush+lpop
# 实现队列功能
lpush+rpop
# 固定大小的列表
lpush+ltrim
# 消息队列
lpush+brpop
集合类型
特点
无序,无重复,集合间操作(交叉并补)
API操作
sadd key element # 向集合key添加element(如果element存在,添加失败) o(1)
scard key # 计算集合大小
srem key element # 把集合中的element移除掉 o(1)
srandmember key count # 从集合中随机取出count个元素,不会破坏集合中的元素
spop key # 从集合中随机弹出一个元素
smembers key # 获取集合中所有元素,无序,小心使用,会阻塞住
sismember key element # 判断element是否在集合中,返回1或0
sdiff user:1:follow user:2:follow # 计算user:1:follow和user:2:follow的差集
sinter user:1:follow user:2:follow # 计算user:1:follow和user:2:follow的交集
sunion user:1:follow user:2:follow # 计算user:1:follow和user:2:follow的并集
sdiff|sinter|suion + store destkey... # 将差集,交集,并集结果保存在destkey集合中
- suionstore destkey setkey1 setkey2
实战应用
抽奖系统 :通过spop
来弹出用户的id,活动取消,直接删除
点赞,点踩,喜欢等,用户如果点了赞,就把用户id放到该条记录的集合中
标签:给用户/文章等添加标签,sadd user:1:tags
标签1 标签2 标签3
给标签添加用户,关注该标签的人有哪些
共同好友:集合间的操作
总结
sadd
:可以做标签相关
spop/srandmember
:可以做随机数相关
sadd/sinter
:社交相关
有序集合类型
特点
# 有一个分值字段,来保证顺序
key score value
user:ranking 1 hkw
user:ranking 99 hkw2
user:ranking 88 hkw3
# 比较
# 1.集合有序集合
集合:无重复元素,无序,element
有序集合:无重复元素,有序,element+score
# 2.列表和有序集合
列表:可以重复,有序,element
有序集合:无重复元素,有序,element+score
API使用
zadd key score element # score可以重复,可以多个同时添加,element不能重复 o(logN)
zcard key # 返回元素总个数 o(1)
zscore key element # 获取元素的分数 o(1)
zrange player:rank 0 -1 withscores # 返回排名,带分数
zincrby key increScore element # 增加或减少元素的分数 o(1)
zrank key element # 返回element元素的排名(从小到大的排名)
zrange key 0 -1 # 返回排名,不带分数 o(log(n)+m) n是元素个数,m是要获取的值
zrangebyscore key minScore maxScore # 返回指定分数范围内的升序元素 o(log(n)+m) n是元素个数,m是要获取的值
zrangebyscore key 90 120 withscores # 获取90分到120分的元素和分数(上条是只返回元素)
zcount key minScore maxScore # 返回有序集合内在指定分数范围内的个数 o(log(n)+m)
zrem key element # 删除元素,可以多个同时删除 o(1)
zremrangebyrank key start end # 删除指定排名内的升序元素 o(log(n)+m)
zremrangebyscore key minScore maxScore # 删除指定分数内的升序元素 o(log(n)+m)
实战
排行榜:音乐排行榜,销售榜,关注榜,游戏排行榜
其他操作
zrevrank # 从高到低排序
zrevrange # 从高到低排序取一定范围
zrevrangebyscore # 返回指定分数范围内的降序元素
zinterstore # 对两个有序集合求交集
zunionstore # 对两个有序集合求并集
总结
操作类型 | 命令 |
---|---|
基本操作 | zadd/ zrem/ zcard/ zincrby/ zscore |
范围操作 | zrange/ zrangebyscore/ zcount/ zremrangebyrank |
集合操作 | zunionstore/ zinterstore |
高级api使用
下一部分有详细的介绍
慢查询
假设redis性能不高了,如何去排除?
pipline和watch
# pipline 命令中不支持,各个语言的客户端支持
# watch实现乐观锁
位图 (本质就是字符串)
Bitmaps 并不是实际的数据类型,而是定义在String类型上的一个面向字节操作的集合。因为字符串是二进制安全的块,他们的最大长度是512M,最适合设置成2^32个不同字节。
Bitmaps 的最大优势之一在存储信息时极其节约空间。
HyperLogLog
pfadd urls www.baidu.com # 添加指定元素到 HyperLogLog 中。
pfadd urls www.baidu.com # 不可重复放相同值
pfcount urls # 返回给定 HyperLogLog 的基数估算值。
布隆过滤器(有误差)
geo
- geoadd:添加地理位置的坐标。
- geopos:获取地理位置的坐标。
- geodist:计算两个位置之间的距离。
- georadius:根据用户给定的经纬度坐标来获取指定范围内的地理位置集合。
- m :米,默认单位。
- km :千米。
- mi :英里。
- ft :英尺。
- WITHDIST: 在返回位置元素的同时, 将位置元素与中心之间的距离也一并返回。
- WITHCOORD: 将位置元素的经度和纬度也一并返回。
- WITHHASH: 以 52 位有符号整数的形式, 返回位置元素经过原始 geohash 编码的有序集合分值。 这个选项主要用于底层应用或者调试, 实际中的作用并不大。
- COUNT 限定返回的记录数。
- ASC: 查找结果根据距离从近到远排序。
- DESC: 查找结果根据从远到近排序。
- georadiusbymember:根据储存在位置集合里面的某个地点获取指定范围内的地理位置集合。
- geohash:返回一个或多个位置对象的 geohash 值。
# 移动端有定位,往后台传,就是经纬度
geoadd cities:locations 116.28 39.55 beijing
geoadd cities:locations 117.12 39.08 tianjin
geoadd cities:locations 114.29 38.02 shijiazhuang
geoadd cities:locations 118.01 39.38 tangshan
geoadd cities:locations 115.29 38.51 baoding
# 获取北京的地理位置坐标(可以同时获取多个)
geopos cities:locations beijing
geopos cities:locations beijing tianjin
# 计算北京到唐山的直线距离
geodist cities:locations beijing tianjin km
# 计算北京周五150千米内的城市
georadiusbymember cities:locations beijing 150 km
# 根据经纬度坐标获取200km内的地理位置集合
georadius cities:locations 116.28 39.55 200 km withcoord
02-Redis系列之-架构和高级API的使用的更多相关文章
- Redis系列目录
第一章 Redis系列之-redis初识 第二章 Redis系列之-常用命令及API的使用 第三章 Redis系列之-高级用法 第四章 Redis系列之-持久化 第五章 Redis系列之-使用常见问题 ...
- 分布式缓存技术redis系列(四)——redis高级应用(集群搭建、集群分区原理、集群操作)
本文是redis学习系列的第四篇,前面我们学习了redis的数据结构和一些高级特性,点击下面链接可回看 <详细讲解redis数据结构(内存模型)以及常用命令> <redis高级应用( ...
- elk系列8之logstash+redis+es的架构来收集apache的日志【转】
preface logstash--> redis --> logstash --> es这套架构在讲究松耦合关系里面是最简单的,架构图如下: 解释下这个架构图的流程 首先前端log ...
- Redis 系列(02)数据结构
目录 Redis 系列(02)数据结构 Redis 系列目录 1. String 1.1 基本操作 1.2 数据结构 1.3 Redis数据存储结构 2. Hash 2.1 基本操作 2.2 数据结构 ...
- redis系列之4----redis高级应用(集群搭建、集群分区原理、集群操作)
文章主目录 Redis集群简介 Redis集群搭建 Redis集群分区原理 集群操作 参考文档 本文是redis学习系列的第四篇,前面我们学习了redis的数据结构和一些高级特性,点击下面链接可回看 ...
- Redis系列3:高可用之主从架构
Redis系列1:深刻理解高性能Redis的本质 Redis系列2:数据持久化提高可用性 1 主从复制介绍 上一篇<Redis系列2:数据持久化提高可用性>中,我们介绍了Redis中的数据 ...
- redis系列-14点的灵异事件
概述 项目组每天14点都会遭遇惊魂时刻.一条条告警短信把工程师从午后小憩中拉回现实.之后问题又神秘消失.是PM喊你上工了?还是服务器给你开玩笑?下面请看工程师如何一步一步揪出真凶,解决问题. 如果不想 ...
- redis 系列25 哨兵Sentinel (高可用演示 下)
一. Sentinel 高可用环境准备 1.1 Sentinel 集群环境 环境 说明 操作系统版本 CentOS 7.4.1708 IP地址 172.168.18.200 网关Gateway 1 ...
- redis系列--深入哨兵集群
一.前言 在之前的系列文章中介绍了redis的入门.持久化以及复制功能,如果不了解请移步至redis系列进行阅读,当然我也是抱着学习的知识分享,如果有什么问题欢迎指正,也欢迎大家转载.而本次将介绍哨兵 ...
- 02 . Redis哨兵
Redis高可用概述 在 Web 服务器中,高可用 是指服务器可以 正常访问 的时间,衡量的标准是在 多长时间 内可以提供正常服务(99.9%.99.99%.99.999% 等等).在 Redis ...
随机推荐
- [转帖]原创经典:SQLSERVER SendStringParametersAsUnicode引发的疑案 推荐
https://developer.aliyun.com/article/429563 简介: 上周五碰到开发的请求协助解决数据预定程序中对单头等几个表检索数据时检索条件尾数是9的数据特别慢.第一时间 ...
- [转帖]适用于 Azure VM 的 TCP/IP 性能优化
https://learn.microsoft.com/zh-cn/azure/virtual-network/virtual-network-tcpip-performance-tuning?con ...
- 基于CefSharp开发浏览器(十)浏览器CefSharp.Wpf中文输入法偏移处理
一.前言 两年多来未曾更新博客,最近一位朋友向我咨询中文输入法问题.具体而言,他在使用CefSharp WPF版本时遇到了一个问题,即输入法突然出现在屏幕的左上角.在这里记录下处理这个问题的过程,希望 ...
- vue3.2如何将写hooks呢?
场景 有些时候,我们需要将一个页面拆分成各个模块. 这些模块包含增加,删除,修改,等 并且这些模块会处理非常复杂的业务逻辑问题 所以,我们最好是将他们分开. 如何将分离新增模块拆离出去 主页面 < ...
- vue mixin混入 全局混入 局部混入
<div id="app"> --{{nameName}} </div> // 全局混入 不需要注册 var m1 = Vue.mixin({ data() ...
- &&运算提高代码质量
sendGiveWeb: { code: 200, success: true, data: [ { id: "1230", name: "lh" }, { i ...
- hadoop实践02---eclipse操作hdfs的api上传文件
1.eclipse中编写代码后双击main方法--->Run as ---> java application ,然后指定的文件 就会提交到hdfs中. 2.查看文件:http://192 ...
- Unity Editor开发中查找属性的两种写法对比
从2017开始,在editor脚本中查找属性是这样写的 var m_Script = serializedObject.FindProperty("m_Script"); Seri ...
- vim 从嫌弃到依赖(2)——vim 模式
在上一篇文章中我们获取到了neovim 并对它进行了基础配置.现在已经具备一般编辑器的基本功能了.让我们先学会如何使用vim基本功能进行编辑,后面再看如何进行配置,以达到某某IDE或者编辑器的效果 v ...
- MongoDB 选型介绍
什么是 MongoDB 前言 MongoDB 的主要特性 MongoDB 对比关系型数据库 MySQL 什么时候考虑 MongoDB 参考 什么是 MongoDB 前言 MongoDB 是一个开源.高 ...