Redis各种数据类型的使用场景
Redis的六种特性
l Strings
l Hashs
l Lists
l Sets
l Sorted Sets
l Pub/Sub
Redis各特性的应用场景
Strings
Strings 数据结构是简单的key-value类型,value其实不仅是String,也可以是数字。
常用方法
方法 |
说明 |
特性 |
set |
设置key对应的的值为String类型的value |
|
get |
获取对应key对应的String的值,如果不存在返回nil |
|
setnx |
设置可以为对应的值为String类型的value,如果key存在返回0不覆盖,不存在返回1 |
nx的意思为not exist Set the value of a key, only if the key does not exist |
setex |
置key对应的值为String类型的value,并指定此键值对应的有效期 SETEX key seconds value |
例:setex mykey 10 你好 |
setrange |
设置key的value的子字符串 |
setrange key 位置 替换的内容 如果替换内容没有原value长,则原value剩余的内容将被保留 |
mset |
一次设置多个key的值,成功返回ok,失败返回0,要成功都成功,要不成功全部失败。 |
mset key1 内容一 key2 内容二 |
msetnx |
一次设置多个key的值,成功返回ok,失败返回0,不覆盖已经存在的值,要成功都成功,要失败都失败。 |
|
getset |
设置key的值并返回key的旧值 |
getset key newValuse |
getrange |
获取key对应的value子字符串 |
getrange key 0 5 //获取前6个字符 |
mget |
批量获取 |
mget key1 key2 key3 //没有设置则返回空 |
incr |
对key的值做增加操作,并返回新的值 |
+1 |
incrby |
对可以的value加指定的值, |
key如果不存在会设置key并value为0 incrby key1 5 //对key1的值加5 |
decr |
对key的值做减减操作 |
-1 |
decrby |
对key的值减去指定值 |
|
append |
给指定key的字符串追加value,返回新的字符串长度 |
|
strlen |
取指定key的value值的长度 |
使用场景
常规key-value缓存应用。
常规计数: 微博数, 粉丝数
Hashs
在Memcached中,我们经常将一些结构化的信息打包成hashmap,在客户端序列化后存储为一个字符串的值,比如用户的昵称、年龄、性别、积分等,这时候在需要修改其中某一项时,通常需要将所有值取出反序列化后,修改某一项的值,再序列化存储回去。这样不仅增大了开销,也不适用于一些可能并发操作的场合(比如两个并发的操作都需要修改积分)。而Redis的Hash结构可以使你像在数据库中Update一个属性一样只修改某一项属性值。
它是一个String类型的field和value的映射表,它的添加和删除都是平均的,hash特别适合用于存储对象,对于将对象存储成字符串而言,hash会占用更少的内存,并且可以更方便的存取整个对象. 它和java的HashMap完全类似
常用方法
方法 |
说明 |
特性 |
hset |
设置一个hash 的field为指定值,如果key不存在则先创建 |
hset tab ke1 val1 |
hget |
获取某个hash的某个field值 |
hget tab ke1 |
hsetnx |
类似string只是操作的是hash |
|
hmset |
批量设置hash的内容 |
|
hmget |
获取hash表的全部key值 |
Hmget key field1 field2 |
hincrby |
给hash表的某个字段增加值 |
|
hexists |
判断hash表中某个key是否存在 |
|
hlen |
返回hash表中的key数量 |
|
hdel |
删除指定hash表的某个键值对 |
|
hkeys |
返回hash表中所有的key |
|
hvals |
返回hash表中所有的value |
|
hgetall |
获取hash表中所有key和value |
使用场景
存储部分变更数据
如用户信息等。
Lists
Lists 就是链表,略有数据结构知识的人都应该能理解其结构。使用Lists结构,我们可以轻松地实现最新消息排行等功能。Lists的另一个应用就是消息队列,可以利用Lists的PUSH操作,将任务存在Lists中,然后工作线程再用POP操作将任务取出进行执行。Redis还提供了操作Lists中某一段的api,你可以直接查询,删除Lists中某一段的元素。
Redis的list是每个子元素都是String类型的双向链表,可以通过push和pop操作从列表的头部或者尾部添加或者删除元素,这样List即可以作为栈,也可以作为队列。
常用方法
方法 |
说明 |
特性 |
lpush |
在key所对应的list头部添加一个元素 |
l的意思是left |
rpush |
在key说对应的list尾部添加一个元素 |
r的意思是right |
lrange |
显示list里面的内容 |
lrange 0 -1 //全部显示 |
linsert |
在key对应的list |
linsert mylist before one myvalue |
lset |
设置list中指定下标元素的值 |
lset mylist index myvalue |
lrem |
从key对应的list中删除n个和value相同的元素,结果返回影响元素的个数,n<0从尾部开始删除,n=0全删除 |
lrem mylist count "value" |
ltrim |
保留指定key范围内的数据,返回ok成功 |
ltrim mylist 0 3 //0-3是保留的范围 |
lpop |
从list的头部删除一个元素,并返回该删除的元素 |
|
rpop |
从list的尾部弹出一个元素,并返回该删除的元素 |
|
rpoplpush |
从第一个list的尾部元素异常元素并添加到第二个list的头部 |
rpoplpush mylistA mylistB |
lindex |
返回list位置的元素 |
lindex mylist 3 |
llen |
返回list中元素的个数 |
llen mylist |
使用场景
消息队列系统
使用list可以构建队列系统,使用sorted set甚至可以构建有优先级的队列系统。
比如:将Redis用作日志收集器
实际上还是一个队列,多个端点将日志信息写入Redis,然后一个worker统一将所有日志写到磁盘。
取最新N个数据的操作
记录前N个最新登陆的用户Id列表,超出的范围可以从数据库中获得。
//把当前登录人添加到链表里
ret = r.lpush("login:last_login_times", uid)
//保持链表只有N位
ret = redis.ltrim("login:last_login_times", 0, N-1)
//获得前N个最新登陆的用户Id列表
last_login_list = r.lrange("login:last_login_times", 0, N-1)
比如sina微博:
在Redis中我们的最新微博ID使用了常驻缓存,这是一直更新的。但是我们做了限制不能超过5000个ID,因此我们的获取ID函数会一直询问Redis。只有在start/count参数超出了这个范围的时候,才需要去访问数据库。
我们的系统不会像传统方式那样“刷新”缓存,Redis实例中的信息永远是一致的。SQL数据库(或是硬盘上的其他类型数据库)只是在用户需要获取“很远”的数据时才会被触发,而主页或第一个评论页是不会麻烦到硬盘上的数据库了。
Sets
Sets 就是一个集合,集合的概念就是一堆不重复值的组合。利用Redis提供的Sets数据结构,可以存储一些集合性的数据。
案例:
在微博应用中,可以将一个用户所有的关注人存在一个集合中,将其所有粉丝存在一个集合。Redis还为集合提供了求交集、并集、差集等操作,可以非常方便的实现如共同关注、共同喜好、二度好友等功能,对上面的所有集合操作,你还可以使用不同的命令选择将结果返回给客户端还是存集到一个新的集合中。
Set是集合,是String类型的无序集合,set是通过hashtable实现的,概念和数学中个的集合基本类似,可以交集,并集,差集等等,set中的元素是没有顺序的。
常用方法
方法 |
说明 |
特性 |
sadd |
向名称为key的set中添加元素,返回影响元素的个数,0为失败,1为成功 |
sadd myset value |
smembers |
查看集合中所有的成员 |
smebers myset |
srem |
删除集合的一个元素 |
srem myset two |
spop |
随机返回并删除set中一个元素 |
spop myset |
sdiff |
返回所有set与第一个set的差集 |
sdiff myset1 myset2 |
sdiffstore |
比较差集并且存储到另一个set中,返回1代表成功 |
sdiffstore setstoreSet mySet1 myset2 |
sinter |
返回所有给定集合的交集 |
sinter myset1 mysert2 //1集合和2集合的交集 |
sinterstore |
返回给定集合的交集并存储到另一个集合 |
sinterstore desset myset1 myset2 //存到desset集合中 |
sunion |
返回所有给定集合的并集 |
sunion set1 set2 |
sunionstore |
返回所有的并集并且存储到另一个集合中,返回影响的元素个数 |
sunionstore destSet myset1 myset2 |
smove |
把第一个集合的元素移动到第二个集合中 |
smove myset myset 你好 |
scard |
返回集合中元素的个数 |
scard myset1 |
sismember |
测试某个元素是否在集合中,返回0是不是,大于0是存在 |
sismember mykey1 你好 |
srandmember |
随机返回个集合中的元素 |
srandmemeber myset1 |
使用场景
交集,并集,差集:(Set)
//book表存储book名称
set book:1:name ”The Ruby Programming Language”
set book:2:name ”Ruby on rail”
set book:3:name ”Programming Erlang”
//tag表使用集合来存储数据,因为集合擅长求交集、并集
sadd tag:ruby 1
sadd tag:ruby 2
sadd tag:web 2
sadd tag:erlang 3
//即属于ruby又属于web的书?
inter_list = redis.sinter("tag.web", "tag:ruby")
//即属于ruby,但不属于web的书?
inter_list = redis.sdiff("tag.ruby", "tag:web")
//属于ruby和属于web的书的合集?
inter_list = redis.sunion("tag.ruby", "tag:web")
获取某段时间所有数据去重值
这个使用Redis的set数据结构最合适了,只需要不断地将数据往set中扔就行了,set意为集合,所以会自动排重。
Sorted Sets
和Sets相比,Sorted Sets增加了一个权重参数score,使得集合中的元素能够按score进行有序排列,比如一个存储全班同学成绩的Sorted Sets,其集合value可以是同学的学号,而score就可以是其考试得分,这样在数据插入集合的时候,就已经进行了天然的排序。可以用Sorted Sets来做带权重的队列,比如普通消息的score为1,重要消息的score为2,然后工作线程可以选择按score的倒序来获取工作任务。让重要的任务优先执行。
常用方法
方法 |
说明 |
特性 |
zadd |
向zset中添加元素member,score 用于排序,如果元素存在,则更新其顺序,返回0代表没添加成功 |
ZADD key score member zadd myset 3 itim |
zrange |
取出集合中的元素 |
zrange myset 0 -1 withscores//显示序号 by index |
zrem |
删除名称为key的zset中的元素member |
zrem myset itim |
zincrby |
修改元素的排序,如果元素不存在则添加该元素,且排序的score值为增加值 |
zincrby myzset score itim |
zrank |
返回元素在集合中的排序位置,就是索引值 |
zrank myzset itim //itim在集合中的位置 |
zrevrank |
返回从大到小的排序索引值,就是逆序位置 |
zrevrangk myzset itim//逆序的位置 |
zrevrange |
返回集合中从大到小排序(降序)的,索引start到end的所有元素 |
zrevrange myzset 0 -1 //逆序后的元素 |
zrangebyscore |
根据排序索引的scores来返回元素 |
zrangebyscore myzset 1 3 withscores// |
zcount |
返回集合中给定区间的数量 |
zcount myzset 2 4 //集合中2-4索引元素的个数 |
zcard |
返回集合中所有元素的个数 |
zcard myzset //返回所有元素的个数 |
zremrangebyrank |
删除集合中排序在给定区间的所有元素(按索引删除) |
zremrangebyrank myzset 2 3 // |
zremrangebyscore |
删除集合中在给定排序区间的元素 (按顺序删除) |
zremrangebyscore myzset 2 5 // |
使用场景
排行榜应用,取TOP N操作
这个需求与上面需求的不同之处在于,前面操作以时间为权重,这个是以某个条件为权重,比如按顶的次数排序,这时候就需要我们的sorted set出马了,将你要排序的值设置成sorted set的score,将具体的数据设置成相应的value,每次只需要执行一条ZADD命令即可。
//将登录次数和用户统一存储在一个sorted set里
zadd login:login_times 5 1
zadd login:login_times 1 2
zadd login:login_times 2 3
ZADD key score member
//当用户登录时,对该用户的登录次数自增1
ret = r.zincrby("login:login_times", 1, uid)
//那么如何获得登录次数最多的用户呢,逆序排列取得排名前N的用户
ret = r.zrevrange("login:login_times", 0, N-1)
ZREVRANGE key start stop [WITHSCORES]
比如在线游戏的排行榜,根据得分你通常想要:
- 列出前100名高分选手
- 列出某用户当前的全球排名
这些操作对于Redis来说小菜一碟,即使你有几百万个用户,每分钟都会有几百万个新的得分。
模式是这样的,每次获得新得分时,我们用这样的代码:
ZADD leaderboard <score> <username>
你可能用userID来取代username,这取决于你是怎么设计的。
得到前100名高分用户很简单:ZREVRANGE leaderboard 0 99。
用户的全球排名也相似,只需要:ZRANK leaderboard <username>。
ZRANK key member
Determine the index of a member in a sorted set
需要精准设定过期时间的应用
比如你可以把上面说到的sorted set的score值设置成过期时间的时间戳,那么就可以简单地通过过期时间排序,定时清除过期数据了,不仅是清除Redis中的过期数据,你完全可以把Redis里这个过期时间当成是对数据库中数据的索引,用Redis来找出哪些数据需要过期删除,然后再精准地从数据库中删除相应的记录。
范围查找
比如:有一个IP范围对应地址的列表,现在需要给出一个IP的情况下,迅速的查找到这个IP在哪个范围,也就是要判断此IP的所有地。
例如:查询IP是否存在的问题;
ADSM,查询IP是否在其他分组中存在。写json文件
sadd向名称为key的set中添加元素,返回影响元素的个数,0为失败,1为成功
例如:有下面两个范围,10-20和30-40
A_start 10, A_end 20
B_start 30, B_end 40
我们将这两个范围的起始位置存在Redis的Sorted Sets数据结构中,基本范围起始值作为score,范围名加start和end为其value值:
redis 127.0.0.1:6379> zadd ranges 10 A_start
(integer) 1
redis 127.0.0.1:6379> zadd ranges 20 A_end
(integer) 1
redis 127.0.0.1:6379> zadd ranges 30 B_start
(integer) 1
redis 127.0.0.1:6379> zadd ranges 40 B_end
(integer) 1
这样数据在插入Sorted Sets后,相当于是将这些起始位置按顺序排列好了。
现在我需要查找15这个值在哪一个范围中,只需要进行如下的zrangbyscore查找:
redis 127.0.0.1:6379> zrangebyscore ranges (15 +inf LIMIT 0 1
1) "A_end"
这个命令的意思是在Sorted Sets中查找大于15的第一个值。(+inf在Redis中表示正无穷大,15前面的括号表示>15而非>=15)
查找的结果是A_end,由于所有值是按顺序排列的,所以可以判定15是在A_start到A_end区间上,也就是说15是在A这个范围里。至此大功告成。
当然,如果你查找到的是一个start,比如咱们用25,执行下面的命令
redis 127.0.0.1:6379> zrangebyscore ranges (25 +inf LIMIT 0 1
1) "B_start"
返回结果表明其下一个节点是一个start节点,也就是说25这个值不处在任何start和end之间,不属于任何范围。
Pub/Sub
Pub/Sub 从字面上理解就是发布(Publish)与订阅(Subscribe),在Redis中,你可以设定对某一个key值进行消息发布及消息订阅,当一个key值上进行了消息发布后,所有订阅它的客户端都会收到相应的消息。这一功能最明显的用法就是用作实时消息系统,比如普通的即时聊天,群聊等功能。
案例:
Qlocenter 下发策略
使用场景
Pub/Sub构建实时消息系统
Redis的Pub/Sub系统可以构建实时的消息系统
比如很多用Pub/Sub构建的实时聊天系统的例子。
通过最近一直看公司的代码慢慢了解实际的运用和使用,记录下各种数据类型在我们项目中的运用,结合php的数组和mysql数据一起对比记录。
整个项目的背景介绍,类似与豆瓣的社区,有帖子,有图片,有相册,有小组,有粉丝,可以评论,可以赞。
1.字符串(String)
字符串的功能比较简单单一,容易理解的,类比一个数组的key-value。由于其数据结构的简单,所以也是来做简单的事,比如统计所有的小组数目,所有的相册数目,因为这些数据属于整个项目。
- //用户创建相册的操作,以ThinkPHP的ORM为例
- $data = array('name'=>'梦康的相册','create_id'=>'1','create_time'=>time());
- $res = M('ablum')->add($data);
- if($res){
- //全站相册总数加一
- $redis->incr('ablumCount');
- }
那么某个用户的相册总数应该怎么存呢?
可以继续使用String来存储
- $reids->set('user:1:ablumNum',1000)//设置id为1的用户的相册数为1000
上面的key的设计原则是:object-type:id:field
,从对象的角度来分析,一个用户对象,name,ablumNum,groupNum等都是他的成员属性,如果是从数据的角度来分析,则是user表里面的id为1的用户的ablum_num字段的数据。
新增一个需求:如果需要取出相册总数前十的用户,怎么排序呢?
就应该考虑使用有序集合(sorted sets),这个后面说。
2.哈希(Map)
hashMap的使用场景,hashMap特别适合用于存储对象。 相较于将对象的每个字段存成单个string类型,将一个对象存储在hash类型中会占用更少的内存,并且可以更方便的存取整个对象。
用户ID为查找的key,存储的value用户对象包含姓名,年龄,生日等信息,如果用普通的key/value结构来存储,主要有以下2种存储方式:
第一种方式将用户ID作为查找key,把其他信息封装成一个对象以序列化的方式存储,这种方式的缺点是,增加了序列化/反序列化的开销,并且在需要修改其中一项信息时,需要把整个对象取回。
第二种方法是这个用户信息对象有多少成员就存成多少个key-value对儿,用用户ID+对应属性的名称作为唯一标识(id:name
,id:age
,id:birthday
)来取得对应属性的值,虽然省去了序列化开销和并发问题,但是一个用户ID为重复存储了三次,如果存在大量这样的数据,内存浪费还是非常大的。
详见:http://tech.it168.com/a2011/0818/1234/000001234478_all.shtml
3.列表(list)
redis的list类型其实就是一个每个子元素都是string类型的双向链表。我们可以通过push,pop操作从链表的头部或者尾部添加删除元素。这使得list既可以用作栈,也可以用作队列。
产品运营总会让你展示最近、最热、点击率最高、活跃度最高等等条件的top list。注意list
有做排行榜的功能,但是list
却不方便在中间插入。如果某一个排行榜,确定是一小时跑一次,而不用中途又去人工干预,那么就可以使用list
。如果需要后期人工干预排行榜,则最好是使用zsets
的结构,可以后期插入。
4.集合(sets)
集合使用的好处是快速往集合里插入一个元素,删除一个元素,确定一个元素是否存在于该集合。使用到的场景就是一个用户的粉丝,数据模型就是一对多的情况,一个用户可能有N个粉丝,所以就可以选择集合的数据结构。
- $key = "user:$user:fans";
- //$fansArr 是粉丝数组
- foreach($fansArr as $fans){
- $redis->sAdd($key, $fans['id']);
- }
如果某一个用户对其取消了关注,那么就从该集合里删除。如果之前选择了list
则不方便实现了
- $redis->sMove($key, $fans['id']);
5.有序集合(zsets)
有序集合在项目中使用的最多,因为其比较方便做分页查询,比较容易控制顺序。比如我们项目中对搜索结果的数据就以zsets
的结构来存的。因为方便排序。比如一个壁纸的关键字会有很多图片,以大家的点赞数来降序排列。
- $key = "tagid:$id:search";
- $redis->multi(Redis::PIPELINE);
- foreach ($imagesArr as $image){
- //把点赞数作为权重,图片的id作为值
- $redis->zAdd($key, $image['fav_num'], $image['id']);
- }
- $redis->exec();
比如现在壁纸的搜索结果已经存在了,但是又有一位原创用户自己手绘的质量非常高的壁纸上传,这个时候,这个质量非常高的壁纸却没有阅读量,就没有点赞数,也不会存在于搜索列表的前面,所以需要人工干预下,给该图片增加一些权重,放入对应的缓存中,这样就实时更新了。
以上的这些情景基本涵盖了redis的一些比较有特色的使用情况吧。以后有新的收获再补。
Redis各种数据类型的使用场景的更多相关文章
- Redis各种数据类型的应用场景
redis是一种key values形式的非关系型数据库,通过内存存储,也可以把数据持久化到本地文件中. redis支持丰富的数据类型,String,list,set,zset,hash,下面说一下各 ...
- 一文搞定Redis五大数据类型及应用场景
本文学习知识点 redis五大数据类型数据类型:string.hash.list.set.sorted_set 五大类型各自的应用场景 @TOC 1. string类型 1-1 string类型数据的 ...
- Redis的数据类型及使用场景
1.redis 的数据类型 String 字符串 Hash 哈希 List 列表 Set 集合 ZSet(Sorted Set) 有序集合 2.使用场景 2.1 String 用户token 可以用r ...
- Redis各个数据类型的使用场景
Redis支持五种数据类型:string(字符串),hash(哈希),list(列表),set(集合)及zset(sorted set:有序集合). Redis列表命令 参考:http://www.r ...
- redis的数据类型与应用场景(二)
1. 如何学习 redis有好多数据类型,有这么多数据类型,我们不可能每个都记得完完全全.但是我们必须知道它有哪些数据类型,每个数据类型是怎样的,有什么作用.redis的每一个数据类型都有一大堆命令, ...
- Redis系列之----Redis的数据类型及使用场景
Redis是一个开源的.高性能的.基于键值对的缓存与存储系统,能够提供多种不同的键值数据类型来适应不同场景下的缓存和存储需求. Redis中所有的数据都存储在内存中,因此读写速度非常快,相 ...
- Redis常用数据类型及使用场景
Redis最为常用的数据类型 字符串(String) 字符串列表(list) 字符串集合(set) 哈希(hash) 有序的字符串集合(sorted set) String(字符串) 字符串是最基本的 ...
- Redis的数据类型以及应用场景
1. Redis的作用 1.1 Redis可以做什么 1.缓存:缓存机制几乎在所有的大型网站都有使用,合理地使用缓存不仅可以加快数据的访问速度,而且能够有效地降低后端数据源的压力.Redis提供了键值 ...
- Redis多种数据类型以及使用场景
SDS简单动态字符串 struct sdshdr { // 记录buf数组中已使用字节的数量 // 等于SDS所保存字符串的长度 int len; // 记录buf数组中未使用字节的数量 int fr ...
随机推荐
- 2015 多校赛 第五场 1006 (hdu 5348)
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=5348 题目大意:给出一幅无向图,问是否存在一种方案,使得给每条边赋予方向后,每个点的入度与出度之差小于 ...
- C - Domino piling
Problem description You are given a rectangular board of M × N squares. Also you are given an unlimi ...
- matplotlib之pyplot 知识点滴
以下是一些常用地址链接,请参考 matplotlib 官方网址 plt.plot()函数细节 Matplotlib 中文用户指南 4.6 编写数学表达式 Python seaborn matplotl ...
- Java多线程-synchronized关键字
进程:是一个正在执行中的程序.每一个进程执行都有一个执行顺序.该顺序是一个执行路径,或者叫一个控制单元. 线程:就是进程中的一个独立的控制单元.线程在控制着进程的执行. 一个进程中至少有一个线程 Ja ...
- sql server 存储过程(事务,带参数声明,数据库瘦身)
CREATE PROCEDURE procedureName (@var1 as varchar(50),@var2 as varchar(50)) --建立未发临时表 AS begin tran - ...
- 【JSP】常用跳转方式
原文地址:http://blog.csdn.net/wanghuan203/article/details/8836326 (1)href超链接标记,属于客户端跳转 (2)使用javascript完成 ...
- 论 fmap、fmap fmap、与 fmap fmap fmap
https://blog.csdn.net/sinat_25226993/article/details/44415803
- spring 回顾
主要就是它的IOC理念 即:把对象的创建.初始化.销毁等工作交给spring容器来做 依赖jar
- Vuex教程简单实例
什么是Vuex? vuex是一个专门为vue.js设计的集中式状态管理架构.状态?我把它理解为在data中的属性需要共享给其他vue组件使用的部分,就叫做状态.简单的说就是data中需要共用的属性. ...
- Spring实战(中文4,5版) PDF含源码
Spring实战 读者评价 看了一半后在做评论,物流速度挺快,正版行货,只是运输过程有点印记,但是想必大家和你关注内容,spring 4必之3更加关注的是使用注解做开发,对于初学者还是很有用,但是不排 ...