一、背景

最近在看redis这方面的知识，发现在redis5中产生了一种新的数据类型Stream，它和kafka的设计有些类似，可以当作一个简单的消息队列来使用。

二、redis中Stream类型的特点

  1. 是可持久化的，可以保证数据不丢失。

  2. 支持消息的多播、分组消费。

  3. 支持消息的有序性。

三、Stream的结构

解释：

  1. 消费者组： Consumer Group,即使用 XGROUP CREATE 命令创建的，一个消费者组中可以存在多个消费者，这些消费者之间是竞争关系。

    1. 同一条消息，只能被这个消费者组中的某个消费者获取。
    2. 多个消费者之间是相互独立的，互不干扰。
  2. 消费者： Consumer 消费消息。
  3. last_delivered_id： 这个id保证了在同一个消费者组中，一个消息只能被一个消费者获取。每当消费者组的某个消费者读取到了这个消息后，这个last_delivered_id的值会往后移动一位，保证消费者不会读取到重复的消息。
  4. pending_ids：记录了消费者读取到的消息id列表，但是这些消息可能还没有处理，如果认为某个消息处理，需要调用ack命令。这样就确保了某个消息一定会被执行一次。
  5. 消息内容：是一个键值对的格式。
  6. Stream 中 消息的 ID： 默认情况下，ID使用 * ，redis可以自动生成一个，格式为 时间戳-序列号，也可以自己指定，一般使用默认生成的即可，且后生成的id号要比之前生成的大。

四、Stream的命令

1、XADD 往Stream末尾添加消息

1、命令格式

xadd key [NOMKSTREAM] [MAXLEN|MINID [=|~] threshold [LIMIT count]] *|ID field value [field value ...]

2、举例

xadd 命令 返回的是数据的id, xx-yy (xx指的是毫秒数,yy指的是在这个毫秒内的第几条消息)

1、向流中增加一条数据,

127.0.0.1:6379> xadd stream-key * username zhangsan # 向stream-key这个流中增加一个 username 是zhangsan的数据 *表示自动生成id

"1635999858912-0" # 返回的是ID

127.0.0.1:6379> keys *

1) "stream-key" # 可以看到stream自动创建了

127.0.0.1:6379>

2、向流中增加数据，不自动创建流

127.0.0.1:6379> xadd not-exists-stream nomkstream * username lisi # 因为指定了nomkstream参数，而not-exists-stream之前不存在，所以加入失败

(nil)

127.0.0.1:6379> keys *

(empty array)

127.0.0.1:6379>

3、手动指定ID的值

127.0.0.1:6379> xadd stream-key 1-1 username lisi # 此处id的值是自己传递的1-1,而不是使用*自动生成

"1-1" # 返回的是id的值

127.0.0.1:6379>

4、设置一个固定大小的Stream

1、精确指定Stream的大小

指定指定Stream的大小比模糊指定Stream的大小会稍微多少消耗一些性能。

2、模糊指定Stream的大小
127.0.0.1:6379> xadd stream-key maxlen ~ 1 * first first

"1636001034141-0"

127.0.0.1:6379> xadd stream-key maxlen ~ 1 * second second

"1636001044506-0"

127.0.0.1:6379> xadd stream-key maxlen ~ 1 * third third

"1636001057846-0"

127.0.0.1:6379> xinfo stream stream-key

 1) "length"

 2) (integer) 3

 3) "radix-tree-keys"

 4) (integer) 1

 5) "radix-tree-nodes"

 6) (integer) 2

 7) "last-generated-id"

 8) "1636001057846-0"

 9) "groups"

10) (integer) 0

11) "first-entry"

12) 1) "1636001034141-0"

    2) 1) "first"

       2) "first"

13) "last-entry"

14) 1) "1636001057846-0"

    2) 1) "third"

       2) "third"

127.0.0.1:6379>

~ 模糊指定流的大小，可以看到指定的是1，实际上已经到了3.

2、XRANGE查看Stream中的消息

1、命令格式

xrange key start end [COUNT count]

2、准备数据

127.0.0.1:6379> multi

OK

127.0.0.1:6379(TX)> xadd stream-key * username zhangsan

QUEUED

127.0.0.1:6379(TX)> xadd stream-key * username lisi

QUEUED

127.0.0.1:6379(TX)> exec

1) "1636003481706-0"

2) "1636003481706-1"

127.0.0.1:6379> xadd stream-key * username wangwu

"1636003499055-0"

127.0.0.1:6379>

使用redis的事务操作，获取到同一毫秒产生的多条数据，时间戳一样，序列号不一样

3、举例

1、获取所有的数据(-和+的使用)

127.0.0.1:6379> xrange stream-key - +

1) 1) "1636003481706-0"

   2) 1) "username"

      2) "zhangsan"

2) 1) "1636003481706-1"

   2) 1) "username"

      2) "lisi"

3) 1) "1636003499055-0"

   2) 1) "username"

      2) "wangwu"

127.0.0.1:6379>

-: 表示最小id的值

+:表示最大id的值

2、获取指定id范围内的数据，闭区间

127.0.0.1:6379> xrange stream-key 1636003481706-1 1636003499055-0

1) 1) "1636003481706-1"

   2) 1) "username"

      2) "lisi"

2) 1) "1636003499055-0"

   2) 1) "username"

      2) "wangwu"

127.0.0.1:6379>

3、获取指定id范围内的数据，开区间

127.0.0.1:6379> xrange stream-key (1636003481706-0 (1636003499055-0

1) 1) "1636003481706-1"

   2) 1) "username"

      2) "lisi"

127.0.0.1:6379>

(:表示开区间

4、获取某个毫秒后所有的数据

127.0.0.1:6379> xrange stream-key 1636003481706 +

1) 1) "1636003481706-0"

   2) 1) "username"

      2) "zhangsan"

2) 1) "1636003481706-1"

   2) 1) "username"

      2) "lisi"

3) 1) "1636003499055-0"

   2) 1) "username"

      2) "wangwu"

127.0.0.1:6379>

直接写毫秒不写后面的序列号即可。

5、获取单条数据

127.0.0.1:6379> xrange stream-key 1636003499055-0 1636003499055-0

1) 1) "1636003499055-0"

   2) 1) "username"

      2) "wangwu"

127.0.0.1:6379>

start和end的值写的一样即可获取单挑数据。

6、获取固定条数的数据

127.0.0.1:6379> xrange stream-key - + count 1

1) 1) "1636003481706-0"

   2) 1) "username"

      2) "zhangsan"

127.0.0.1:6379>

使用 count进行限制

3、XREVRANGE反向查看Stream中的消息

XREVRANGE key end start [COUNT count]

使用方式和XRANGE类似，略。

4、XDEL删除消息

1、命令格式

xdel key ID [ID ...]

2、准备数据

127.0.0.1:6379> xadd stream-key * username zhangsan

"1636004176924-0"

127.0.0.1:6379> xadd stream-key * username lisi

"1636004183638-0"

127.0.0.1:6379> xadd stream-key * username wangwu

"1636004189211-0"

127.0.0.1:6379>

3、举例

需求：往Stream中加入3条消息，然后删除第2条消息

127.0.0.1:6379> xdel stream-key 1636004183638-0

(integer) 1 # 返回的是删除记录的数量

127.0.0.1:6379> xrang stream -key - +

127.0.0.1:6379> xrange stream-key - +

1) 1) "1636004176924-0"

   2) 1) "username"

      2) "zhangsan"

2) 1) "1636004189211-0"

   2) 1) "username"

      2) "wangwu"

127.0.0.1:6379>

注意：

需要注意的是，我们从Stream中删除一个消息，这个消息并不是被真正的删除了，而是被标记为删除，这个时候这个消息还是占据着内容空间的。如果所有Stream中所有的消息都被标记删除，这个时候才会回收内存空间。但是这个Stream并不会被删除。

6、XLEN查看Stream中元素的长度

1、命令格式

xlen key

2、举例

查看Stream中元素的长度

127.0.0.1:6379> xadd stream-key * username zhangsan

"1636004690578-0"

127.0.0.1:6379> xlen stream-key

(integer) 1

127.0.0.1:6379> xlen not-exists-stream-key

(integer) 0

127.0.0.1:6379>

注意：

如果xlen后方的key不存在则返回0，否则返回元素的个数。

7、XTRIM对Stream中的元素进行修剪

1、命令格式

xtrim key MAXLEN|MINID [=|~] threshold [LIMIT count]

2、准备数据

127.0.0.1:6379>  xadd stream-key * username zhangsan

"1636009745401-0"

127.0.0.1:6379> multi

OK

127.0.0.1:6379(TX)> xadd stream-key * username lisi

QUEUED

127.0.0.1:6379(TX)> xadd stream-key * username wangwu

QUEUED

127.0.0.1:6379(TX)> exec

1) "1636009763955-0"

2) "1636009763955-1"

127.0.0.1:6379> xadd stream-key * username zhaoliu

"1636009769625-0"

127.0.0.1:6379>

3、举例

1、maxlen精确限制

127.0.0.1:6379> xtrim stream-key maxlen 2 # 保留最后的2个消息

(integer) 2

127.0.0.1:6379> xrange stream-key - + # 可以看到之前加入的2个消息被删除了

1) 1) "1636009763955-1"

   2) 1) "username"

      2) "wangwu"

2) 1) "1636009769625-0"

   2) 1) "username"

      2) "zhaoliu"

127.0.0.1:6379>

上方的意思是，保留stream-key这个Stream中最后的2个消息。

2、minid模糊限制

minid 是删除比这个id小的数据，本地测试的时候没有测试出来，略。

8、XREAD独立消费消息

XREAD只是读取消息，读取完之后并不会删除消息。 使用XREAD读取消息，是完全独立与消费者组的，多个客户端可以同时读取消息。

1、命令格式

xread [COUNT count] [BLOCK milliseconds] STREAMS key [key ...] ID [ID ...]

2、准备数据

127.0.0.1:6379> xadd stream-key * username zhangsan

"1636011801365-0"

127.0.0.1:6379> xadd stream-key * username lisi

"1636011806261-0"

127.0.0.1:6379> xadd stream-key * username wangwu

"1636011810905-0"

127.0.0.1:6379>

3、举例

1、获取用户名是wangwu的数据

127.0.0.1:6379> xread streams stream-key 1636011806261-0 # 此处写的是lisi的id，即读取到的数据需要是 > 1636011806261-0

1) 1) "stream-key"

   2) 1) 1) "1636011810905-0"

         2) 1) "username"

            2) "wangwu"

2、获取2条数据

127.0.0.1:6379> xread count 2 streams stream-key 0-0

1) 1) "stream-key"

   2) 1) 1) "1636011801365-0"

         2) 1) "username"

            2) "zhangsan"

      2) 1) "1636011806261-0"

         2) 1) "username"

            2) "lisi"

127.0.0.1:6379>

count限制单次读取最后的消息，因为当前读取可能没有这么多。

3、非阻塞读取Stream对尾的数据

即读取队列尾的下一个消息，在非阻塞模式下始终是nil

127.0.0.1:6379> xread streams stream-key $

(nil)

4、阻塞读取Stream对尾的数据

注意：

  1. $表示读取队列最新进来的一个消息，不是Stream的最后一个消息。是xread block执行后，再次使用xadd添加消息后，xread block才会返回。

  2. block 0表示永久阻塞，当消息到来时，才接触阻塞。block 1000表示阻塞1000ms，如果1000ms还没有消息到来，则返回nil

  3. xread进行顺序消费 当使用xread进行顺序消息时，需要记住返回的消息id，同时下次调用xread时，需要将上次返回的消息id传递进去。

  4. xread读取消息，完全无视消费组，此时Stream就可以理解为一个普通的list。

9、消费者组相关操作

1、消费者组命令

2、准备数据

1、创建Stream的名称是 stream-key

2、创建2个消息，aa和bb

127.0.0.1:6379> xadd stream-key * aa aa

"1636362619125-0"

127.0.0.1:6379> xadd stream-key * bb bb

"1636362623191-0"

3、创建消费者组

1、创建一个从头开始消费的消费者组
xgroup create stream-key(Stream 名) g1(消费者组名) 0-0(表示从头开始消费)
2、创建一个从Stream最新的一个消息消费的消费者组
xgroup create stream-key g2 $

$表示从最后一个元素消费，不包括Stream中的最后一个元素，即消费最新的消息。

4、创建一个从某个消息之后消费的消费者组
xgroup create stream-key g3 1636362619125-0  #1636362619125-0 这个是上方aa消息的id的值

1636362619125-0某个消息的具体的ID,这个g3消费者组中的消息都是大于>这个id的消息。

3、从消费者中读取消息

127.0.0.1:6379> xreadgroup group g1(消费组名) c1(消费者名，自动创建) count 3(读取3条) streams stream-key(Stream 名) >(从该消费者组中还未分配给另外的消费者的消息开始读取)

1) 1) "stream-key"

   2) 1) 1) "1636362619125-0"

         2) 1) "aa"

            2) "aa"

      2) 1) "1636362623191-0"

         2) 1) "bb"

            2) "bb"

127.0.0.1:6379> xreadgroup group g2 c1 count 3 streams stream-key >

(nil) # 返回 nil 是因为 g2消费组是从最新的一条信息开始读取(创建消费者组时使用了$)，需要在另外的窗口执行`xadd`命令，才可以再次读取到消息

127.0.0.1:6379> xreadgroup group g3 c1 count 3 streams stream-key >  #只读取到一条消息是因为，在创建消费者组时，指定了aa消息的id，bb消息的id大于aa,所以读取出来了。

1) 1) "stream-key"

   2) 1) 1) "1636362623191-0"

         2) 1) "bb"

            2) "bb"

127.0.0.1:6379>

4、读取消费者的pending消息

127.0.0.1:6379> xgroup create stream-key g4 0-0

OK

127.0.0.1:6379> xinfo consumers stream-key g1

1) 1) "name"

   2) "c1"

   3) "pending"

   4) (integer) 2

   5) "idle"

   6) (integer) 88792

127.0.0.1:6379> xinfo consumers stream-key g4

(empty array)

127.0.0.1:6379> xreadgroup group g1 c1 count 1 streams stream-key 1636362619125-0

1) 1) "stream-key"

   2) 1) 1) "1636362623191-0"

         2) 1) "bb"

            2) "bb"

127.0.0.1:6379> xreadgroup group g4 c1 count 1 block 0 streams stream-key 1636362619125-0

1) 1) "stream-key"

   2) (empty array)

127.0.0.1:6379>

5、转移消费者的消息

127.0.0.1:6379> xpending stream-key g1 - + 10 c1

1) 1) "1636362619125-0"

   2) "c1"

   3) (integer) 2686183

   4) (integer) 1

2) 1) "1636362623191-0"

   2) "c1"

   3) (integer) 102274

   4) (integer) 7

127.0.0.1:6379> xpending stream-key g1 - + 10 c2

(empty array)

127.0.0.1:6379> xclaim stream-key g1 c2 102274 1636362623191-0

1) 1) "1636362623191-0"

   2) 1) "bb"

      2) "bb"

127.0.0.1:6379> xpending stream-key g1 - + 10 c2

1) 1) "1636362623191-0"

   2) "c2"

   3) (integer) 17616

   4) (integer) 8

127.0.0.1:6379>

也可以通过xautoclaim来实现。

6、一些监控命令

1、查看消费组中消费者的pending消息
127.0.0.1:6379> xpending stream-key g1 - + 10 c2

1) 1) "1636362623191-0"

   2) "c2"

   3) (integer) 1247680

   4) (integer) 8

127.0.0.1:6379>
2、查看消费组中的消费者信息
127.0.0.1:6379> xinfo consumers stream-key g1

1) 1) "name"

   2) "c1"

   3) "pending"

   4) (integer) 1

   5) "idle"

   6) (integer) 1474864

2) 1) "name"

   2) "c2"

   3) "pending"

   4) (integer) 1

   5) "idle"

   6) (integer) 1290069

127.0.0.1:6379>
3、查看消费组信息
127.0.0.1:6379> xinfo groups stream-key

1) 1) "name"

   2) "g1"

   3) "consumers"

   4) (integer) 2

   5) "pending"

   6) (integer) 2

   7) "last-delivered-id"

   8) "1636362623191-0"

2) 1) "name"

   2) "g2"

   3) "consumers"

......
4、查看Stream信息
127.0.0.1:6379> xinfo stream stream-key

 1) "length"

 2) (integer) 2

 3) "radix-tree-keys"

 4) (integer) 1

 5) "radix-tree-nodes"

 6) (integer) 2

 7) "last-generated-id"

 8) "1636362623191-0"

 9) "groups"

10) (integer) 4

11) "first-entry"

12) 1) "1636362619125-0"

    2) 1) "aa"

       2) "aa"

13) "last-entry"

14) 1) "1636362623191-0"

    2) 1) "bb"

       2) "bb"

127.0.0.1:6379>

五、参考文档

1、https://redis.io/topics/streams-intro

2、https://www.runoob.com/redis/redis-stream.html

Redis Stream类型的使用的更多相关文章

  1. 探究 Redis 4 的 stream 类型

    redis 2 10 月初,Redis 搞了个大新闻.别紧张,是个好消息:Redis 引入了名为 stream 的新数据类型和对应的命令,大概会在年底正式发布到 4.x 版本中.像引入新数据类型这样的 ...

  2. Spring Data Redis Stream的使用

    一.背景 Stream类型是 redis5之后新增的类型,在这篇文章中,我们实现使用Spring boot data redis来消费Redis Stream中的数据.实现独立消费和消费组消费. 二. ...

  3. 详解Java 8中Stream类型的“懒”加载

    在进入正题之前,我们需要先引入Java 8中Stream类型的两个很重要的操作: 中间和终结操作(Intermediate and Terminal Operation) Stream类型有两种类型的 ...

  4. redis五大类型用法

    Redis五大类型:字符串(String).哈希/散列/字典(Hash).列表(List).集合(Set).有序集合(sorted set)五种Controller:@Resource RedisTe ...

  5. [置顶] Redis String类型数据常用的16条命令总结

    Redis String类型数据常用的16条命令总结 描述:String 类型是最简单的类型,一个Key对应一个Value,String类型是二进制安全的.Redis的String可以包含任何数据,比 ...

  6. Redis对象类型

    Redis对象类型 Redis基于基础的数据结构创建的对象: 字符串对象. 列表对象. 哈希对象. 集合对象 有序集合对象. 对象回收:Redis对象系统实现了基于引用计数技术的内存回收机制,当程序不 ...

  7. 一文了解：Redis基础类型

    Redis基础类型 Redis特点 开源的,BSD许可高级的key-value存储系统 可以用来存储字符串,哈希结构,链表,集合 安装 windows:https://github.com/micro ...

  8. Redis基础类型常用操作命令

    Redis基础类型常用操作命令 概念:Redis是用C语言开发的一个开源的高性能键值对数据库. 特征: 数据间没有必然的联系 内部采用单线程机制进行工作 高性能 多数据类型支持 字符串类型 Strin ...

  9. 分享一个Python脚本--统计redis key类型数据大小分布

    概述 今天主要介绍怎么统计redis key类型数据大小分布. 原理:使用redis命令: scan.pipline.type 和 debug object 来得到 redis key 信息. 脚本 ...

随机推荐

  1. mysql 优化的相关配置：总结中...

    centos 为例:mysql 怎么获取配置参数信息: /etc/my.cnf; /etc/myql/my.cnf/; 家目录:或者指定目录:作用域 客户端:全局 set global 会话 set[ ...

  2. tornado中通用模版

    第一: 1.Pycharm新建python项目(不是django项目),在项目下面直接新建server.py,内容如下: 2.安装tornado, pip install tornado import ...

  3. 项目配置shiro原缓存注解失效

    项目用springboot + shiro + ehcache @cacheable 注解不起作用原因 Shiro框架初始化比Spring框架的某些部件早,导致使用@Autowire注入Shiro框架 ...

  4. 【vue】两个页面间传参 - props

    目录 Step1 设置可以 props 传递数据 Step2 跳转前页面中传递数据 Step3 跳转后的页面接收数据 从 A 页面跳转到 B 页面, 参数/数据通过 props 传递到 B 页面,这种 ...

  5. Django+Nginx+Uwsgi（全网最全步骤工作原理流程与部署历程）

    一.必要前提 1.1 准备知识 django 一个基于python的开源web框架,请确保自己熟悉它的框架目录结构. uWSGI 一个基于自有的uwsgi协议.wsgi协议和http服务协议的web网 ...

  6. SpringCloud升级之路2020.0.x版-26.OpenFeign的组件

    本系列代码地址:https://github.com/JoJoTec/spring-cloud-parent 首先,我们给出官方文档中的组件结构图: 官方文档中的组件,是以实现功能为维度的,我们这里是 ...

  7. 怒肝 Linux 学习路线，这回不难

    Linux 学习路线 by 鱼皮. 原创不易,请勿抄袭,违者必究! 大家好,我是鱼皮,又花 1 周肝出了 Linux 学习资料全家桶,包括学习路线.命令手册.视频.书籍.文档.实战教程.社区.工具.大 ...

  8. 简单几步零成本使用Vercel部署OneIndex 无需服务器搭建基于OneDrive的网盘

    前提 你需要一个OneDrive账号,必须管理员开放API 需要已安装Node.js 拥有Github账号,没有就注册一个 魔法上网环境(看情况) 注册应用 登录https://portal.azur ...

  9. DPARAM

    中M_电子科技大学_计算机组成原理 双端口RAM Dual Port Access RAM 存储器不断接受CPU访问,还要频繁地和I/O设备通信.如果只有一套MAR,ID,MDR和读写电路.任一时刻只 ...

  10. Oracle job的用法

    1.Broken()过程更新一个已提交的工作的状态,典型地是用来把一个已破工作标记为未破工作. 这个过程有三个参数:job .broken与next_date. PROCEDURE Broken (j ...