Redis中的管道(PipeLine)与事物(Transactions)

序言

Redis中的管道(PipeLine)特性:简述一下就是,Redis如何从客户端一次发送多个命令,服务端到客户端如何一次性响应多个命令。

Redis使用的是客户端-服务器模型和请求/响应协议的TCP服务器,这就意味着一个请求要有以下步骤才能完成:1、客户端向服务器发送查询命令,然后通常以阻塞的方式等待服务器相应。2、服务器处理查询命令,并将相应发送回客户端。这样便会通过网络连接,如果是本地回环接口那么就能特别迅速的响应,但是如果走外网,甚至外网再做一系列的层层转发,那就显的格外蛋疼。无论网络延时是多少,那么都将占用整体响应的时间。这样一来如果一次发送1个命令,网络延时为100ms,我们不得不做。那么如果1次发1000个命令,那么网络延时100*1000ms就很难容忍啦。

针对与上面的问题,Redis在2.6版本以后就都提供啦管道(Pipeline)功能。他可以使客户端在没有读取旧的响应时,处理新的请求。这样便可以向服务器发送多个命令,而不必等待答复,直到最后一个步骤中读取答复。这被称为管线(PipeLine),并且是几十年来广泛使用的技术。例如,许多POP3协议实现已经支持此功能,大大加快了从服务器下载新电子邮件的过程。

那么事务这个词汇,经常遇到,就不多唧唧啦,目标要一致就好,便是一组操作怎么做成原子性操作,使他去不了终点,回到原点。

简述wireshark抓包工具

为啦让大家对管线有更形象的感观,这一节我们先说说Wireshark抓包工具,他会让你看到客户端到服务器通过tcp协议发送的redis命令的过程与详细。

wireshark能够扑捉到系统发送和接受的每一个报文,我们这里只做一些过滤的简述。下图就是他的样子,你打开后可以可以摸索下他的用法。

简述几个过滤规则:

1、ip过滤:目标ip过滤:ip.dst==172.18.8.11,源ip地址过滤:ip.src==192.168.1.12;

2、端口过滤:tcp.port==80,这条规则是把源端口和目的端口为80的都过滤出来。使用tcp.dstport==80只过滤目的端口为80的,tcp.srcport==80只过滤源端口为80的包;

3、协议过滤:直接在fiter框中输入协议名称即可,如:http,tcp,udp,...

4、http模式过滤:过滤get包,http.request.method=="GET",过滤post包,http.request.method=="POST";

5、如果使用多条件过滤,则需要加连接符号,and。比如 ip.src==192.168.1.12 and http.request.method=="POST" and tcp.srcport==80

StackExchange.Redis实现Redis管线(Pipeline)

上两张图片管线便一目了然啦。

客户端对redis服务器进行多次请求的话,一般普通模式是这样子的

客户端对redis服务器进行多次请求的话,管道模式是这样子的

一般模式我们上代码:

 public static void GetNoPipelining()
{
for (var i = 0; i < 3; i++)
{
var key = "name:" + i;
db.StringAppend(key, "张龙豪");
}
}

查看tcp请求报文的data

这样你自己做的过程中,可以看到我圈起来的3个tcp请求的key分别为name:0,name:1,name:2这样子。

那么我们使用管道模式

 public static void GetPipelining()
{
var batch = db.CreateBatch();
for (int i = 0; i < 3; i++)
{
var key = "mename:" + i;
batch.StringAppendAsync(key, "张龙豪");
}
batch.Execute();
}

再来看下请求

这样很明显就能看出来是1个请求发送出来啦多个命令。那么我们不用createBatch()也是可以实现这样的效果的。

            var a = db.StringAppendAsync("zlh:1", "zhanglonghao1");
var b = db.StringAppendAsync("zlh:2", "zhanglonghao2");
var c = db.StringAppendAsync("zlh:3", "zhanglonghao3");
var aa = db.Wait(a);
var bb = db.Wait(a);
var cc = db.Wait(a);

在接下来我们做一个简单的性能比较。代码如下:

  static void Main(string[] args)
{
Stopwatch watch = new Stopwatch();
Stopwatch watch1 = new Stopwatch();
watch.Start();
GetNoPipelining();
Console.WriteLine("一般循环耗时:" + watch.ElapsedMilliseconds);
watch.Stop();
watch1.Start();
GetPipelining();
Console.WriteLine("Pipelining插入耗时:" + watch1.ElapsedMilliseconds);
watch1.Stop();
Console.ReadLine();
} public static void GetNoPipelining()
{
for (var i = 0; i < 5000; i++)
{
var key = "name:" + i;
db.StringAppend(key, "张龙豪");
}
}
public static void GetPipelining()
{
var batch = db.CreateBatch();
for (int i = 0; i < 5000; i++)
{
var key = "mename:" + i;
batch.StringAppendAsync(key, "张龙豪");
}
batch.Execute();
}

结果如下:

到此我还要说一下StackExchange.Redis的三种命令模式,其中使用2和3的模式发送命令,会默认被封装在管道中,不信的话,你可以做个小demo测试下:

1、sync:同步模式,会直接阻塞调用者,但不会阻塞其他线程。

2、async:异步模式,使用task模型封装。

3、fire-and-forget:发送命令,然后完全不关心最终什么时候完成命令操作。在Fire-and-Forget模式下,所有命令都会立即得到返回值,该值都是该返回值类型的默认值,比如操作返回类型是bool将会立即得到false,因为false = default(bool)。

此节参考redis官方文档与StackExchange.Redis官方文档,连接如下:

https://redis.io/topics/pipelining

https://github.com/StackExchange/StackExchange.Redis/blob/master/Docs/PipelinesMultiplexers.md

StackExchange.Redis实现Redis事务(Transactions)

这个看官方文档,我只能说实现的很奇怪吧。我先描述下我的环境,就是准备一个空redis库,然后一步一步往下走,我们写代码看结果,来搞一搞这个事务。

 static void Main(string[] args)
{
var tran = db.CreateTransaction();
tran.AddCondition(Condition.ListIndexNotEqual("zlh:1",0,"zhanglonghao"));
tran.ListRightPushAsync("zlh:1", "zhanglonghao");
bool committed = tran.Execute();
Console.WriteLine(committed);
Console.ReadLine();
}

执行结果为:true。数据库中结果如下,说明我们插入成功。

即:如果key为:zlh:1的list集合在索引0初的value!=zhanglonghao的话,我们从链表右侧插入一条数据key为zlh:1value为zhanglonghao,成功。因为第一次操作为空库。0处确实不为张龙豪。

数据不清空,继续上代码。

 static void Main(string[] args)
{
var tran = db.CreateTransaction();
tran.AddCondition(Condition.ListIndexNotEqual("zlh:1",0,"zhanglonghao"));
tran.ListRightPushAsync("zlh:1", "zhanglonghao1");
bool committed = tran.Execute();
Console.WriteLine(committed);
Console.ReadLine();
}

结果为false,数据库没有增减数据。已久与上图的数据保持一致。

原因分析:0处此时为zhanglonghao,所以ListIndexNotEqual("zlh:1",0,"zhanglonghao")为假命题,直接回滚,不执行下面的插入命令。

数据不清空,继续上代码:

 static void Main(string[] args)
{
var tran = db.CreateTransaction();
tran.AddCondition(Condition.ListIndexEqual("zlh:1",0,"zhanglonghao"));
tran.ListRightPushAsync("zlh:1", "zhanglonghao1");
bool committed = tran.Execute();
Console.WriteLine(committed);
Console.ReadLine();
}

结果为true,数据结果如下,增长一条值为zhanglonghao1的数据:

原因分析:ListIndexEqual("zlh:1",0,"zhanglonghao")为真命题,执行下面的操作,提交事物。

数据不删继续上代码:

static void Main(string[] args)
{
var tran = db.CreateTransaction();
tran.AddCondition(Condition.ListIndexEqual("zlh:1",0,"zhanglonghao"));
tran.ListRightPushAsync("zlh:1", "zhanglonghao2");
tran.AddCondition(Condition.ListIndexNotEqual("zlh:1", 0, "zhanglonghao"));
tran.ListRightPushAsync("zlh:1", "zhanglonghao3");
bool committed = tran.Execute();
Console.WriteLine(committed);
Console.ReadLine();
}

结果为false,数据库数据已久与上面的保持一致,不增不减。

分析原因:Condition.ListIndexEqual("zlh:1",0,"zhanglonghao")为true,但是到下面的ListIndexNotEqual("zlh:1", 0, "zhanglonghao")为false。故整个事物的操作回滚,不予执行,故数据库没有变化。

到此,我就不写多余的代码啦,但我要说几个注意点:

1、执行命令的操作需为异步操作。

2、在事物中执行的命令,都不会直接看到结果,故此结果也不能用于下面代码做判断,因为当前的异步命令在Execute()之前是不会对数据库产生任何影响的。

3、参考文档:https://github.com/StackExchange/StackExchange.Redis/blob/master/Docs/Transactions.md

Redis中的管道(PipeLine)与事物(Transactions)的更多相关文章

  1. .NET客户端实现Redis中的管道(PipeLine)与事物(Transactions)

    序言 Redis中的管道(PipeLine)特性:简述一下就是,Redis如何从客户端一次发送多个命令,服务端到客户端如何一次性响应多个命令. Redis使用的是客户端-服务器模型和请求/响应协议的T ...

  2. redis中multi和pipeline区别以及效率(推荐使用pipeline)

    手册得知 pipeline 只是把多个redis指令一起发出去,redis并没有保证这些指定的执行是原子的:multi相当于一个redis的transaction的,保证整个操作的原子性,避免由于中途 ...

  3. Redis中的批量操作Pipeline

    大多数情况下,我们都会通过请求-相应机制去操作redis.只用这种模式的一般的步骤是,先获得jedis实例,然后通过jedis的get/put方法与redis交互.由于redis是单线程的,下一次请求 ...

  4. Redis教程02——管道(Pipelining)

    请求/响应协议和RTT Redis是一个使用客户端/服务器模型(也被称作请求/响应协议)的TCP服务器. 这说明通常来讲一个一个请求的实现有以下步骤: 客户端发送请求到服务器,并从socket中以堵塞 ...

  5. 往redis中存储数据是利用pipeline方法

    在redis中保存数据时,保存和设置有效时间是分开写的话,如果中间出现的异常,这会导致数据永久有效,因此就可以采用pipeline方法. # 创建redis管道对象,可以一次执行多个语句 pipeli ...

  6. Redis中RedisTemplate和Redisson管道的使用

    当对Redis进行高频次的命令发送时,由于网络IO的原因,会耗去大量的时间.所以Redis提供了管道技术,就是将命令一次性批量的发送给Redis,从而减少IO. 一.Jedis对redis的管道进行操 ...

  7. redis使用管道pipeline提升批量操作性能(php演示)

    Redis是一个TCP服务器,支持请求/响应协议. 在Redis中,请求通过以下步骤完成: 客户端向服务器发送查询,并从套接字读取,通常以阻塞的方式,用于服务器响应. 服务器处理命令并将响应发送回客户 ...

  8. Jedis客户端即redis中的pipeline批量操作

    关注公众号:CoderBuff,回复"redis"获取<Redis5.x入门教程>完整版PDF. <Redis5.x入门教程>目录 第一章 · 准备工作 第 ...

  9. Redis中的简单事物以及消息订阅发布

    Redis支持简单的事物,但是没有mysql的Innodb支持的那么的完善 我们接下来看一下Redis和Mysql的事物的一个对比:   MySQL Redis 开启 start transactio ...

随机推荐

  1. PythonAdvanced

    PythonAdvanced function 函数 (要多使用函数,方便,少变量,好改错) 函数是可以重复执行的语句块,可以重复使用 作用: 1.用于封装语句块,提高代码的重用性 2.定义用户级别的 ...

  2. python3 打印九九乘法表

    打印九九乘法表 # !/usr/bin/env python # -*- coding:utf-8 -*- # Author:Hiuhung Wan for i in range(1, 10): fo ...

  3. 在Qtcreator中,KDE的Hello World(安装kdelibs5-dev)

    我刚开始为KDE编程,我面临的问题是我不知道KDE项目的pro文件是什么,我有一个想法. 我还尝试了 file: 库 += -lkdeui 我还是找不到KApplication的问题 代码 main. ...

  4. [Preact] Use State and Props in the Component Render Function

    Preact offers, in addition to the regular component API from React, the ability to access both props ...

  5. ios 获取button所在的cell对象, 注意:ios7 =&lt; System Version &lt; ios8 获取cell对象的差别

    ios7 =< System Version< ios8 : ios7 =< System Version < ios8  下 button.superview.supervi ...

  6. CAP理论/AP架构/CP架构

      原文地址:https://blog.csdn.net/u013058742/article/details/83541905  简书里的文章:Spring Cloud Eureka简介及与Zook ...

  7. Android多线程研究(5)——线程之间共享数据

    一.如果是每个线程都执行相同的代码,则可以使用同一个Runnable来实现共享 public class MultiThreadShareData { public static void main( ...

  8. MRTG Monitoring with ESXi Hosted Guest Return ‘interface is commented * has no ifSpeed property’

    MRTG Monitoring with ESXi Hosted Guest Return ‘interface is commented * has no ifSpeed property’ Rec ...

  9. 复制相关参数学习笔记--master上的参数

    特别声明: 所有的过滤规则不建议在主库上设置.     server_id 是一个整数,范围:1 至 power(2,32)-1 之间. 推荐使用端口号+ip最后一位的方式. 唯一区别ID,同一个集群 ...

  10. Ext.Ajax.request用法

    向一个远程服务器发送HTTP请求. Ajax服务器请求是异步的, 所以对响应数据的处理需要使用回调函数来实现. var params = {}; var ret; Ext.Ajax.request({ ...