ENode 1.0 - 消息的重试机制的设计思路
项目开源地址:https://github.com/tangxuehua/enode
上一篇文章,简单介绍了enode框架中消息队列的设计思路,本文介绍一下enode框架中关系消息的重试机制的设计思路。
对于一个EDA架构为基础的框架,核心就是消息驱动,然后基于最终一致性的原则。所以,非常重要的一点是,如果消息一次执行不成功,那该怎么办?我能想到的对策就是消息的重试。我发现,这篇文章比较难写,因为感觉要把复杂的事情清晰的表达出来,感觉确实不容易。说到重试,那什么是消息的重试呢?怎么重试呢?我这里提到的重试是指,一个消息,从消息队列取出来后,要处理,但是处理失败了,然后要重新尝试再处理该消息;怎么重试?这个问题比较复杂,不能用简单的一两句话来说明。
上面说到,如果消息处理失败要再重试,其实是一个比较粗的回答。因为比如一个消息在处理的时候总共有5个步骤,如果前2步都成功,但是第3步失败了,那重试的时候,前2步还需要再执行吗?我的想法是,在能办到的情况下,就不要再做前2步操作了,而是直接从第3步开始重试。所以说,这种做法相当于是“哪里跌倒,哪里继续”;
那么怎么重试呢?
经过分析,我们发现整个enode框架中需要重试的点是非常多的,比如command产生的event要发送到队列时,如果失败那需要重试;比如event持久化时失败了,也需要重试,等等。所以,显而易见,我们应该设计一个可以被重用的重试服务,提供对某些特定的重试场景的支持。
我们先来想一下,我们希望有什么样的重试功能。以“event持久化时失败”为例,如果这一步失败,我们希望立马对这个步骤重试几次,比如3次,如果3次内成功了,那就成功了,继续往下做下面的逻辑;如果还是失败了呢?我们难道就放弃了吗?实际上,我们不能放弃,因为一般如果事件持久化失败很有可能是由于网络问题或eventstore有什么问题,而且如果我们就这样放弃了,那很可能整个业务逻辑的流程就被中断了,这样就无法做到数据的最终一致性了。所以,因为这种暂时的IO问题导致的失败,我们不能随便就放弃重试,应该在尝试几次重试仍失败时采取必要的手段,可以在IO恢复时,能自动再处理该消息;但是我们又不能使用当前线程无限制的重试下去,因为这样就导致没办法处理其他的消息了;所以我们自然就能想到:我们应该在消息重试几次仍失败时,将该消息放入一个专门的重试队列,然后有另外一个独立的线程会定时从该队列取出要重试的消息,然后重试这些消息;这样,当IO恢复时,这些消息就能很快被成功处理了;
另外一个问题,那这种专门的重试队列需要支持消息持久化吗?不用,我们只需要内存队列就行了,因为当一个消息还没被完全成功处理前,是不会从message store删除的;所以,就算机器重启了,该消息还是能在该机器重启后被处理的;而当该机器没重启时,该专门重试的内存队列会不断地以独立的线程定时重试该消息;
那这种专门的重试队列需要多少个呢?理论上我们可以为每个需要重试的点都设计一个重试队列来支持,但是这样一方面过于复杂,而且线程多了还会影响系统的性能;所以我们需要权衡一下,只对同一个阶段中要做的所有的事情设计一个重试队列,该阶段中这些要做的事情中有任何一步失败,就都放到该阶段对应的重试队列里;
还有一个问题,如果一个消息在某一次重试时成功了,但是我们希望在成功后继续对该消息做后续的步骤,该如何实现呢?这个问题初想想感觉比较麻烦,因为我们可能已经没有了该消息的一些上下文环境。最重要的是,我们如何知道该消息重试成功后接下来该做什么呢?而且就算知道接下来要做什么了,但是要是我们在做这个下一步的步骤时,要是又失败了呢?是不是也要重试呢?所以,我们发现这里很关键。
经过我的一些思考,我发现,如果一个消息在某个阶段要被处理多个步骤,且有些步骤之间有条件依赖,比如只有在第2步处理的结果是成功时,我们才有必要做后面的3步;正常情况,如果一切顺利,那就是一步步从上往下的去做;但是因为考虑到任何一步可能都会出问题,而且我们希望在任何一步失败然后重试成功后,能继续后续的步骤。所以,基于这些特征,我觉得我们可以设计一种类似回调函数的机制,当某个逻辑执行成功后,执行回调函数,我们可以在回调函数中存放接下来要做的逻辑;显然,我觉得我们需要某种递归的数据结构;为了支持上面这种类似回调函数的需求,我设计了如下的一个数据结构:
/// <summary>一个数据结构,封装了一段要执行的逻辑以及一些相关的上下文信息
/// </summary>
public class ActionInfo
{
/// <summary>表示某个Action的名字
/// </summary>
public string Name { get; private set; }
/// <summary>表示某个Action,封装了一段逻辑
/// </summary>
public Func<object, bool> Action { get; private set; }
/// <summary>表示Action执行时所需要的数据信息
/// </summary>
public object Data { get; private set; }
/// <summary>表示Action执行成功后,要执行的下一个Action的信息,这里体现出递归
/// </summary>
public ActionInfo Next { get; private set; } public ActionInfo(string name, Func<object, bool> action, object data, ActionInfo next)
{
if (action == null)
{
throw new ArgumentNullException("action");
}
Name = name;
Action = action;
Data = data;
Next = next;
}
}
从上面的代码,我们可以清晰的看到,我们设计了一个简单的数据结构,用来包含要执行的逻辑,该逻辑执行时所需要的参数信息,以及该逻辑执行成功后要做的下一个逻辑;通过上面这个数据结构,我们已经为实现上面的重试需求做好了数据结构方面的准备;
接下来,我们需要想想,如何设计一个重试服务。经过上面的分析,我们只要,我们的重试服务需要两个主要功能:1)对某段逻辑连续重试指定次数;2)将某段逻辑放入重试队列定时重试;对于第一个功能需求,比较简单,直接设计一个递归函数即可,代码如下:
public bool TryAction(string actionName, Func<bool> action, int maxRetryCount)
{
return TryRecursively(actionName, (x, y, z) => action(), , maxRetryCount);
}
private bool TryRecursively(string actionName, Func<string, int, int, bool> action, int retriedCount, int maxRetryCount)
{
var success = false;
try
{
success = action(actionName, retriedCount, maxRetryCount);
if (retriedCount > )
{
_logger.InfoFormat("Retried action {0} for {1} times.", actionName, retriedCount);
}
}
catch (Exception ex)
{
_logger.Error(string.Format("Exception raised when tring action {0}, retrid count {1}.", actionName, retriedCount), ex);
} if (success)
{
return true;
}
else if (retriedCount < maxRetryCount)
{
return TryRecursively(actionName, action, retriedCount + , maxRetryCount);
}
else
{
return false;
}
}
调用的代码示例如下:
if (_retryService.TryAction("TrySendEvent", () => TrySendEvent(eventStream), ))
{
FinishExecution(command, queue);
}
简单说明一下:
当我们要重试时,我们首先调用retryService的TrtAction方法,该方法就是用来支持“对某段逻辑的指定次数的连续重试”。该方法的第一个参数是一个字符串,表示要执行的逻辑的名称,这个名称没什么实际用途,只是帮助我们区分当前在执行的逻辑是哪段逻辑,该名称会在记录日志时使用,方便我们后续通过日志分析到底是哪里出错了,或者重试过了;然后第二个参数表示要重试的某个委托;当然,因为我们要知道该委托内部的逻辑是否处理成功,所以需要一个布尔类型的返回值;最后一个参数则是指定需要连续重试多少次,上面的示例代码表示:先执行指定逻辑,如果失败,则连续重试3次;所以,如果每次都失败,相当于总共会执行4次;上面的代码应该不难理解,就不多分析了;
接下来分析一下第一个需求“将某段逻辑放入重试队列定时重试”:
当连续重试还是失败后,我们就会放入内存队列,然后定时重试了。那么如何定时呢?一般用定时器即可;那定时多少呢?这个目前我也是拍脑袋的,目前设定为5秒。为什么是5秒呢?主要是两个考虑:1)为了不希望太频繁的重试,因为太频繁的重试会占用更多的系统资源,导致会影响框架中正常的消息处理性能;2)因为这种定时的重试对实时性一般不会很高,就是说,比如当IO恢复后,我们一般不会要求马上就能重试,过个几秒甚至几分钟后再重试,也能接受。实际上,如果没有这种自动定时的重试机制,我们可能只能等到机器重启后才能再次被重试了,相比之下,已经非常自动和及时了。
所依,总结一下,我们需要:1)定时器,用于定时执行;2)ActionInfo包装要重试的逻辑的相关信息;3)内存队列,用于存放ActionInfo;所以,代码如下:
public class DefaultRetryService : IRetryService
{
private const long DefaultPeriod = ;
private BlockingCollection<ActionInfo> _retryQueue = new BlockingCollection<ActionInfo>(new ConcurrentQueue<ActionInfo>());
private Timer _timer;
private ILogger _logger;
private bool _looping; public DefaultRetryService(ILoggerFactory loggerFactory)
{
_logger = loggerFactory.Create(GetType().Name);
_timer = new Timer(Loop, null, , DefaultPeriod);
} public void Initialize(long period)
{
_timer.Change(, period);
}
public void RetryInQueue(ActionInfo actionInfo)
{
_retryQueue.Add(actionInfo);
} private void Loop(object data)
{
try
{
if (!_looping)
{
_looping = true;
RetryAction();
_looping = false;
}
}
catch (Exception ex)
{
_logger.Error("Exception raised when retring action.", ex);
_looping = false;
}
}
private void RetryAction()
{
var actionInfo = _retryQueue.Take();
if (actionInfo != null)
{
var success = false;
try
{
success = actionInfo.Action(actionInfo.Data);
_logger.InfoFormat("Executed action {0} from queue.", actionInfo.Name);
}
catch (Exception ex)
{
_logger.Error(string.Format("Exception raised when executing action {0}.", actionInfo.Name), ex);
}
finally
{
if (success)
{
if (actionInfo.Next != null)
{
_retryQueue.Add(actionInfo.Next);
}
}
else
{
_retryQueue.Add(actionInfo);
}
}
}
}
}
经过上面的分析后,相信大家看代码都应该能理解了。需要注意的点:
- 我用了BlockingCollection,这是一个支持并发且支持阻塞的基于publish-consumer模式的集合,而且这里,该集合内部封装了ConcurrentQueue,所以,他也是一个队列;这样设计的好处是,在队列中没有元素的时候,线程会被卡住,从而不会浪费资源;只有当队列中有元素时,才会在当天timer周期到来时,能够从队列取出要重试的ActionInfo,然后进行重试操作。
- Timer的周期默认设置为5秒,那么,我们为了避免同一时刻,有两个ActionInfo在被同时处理,我加了一个标记位_looping,当当前有ActionIno正在被处理时,则该标记位为true,否则为false。通过该标记位,我们能确保队列中的元素会一个个按顺序被处理,这样就不会混乱,导致莫名其妙的bug出现;
- 从上面的RetryAction方法中,我们可以看出,当当前的ActionInfo处理成功后,如果下一个ActionInfo存在(Next属性不等于空),则把下一个ActionInfo放入重试队列,等待被处理;通过这样的设计,我们能够以非常统一的方式重试用户希望重试的ActionInfo以及这些ActionInfo重试成功后的回调ActionInfo。另外,如果当前ActionInfo执行失败,则仍然将当前ActionInfo再放回队列,继续重试;
下面我们看一个简单的调用示例吧:
private void CommitAggregate(AggregateRoot dirtyAggregate, ICommand command, IMessageQueue<ICommand> queue)
{
var eventStream = BuildEvents(dirtyAggregate, command); if (_retryService.TryAction("TrySendEvent", () => TrySendEvent(eventStream), ))
{
FinishExecution(command, queue);
}
else
{
_retryService.RetryInQueue(
new ActionInfo(
"TrySendEvent",
(obj) => TrySendEvent(obj as EventStream),
eventStream,
new ActionInfo(
"SendEventSuccessAction",
(obj) =>
{
var data = obj as dynamic;
var currentCommand = data.Command as ICommand;
var currentQueue = data.Queue as IMessageQueue<ICommand>;
FinishExecution(currentCommand, currentQueue);
return true;
},
new { Command = command, Queue = queue },
null)));
}
}
说明:
上面的代码是在一个command执行完成后对于产生的事件,框架要提交该聚合根产生的事件;通过BuildEvents方法获取聚合根上产生的事件,然后我们接下来是尝试将该事件发送到一个事件队列,但是因为该事件队列在消息入队时会持久化消息,也就是会有IO操作,所以就可能失败,所以我们先尝试执行一次,如果失败则立马连续尝试重试3次,如果这4次中任意一次成功了,则做成功的逻辑,上例是调用FinishExecution方法;如果这4次都失败,则进入else的逻辑,即放入队列定时重试,但是我们希望在放入队列重试时如果某一次重试成功了也需要保证能调用FinishExecution方法,所以也定义了一个回调的ActionInfo。最后,为了尽量让每个ActionInfo所需要的参数信息语义明确,避免语言层面的闭包等复杂难理解的问题,我们尽量将ActionInfo中的Action所需要的参数信息明确的设置到ActionInfo上,而不是从外层的函数中拿,从外层的函数中拿,要是再多线程时,容易出现问题,而且也容易引起代码修改导致的难以检查出来的闭包问题;当然,这里,大家可以看到我使用了匿名对象,我是偷懒了,如果希望性能更高,则可以显示定义一个类来封装需要的参数信息;
总结:
本文通过代码加思路的方式大概介绍了enode框架中关于消息重试的设计思路。但是我没有介绍enode中到底哪些点会用到重试机制,有很多,至少五六个地方吧。但我觉得这不是重点了,重点是上面我分析的一些思路,具体需要重试的场景是偏业务性质了,涉及到enode框架中从command开始处理到最后event被发布到query端的整个过程中的每个关键的环节。我觉得通过本文的分析,可以帮助想看代码的朋友更容易理解enode中关于重试方面的代码,这样就够了;关于重试方面,还有一个点没有说,就是command的重试,关于这一点,和本文提到的重试有点不同,我准备专门写一篇文章介绍一下吧。
ENode 1.0 - 消息的重试机制的设计思路的更多相关文章
- ENode 1.0 - 消息队列的设计思路
开源地址:https://github.com/tangxuehua/enode 上一篇文章,简单介绍了enode框架内部的整体实现思路,用到了staged event-driven architec ...
- 自己动手写客户端UI库——事件机制(设计思路大放送)
在上一篇文章中我们创建了一个Button控件,并把这个控件显示在界面上, 在这一篇文章中,我们将为这个控件增加一个事件和一个方法 一:怎么绑定事件的问题 在Winform中,我们对一个按钮绑定事件的方 ...
- ENode 2.0
ENode 2.0 - 介绍一下关于ENode中对Command的调度设计 摘要: CQRS架构,C端的职责是处理从上层发送过来的command.对于单台机器来说,我们如何尽快的处理command呢? ...
- ENode 1.0 - 整体架构介绍
前言 今天是个开心的日子,又是周末,可以安心轻松的写写文章了.经过了大概3年的DDD理论积累,以及去年年初的第一个版本的event sourcing框架的开发以及项目实践经验,再通过今年上半年利用业余 ...
- Rocket重试机制,消息模式,刷盘方式
一.Consumer 批量消费(推模式) 可以通过 consumer.setConsumeMessageBatchMaxSize(10);//每次拉取10条 这里需要分为2种情况 Consumer端先 ...
- RocketMQ重试机制和消息幂等
一.重试机制 由于MQ经常处于复杂的分布式系统中,考虑网络波动,服务宕机,程序异常因素,很有可能出现消息发送或者消费失败的问题.因此,消息的重试就是所有MQ中间件必须考虑到的一个关键点.如果没有消息重 ...
- [异步][jms][activeMq]怎样做到重试机制不会导致一条消息被多次运行.
版权声明:本文为博主原创文章,未经博主同意不得转载. https://blog.csdn.net/fei33423/article/details/32723571 淘宝海量存储之单机事务面临的问题及 ...
- SpringCloud 2020.0.4 系列之 Stream 消息出错重试 与 死信队列 的实现
1. 概述 老话说的好:出错不怕,怕的是出了错,却不去改正.如果屡次出错,无法改对,就先记下了,然后找援军解决. 言归正传,今天来聊一下 Stream 组件的 出错重试 和 死信队列. RabbitM ...
- IM消息送达保证机制实现(二):保证离线消息的可靠投递
1.前言 本文的上篇<IM消息送达保证机制实现(一):保证在线实时消息的可靠投递>中,我们讨论了在线实时消息的投递可以通过应用层的确认.发送方的超时重传.接收方的去重等手段来保证业务层面消 ...
随机推荐
- 【CodeVS1076】排序
Description 给出n和n个整数,希望你从小到大给他们排序 Input 第一行一个正整数n 第二行n个用空格隔开的整数 Output 输出仅一行,从小到大输出n个用空格隔开的整数 Sample ...
- ocfs2: 搭建环境
OCFS2是基于共享磁盘的集群文件系统,它在一块共享磁盘上创建OCFS2文件系统,让集群中的其它节点可以对磁盘进行读写操作.OCFS2由两部分内容构成,一部分实现文件系统功能,位于VFS之下和Ext4 ...
- [python] os.path说明
os.path - Common pathname manipulations操作 This module implements some useful functions on pathnames. ...
- 建站阿里云、amh主机面版
阿里云 Nginx+tomcat7+Mencached负载均衡集群配置 http://blog.csdn.net/zht666/article/details/38515147 apache2.2.1 ...
- android json解析详细介绍之gson
废话不多说,什么json是轻量级数据交换标准:自己百度去深入了解:这里有三种json解析工具.本人只用过其中两种: 1.Google Json利器之Gson 评价:简单,方便. 2.阿里巴巴 ...
- codesmith生成java类
今天生成的时候的时候找不到类型转换的文件JavaAlias 后台发现我装完codesmith后,没有把类型转换类放入对应的文件 把System-JavaTableNameComments.csmap和 ...
- win7/win8远程桌面 server 2003 卡的问题
原因在于从vista开始,微软在TCP/IP协议栈里新加了一个叫做“Window Auto-Tuning”的功能.这个功能本身的目的是为了让操作系统根据网络的实时性能(比如响应时间)来动态调整网络上传 ...
- BZOJ 1026: [SCOI2009]windy数
题目 人生中的第一道数位dp,很有趣,虽然我很快推出了结构,但是过程却迟迟没有写出来,最后看别人的题解才恍然大悟 d[i][j]表示数位为i,最高位为j的方案数 DpInit非常简单,复杂度应该是O( ...
- mac系统 下 npm 安装 bower报错
在mac终端运行 sudo npm install -g bower (安装之前你要确定你已经成功安装了node 和 git) 然后会报错 like this: npm ERR! Darwin 15. ...
- [转]pycharm的一些快捷键
忙了好一阵终于忙完了,最近在重构代码,有许多地方要注释什么的,在多行注释时总是很麻烦,就想着pycharm有没有快捷键,就像visual studio一样.于是上Google搜一下PyCharm De ...