[奇思异想]使用RabbitMQ实现定时任务
背景
工作中经常会有定时任务的需求,常见的做法可以使用Timer、Quartz、Hangfire等组件,这次想尝试下新的思路,使用RabbitMQ死信队列的机制来实现定时任务,同时帮助再次了解RabbitMQ的死信队列。
交互流程
1. 用户创建定时任务
2. 往死信队列插入一条消息,并设置过期时间为首个任务执行时间
3. 死信队列中的消息过期后,消息流向工作队列
4. 任务执行消费者监听工作队列,工作队列向消费者推送消息
5. 消费者查询数据库,读取任务信息
6. 消费者确认任务有效(未被撤销),执行任务
7. 消费者确认有下个任务,再往死信队列插入一条消息,并设置过期时间为任务执行时间
8. 重复2-7的步骤,直到所有任务执行完成或任务撤销
环境准备
请自行完成MongoDB和RabbitMQ的安装,Windows、Linux、Docker皆可,以下提供Windows的安装方法:
MongoDB:https://docs.mongodb.com/manual/tutorial/install-mongodb-on-windows/
RabbitMQ:https://www.rabbitmq.com/install-windows.html
核心代码
1. (WebApi)创建任务,并根据设置创建子任务,把任务数据写入数据库
var task = new Task
{
Name = form.Name,
StartTime = form.StartTime,
EndTime = form.EndTime,
Interval = form.Interval,
SubTasks = new List<SubTask>()
}; var startTime = task.StartTime;
var endTime = task.EndTime; while ((endTime - startTime).TotalMinutes >= )
{
var sendTime = startTime;
if (sendTime <= endTime && sendTime > DateTime.UtcNow)
{
task.SubTasks.Add(new SubTask { Id = ObjectId.GenerateNewId(), SendTime = sendTime });
} startTime = startTime.AddMinutes(task.Interval);
} await _mongoDbContext.Collection<Task>().InsertOneAsync(task);
2. (WebApi)往死信队列中写入消息
var timeFlag = task.SubTasks[].SendTime.ToString("yyyy-MM-dd HH:mm:ssZ");
var exchange = "Task";
var queue = "Task"; var index = ;
var pendingExchange = "PendingTask";
var pendingQueue = $"PendingTask|Task:{task.Id}_{index}_{timeFlag}"; using (var channel = _rabbitConnection.CreateModel())
{
channel.ExchangeDeclare(exchange, "direct", true);
channel.QueueDeclare(queue, true, false, false);
channel.QueueBind(queue, exchange, queue); var retryDic = new Dictionary<string, object>
{
{"x-dead-letter-exchange", exchange},
{"x-dead-letter-routing-key", queue}
}; channel.ExchangeDeclare(pendingExchange, "direct", true);
channel.QueueDeclare(pendingQueue, true, false, false, retryDic);
channel.QueueBind(pendingQueue, pendingExchange, pendingQueue); var properties = channel.CreateBasicProperties();
properties.Headers = new Dictionary<string, object>
{
["index"] = index,
["id"] = task.Id.ToString(),
["sendtime"] = timeFlag
}; properties.Expiration = ((int)(task.SubTasks[].SendTime - DateTime.UtcNow).TotalMilliseconds).ToString(CultureInfo.InvariantCulture);
channel.BasicPublish(pendingExchange, pendingQueue, properties, Encoding.UTF8.GetBytes(string.Empty));
}
其中:
PendingTask为死信队列Exchange,死信队列的队列名(Queue Name)会包含Task、index、timeFlag的信息,帮助跟踪队列和子任务,同时也起到唯一标识的作用。
task.id为任务Id
index为子任务下标
timeFlag为子任务执行时间
3. (消费者)处理消息
var exchange = "Task";
var queue = "Task"; _channel.ExchangeDeclare(exchange, "direct", true);
_channel.QueueDeclare(queue, true, false, false);
_channel.QueueBind(queue, exchange, queue); var consumer = new EventingBasicConsumer(_channel);
//监听处理
consumer.Received += (model, ea) =>
{
//获取消息头信息
var index = (int)ea.BasicProperties.Headers["index"];
var id = (ea.BasicProperties.Headers["id"] as byte[]).BytesToString();
var timeFlag = (ea.BasicProperties.Headers["sendtime"] as byte[]).BytesToString(); //删除临时死信队列
_channel.QueueDelete($"PendingTask|Task:{id}_{index}_{timeFlag}", false, true); var taskId = new ObjectId(id);
var task = _mongoDbContext.Collection<Task>().Find(n => n.Id == taskId).SingleOrDefault(); //撤销或已完成的任务不执行
if (task == null || task.Status != TaskStatus.Normal)
{
_channel.BasicAck(ea.DeliveryTag, false);
return;
}
//执行任务
_logger.LogInformation($"[{DateTime.UtcNow}]执行任务...");
//设置子任务已完成
task.SubTasks[index].IsSent = true; if (task.SubTasks.Count > index + ) //还有未完成的子任务,把下个子任务的信息写入死信队列
{
PublishPendingMsg(_channel, task, index + );
}
else
{
task.Status = TaskStatus.Finished; //所有子任务执行完毕,设置任务状态为完成
} _mongoDbContext.Collection<Task>().ReplaceOne(n => n.Id == taskId, task); //更新任务状态
_channel.BasicAck(ea.DeliveryTag, false);
};
_channel.BasicConsume(queue, false, consumer);
4. (WebApi)撤销任务,更新任务状态即可
var taskId = new ObjectId(id);
var task = await _mongoDbContext.Collection<Task>().Find(n => n.Id == taskId).SingleOrDefaultAsync();
if (task == null)
{
return NotFound(new { message = "任务不存在!" });
} task.Status = TaskStatus.Canceled;
await _mongoDbContext.Collection<Task>().FindOneAndReplaceAsync(n => n.Id == taskId, task);
效果展示
1. 先使用控制台把消费者启动起来。
2. 创建任务
启动WebApi,创建一个任务,开始时间为2019-07-16T07:55:00.000Z,结束时间为2019-07-16T07:59:00.000Z,执行时间间隔1分钟:
任务与相应的子任务也写入了MongoDB,这里假设子任务可能是邮件发送任务:
创建了一个临时死信队列,队列名称包含任务Id,子任务下标、以及子任务执行时间,并往其写入一条消息:
3. 执行(子)任务
从日志内容可以看出,(子)任务正常执行:
子任务状态也标注为已发送
同时也往消息队列写入了下一个子任务的消息:
4. 撤销任务
任务状态被置为已撤销:
任务没再继续往下执行:
消息队列中的临时队列被删除,消息也被消费完
源码地址
https://github.com/ErikXu/rabbit-scheduler
[奇思异想]使用RabbitMQ实现定时任务的更多相关文章
- [奇思异想]使用Zookeeper管理数据库连接串
背景 有一套特定规格的应用(程序+数据库),当有业务需求时,就需要多部署应用,并且所有的应用都使用一个共同的后台来管理.应用新增后,如何通知后台更新连接串成了一个关键的问题.于是就产生了使用ZooKe ...
- c# 扩展方法奇思妙用基础篇八:Distinct 扩展(转载)
转载地址:http://www.cnblogs.com/ldp615/archive/2011/08/01/distinct-entension.html 刚看了篇文章 <Linq的Distin ...
- c# 扩展方法奇思妙用
# 扩展方法出来已久,介绍扩展方法的文章也很多,但都是笼统的.本人最近一直在思考扩展方法的应用,也悟出了一些,准备将这最近一段时间对扩展方法的思考,写成一个系列文章.每个文章只介绍一个应用方面,篇幅不 ...
- c# 扩展方法奇思妙用集锦
本文转载:http://www.cnblogs.com/ldp615/archive/2009/08/07/1541404.html 其中本人觉得很经典的:c# 扩展方法奇思妙用基础篇五:Dictio ...
- c# 扩展方法奇思妙用基础篇八:Distinct 扩展
刚看了篇文章 <Linq的Distinct太不给力了>,文中给出了一个解决办法,略显复杂. 试想如果能写成下面的样子,是不是更简单优雅 var p1 = products.Distinct ...
- C#通过rabbitmq实现定时任务(延时队列)
本文主要讲解如何通过RabbitMQ实现定时任务(延时队列) 环境准备 需要在MQ中进行安装插件 地址链接 插件介绍地址:https://www.rabbitmq.com/blog/2015/04/1 ...
- 异想-天开 python---while、for、if-else 循环学习
for循环: for i in range(10): # i循环10次 print('------',i) for j in range(10): print(j) if j > 2 : bre ...
- c# 扩展方法 奇思妙用 高级篇 九:OrderBy(string propertyName, bool desc)
下面是 Queryable 类 中最常用的两个排序的扩展方法: 1 2 public static IOrderedQueryable<TSource> OrderBy<TSourc ...
- 奇淫异巧之 PHP 后门
整理大部分来源信安之路 对于隐蔽来说,有以下几点要素: 1.熟悉环境,模拟环境,适应环境,像一只变色龙一样隐藏 2.清除痕迹,避免运维发现 3.避免后门特征值被 D 盾等工具检测到 姿势 一般过狗思路 ...
随机推荐
- 使用网盘(Dropbox/Google Drive)同步Git仓库
还在使用老掉牙的U盘搬运代码(文件)的方式,从一台机器上复制后,粘贴到另一台机器上?太Out了.使用Github 倒是一个非常不错的替代方法.但无论是基于什么理由都有可能不想把代码公开(毕竟Githu ...
- SqlServer 动态SQL(存储过程)中Like 传入参数无正确返回值的问题
最近在做项目时,以动态Sql进行Like语句查询时发现应该返回的结果却一直返回空,后来发现是写法错误: 错误SQL: DECLARE @0 varchar(20) SET @0 = 'XA-LZ' S ...
- HTML续
HTML class属性 定义和用法 class 属性规定元素的类名(classname). class 属性大多数时候用于指向样式表中的类(class).不过,也可以利用它通过 JavaScript ...
- 第一个SpringBoot测试实例
1.SpringBoot项目构建:http://start-spring.io 自动化构建SpringBoot项目,保存在本地并解压 2.安装gradle并配置gradle环境 3.配置阿里云ma ...
- .Net上传文件处理三大范式,及开发注意事项
最近工作内容涉及到一点前端的内容,把学习到的内容记录下来,在今后的开发过程中,不要犯错.本篇只针对一些刚入职的小白及前端开发人员,大牛请绕道!~ 刚开始我们先不讲上传文件的防范问题,先通过一个例子,让 ...
- 管理分布式session的四种方式。
应用服务器的高可用架构设计最为理想的是服务无状态,但实际上业务总会有状态的,以session记录用户信息的例子来讲,未登入时,服务器没有记入用户信息的session访问网站都是以游客方式访问的,账号密 ...
- 写在Logg SAP项目上线之际
根据大环境大行业的惯用做法,公司建立Logg品牌是在意料之中.毫无意外的,Logg也要上到SAP系统中. 其实按它的业务模式来说上SAP系统并不困难,早在几年前就已经有做过了.无非就是接单不生产,外包 ...
- node.js简单数据接口开发
随着网络时代的快速发展,前端开发不仅仅是做出漂亮的页面就可以了,还要会一点后端语言,那么后端语言有Java,php,node.js最常见,那我们应该学哪一种呢,为了让我们自己更好的学习,我推荐选择no ...
- 【Linux杂记】Linux配置静态IP地址,修改主机名、host
博主使用的系统是:乌班图16.04 1.设置静态IP方法如下: #sudo vim /etc/network/interfaces #修改如下部分: auto eth0//ipconfig命令查看网卡 ...
- OpenCV常用数据结构和函数
点的表示:Point类 Point类数据结构表示二维坐标系下的点,即由其图像坐标x,y指定的2D点. 用法如下 Point point; point.x = 10; point.y = 8; 或者 P ...