中小型研发团队架构实践:任务调度Job
一、Job 简介
Job 类似于数据库中的作业,多用于实现定时执行任务。适用场景主要包括定时轮询数据库同步、定时处理数据、定时邮件通知等。
我们的 Job 分为操作系统级别定时任务 WinJob 和 HttpJob,其中,WinJob 使用开源的任务调度框架 Quartz.NET+ ZooKeeper 实现,HttpJob 的服务端是自主开发实现的,可以直接定时调用你的计划任务如微服务。下面分别予以介绍。
二、WinJob
WinJob 使用 Quartz.NET+ZooKeeper 来实现,Quartz.NET 实现调度,ZooKeeper 使用 MasterElection 来实现高可用,解决单点问题。ZooKeeper 后继有文章单独介绍,这里重点介绍 Quartz.NET 框架的使用。
Quartz.NET 是一个全功能的开源任务调度框架,通过简单的配置就可以实现强大的任务调度功能,使得开发人员不用过多关注任务的调度,只用关注项目的业务逻辑。使用任务调度框架的价值:
- 提高开发效率:开发人员只需要编写业务代码,而具体的任务调度只需要通过配置就可以实现。
- 提高软件的可靠性:同一应用多个任务之间可以很好的隔离起来,互不影响。
- 降低开发人员成本和开发复杂度:开发人员不需要对线程、Timer 很了解,就能实现一个强大的执行计划应用。
- 容易迁移:只需实现 Quartz.IJob 接口即可,调用一次业务逻辑的入口即可。
- 容易扩展:新业务只需增加配置即可。
基于 Quartz.NET 实现 Job 调度的方法:
在后端服务声明实例化一个调度器,在启动服务的时候启动调度器,相应的代码如下所示:
/// <summary>
/// 当前调度服务的调度器
/// </summary>
public IScheduler CurrentSched
{
get; private set;
}
public JobService()
{
InitializeComponent();
StdSchedulerFactory schedulerFactory = new StdSchedulerFactory();
CurrentSched = schedulerFactory.GetScheduler();
}
protected override void OnStart(string[] args)
{
CurrentSched.Start();
logger.Info("调度服务成功启动!");
}
创建相应的任务和触发器,之后把任务和关联的触发器加入之前声明的调度器 CurrentSched,相应的代码如下所示:
/// <summary>
/// 演示一个任务多触发器的使用
/// </summary>
private static void JobWithManyTriggerDemo() {
IJobDetail simpleJob = JobBuilder.Create<SimpleJob>().WithIdentity("任务名称", "任务组名").Build(); // 创建一个 simpleJob 任务
ITrigger simpleTrigger = TriggerBuilder.Create().WithIdentity("触发器名称 3", "触发器组名").StartNow()
.WithSimpleSchedule(x => x.WithIntervalInSeconds(5).RepeatForever()).Build(); // 创建一个简单触发器,每隔 5 秒执行一次
CurrentSched.ScheduleJob(simpleJob, simpleTrigger); // 把 simpleJob 任务、简单触发器加入调度器
ITrigger cronTrigger = TriggerBuilder.Create().WithIdentity("触发器名称 4", "触发器组名").StartNow()
.WithCronSchedule("/10 * * ? * *").ForJob(simpleJob).Build(); // 创建一个为任务“simpleJob”服务的 Cron 触发器,每隔 10 秒执行一次
CurrentSched.ScheduleJob(cronTrigger); // 把 Cron 触发器加入调度器
}
在业务逻辑层继承 IJob 接口,并实现 Execute 方法,在该方法内实现需要调度的业务逻辑,相应的代码如下所示:
/// <summary>
/// 简单任务
/// </summary>
public class SimpleJob : IJob
{
ILog logger = LogManager.GetLogger(typeof(SimpleJob));
public void Execute(IJobExecutionContext context)
{
Console.WriteLine("简单的任务演示!" + DateTime.Now.ToString("HH:mm:ss"));
logger.Info("简单的任务演示!" + DateTime.Now.ToString("HH:mm:ss"));
// 业务逻辑处理
Thread.Sleep(2000);
}
}
三、HttpJob
通过自主开发的 JobServer,结合自主开发的 Job 集中式管理平台,可以实现满足绝大部分场景的 Job 调度。 这种 Job 调度使用方式使你只需关注实现业务系统的业务逻辑部分即可,无需在业务系统中额外关注如何使用 Quartz.NET。
3.1、HttpJob 的服务端实现
JobServer 实现的主要逻辑:
- 借助 Quartz,可实现多个线程(如 10 个线程)同时调用多个 HttpJob;
- 实现了 Get、Post、Head 三种方式的请求;
- 借助 ZooKeeper的 MasterElection 来实现高可用,实现自动主备切换;
- 记录日志,方便追踪。
3.2、HttpJob 的后台——Job 集中式管理平台
在集中式 Job 管理平台中,配置相应的 Job 信息。配置完 Job 信息后,JobServer 获取到这些 Job 信息后,就能够定时执行这些 Job。要配置的 Job 信息包括 Job 的任务名称、任务组名、请求地址、请求类型、开始时间、触发器类型、次数、间隔时间 (s)、Cron-Like 表达式以及状态。
其中请求地址就是 JobServer 实际定时调用的任务的 http 地址,例如 HttpJobDemo 的 WebForm1.aspx 这个任务的运行地址 http://localhost:10786/WebForm1.aspx。
aaarticlea/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==" alt="" />
3.3、采用 HttpJob 进行任务调度的优势和约束
采用 HttpJob 的优势:
- 高可用:借助网站集群巧妙地解决 Job 服务的单点问题。
- 方便发布:不用重启 Job 服务。
- 减少依赖,易学易用,不用关注线程、Windows 服务方面的知识。
- 数据分片,可以采用 URL 来取模 + 多个 HttpJob。
采用 HttpJob 的约束:
- 由于请求 HttpJob 的最长响应时间是 30 秒,所以 Job 运行时间一旦超过 30 秒,则建议为 Job 先创建异步线程,立即返回。
- Job 调度的频率最少间隔时间是 1 分钟,因为通过 HttpJob 通知并不是件高效的事情。
- 为了安全应建立专业的 Job 集群,一般两台即可,外部不可访问,SLB 采用简单轮询方案。
- 新增及修改 Job 配置,10 分钟生效。
四、Cron 表达式
Cron 表达式格式:秒 分 时 日 月 周 年(可选)。要遵守的规范请见下表:
aaarticlea/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==" alt="" />
五、Demo 下载及更多资料
WinJobDemo 下载地址:https://github.com/das2017/QuartzDemo
HttpJobDemo 下载地址:https://github.com/das2017/HttpJobDemo
Quartz.NET 官网:http://www.quartz-scheduler.net/
Quartz.NET 开源网址:https://github.com/quartznet/quartznet
本系列文章涉及内容清单如下(并不按这顺序发布),其中有感兴趣的,欢迎关注:
- 开篇:中小型研发团队架构实践三要点
- 缓存 Redis
- 消息队列 RabbitMQ:如何用好消息队列RabbitMQ?
- 集中式日志 ELK
- 任务调度 Job
- 应用监控 Metrics:应用监控怎么做?
- 微服务框架 MSA
- 搜索利器 Solr
- 分布式协调器 ZooKeeper
- 小工具:
- Dapper.NET/EmitMapper/AutoMapper/Autofac/NuGet
- 发布工具 Jenkins
- 总体架构设计:电商如何做企业总体架构?
- 单个项目架构设计
- 统一应用分层:如何规范公司所有应用分层?
- 调试工具 WinDbg
- 单点登录
- 企业支付网关
- 结篇
作者介绍
张辉清,10 多年的 IT 老兵,先后担任携程架构师、古大集团首席架构、中青易游 CTO 等职务,主导过两家公司的技术架构升级改造工作。现关注架构与工程效率,技术与业务的匹配与融合,技术价值与创新。
杨丽,拥有多年互联网应用系统研发经验,曾就职于古大集团,现任职中青易游的系统架构师,主要负责公司研发中心业务系统的架构设计以及新技术积累和培训。现阶段主要关注开源软件、软件架构、微服务以及大数据
转载:http://www.infoq.com/cn/articles/architecture-practice-04-job-schedule?utm_source=infoq&utm_campaign=user_page&utm_medium=link
中小型研发团队架构实践:任务调度Job的更多相关文章
- 中小型研发团队架构实践:分布式协调服务ZooKeeper
一.ZooKeeper 是什么 Apache ZooKeeper 由 Apache Hadoop 的子项目发展而来,于 2010 年 11 月正式成为了 Apache 的顶级项目. 相关厂商内容 优秀 ...
- 中小型研发团队架构实践:Redis快速入门及应用
Redis的使用难吗?不难,Redis用好容易吗?不容易.Redis的使用虽然不难,但与业务结合的应用场景特别多.特别紧,用好并不容易.我们希望通过一篇文章及Demo,即可轻松.快速入门并学会应用. ...
- 中小型研发团队架构实践六:如何用好消息队列RabbitMQ?
一.写在前面 使用过分布式中间件的人都知道,程序员使用起来并不复杂,常用的客户端 API 就那么几个,比我们日常编写程序时用到的 API 要少得多.但是分布式中间件在中小研发团队中使用得并不多,为什么 ...
- 中小型研发团队架构实践九:任务调度Job
一.Job 简介 Job 类似于数据库中的作业,多用于实现定时执行任务.适用场景主要包括定时轮询数据库同步.定时处理数据.定时邮件通知等. 我们的 Job 分为操作系统级别定时任务 WinJob 和 ...
- 中小型研发团队架构实践八:分布式协调服务ZooKeeper
一.ZooKeeper 是什么 Apache ZooKeeper 由 Apache Hadoop 的子项目发展而来,于 2010 年 11 月正式成为了 Apache 的顶级项目. ZooKeeper ...
- 中小型研发团队架构实践七:集中式日志ELK
一.集中式日志 日志可分为系统日志.应用日志以及业务日志,系统日志给运维人员使用,应用日志给研发人员使用,业务日志给业务操作人员使用.我们这里主要讲解应用日志,通过应用日志来了解应用的信息和状态,以及 ...
- 中小型研发团队架构实践三:微服务架构(MSA)
一.MSA 简介 1.1.MSA 是什么 微服务架构 MSA 是 Microservice Architect 的简称,它是一种架构模式,它提倡将单一应用程序划分成一组小的服务,服务之间互相通讯.互相 ...
- 中小型研发团队架构实践五:Redis快速入门及应用
Redis的使用难吗?不难,Redis用好容易吗?不容易.Redis的使用虽然不难,但与业务结合的应用场景特别多.特别紧,用好并不容易.我们希望通过一篇文章及Demo,即可轻松.快速入门并学会应用. ...
- 中小研发团队架构实践之生产环境诊断工具WinDbg 三分钟学会.NET微服务之Polly 使用.Net Core+IView+Vue集成上传图片功能 Fiddler原理~知多少? ABP框架(asp.net core 2.X+Vue)模板项目学习之路(一) C#程序中设置全局代理(Global Proxy) WCF 4.0 使用说明 如何在IIS上发布,并能正常访问
中小研发团队架构实践之生产环境诊断工具WinDbg 生产环境偶尔会出现一些异常问题,WinDbg或GDB是解决此类问题的利器.调试工具WinDbg如同医生的听诊器,是系统生病时做问题诊断的逆向分析工具 ...
随机推荐
- 【DFS】bzoj2435 [Noi2011]道路修建
两遍DFS.第一遍统计以每个点为根的子树大小,第二遍更新答案. #include<cstdio> #include<iostream> using namespace std; ...
- 【最大流】POJ3236-ACM Computer Factory
[题意] 装配一个电脑需要P个零件,现在给出N机器的信息,每个机器可以将k个电脑由状态{S1,S2..,Sp}转变为{Q1,Q2..,Qp},问最多能装配多少台电脑以及对应的方案? [思路] 1A.. ...
- [NOIp2017提高组]列队
[NOIp2017提高组]列队 题目大意 一个\(n\times m(n,m\le3\times10^5)\)的方阵,每个格子里的人都有一个编号.初始时第\(i\)行第\(j\)列的编号为\((i-1 ...
- (原创)Stanford Machine Learning (by Andrew NG) --- (week 6) Advice for Applying Machine Learning & Machine Learning System Design
(1) Advice for applying machine learning Deciding what to try next 现在我们已学习了线性回归.逻辑回归.神经网络等机器学习算法,接下来 ...
- 输入sql语句,将结果写入到xml文件
import java.io.FileOutputStream; import java.sql.Connection; import java.sql.DriverManager; import j ...
- Generator函数(二)
for...of循环 1.for...of循环可以自动遍历Generator函数,不需要再调用next方法 function* helloWorldGenerator(){ yield 'hello' ...
- [转]xxx.hbm.xml文件配置详解
潜龙写 xml代码: <?xml version="1.0"?> <!DOCTYPE hibernate-mapping PUBLIC "-//Hibe ...
- MYSQL复习笔记3-用户和安全
Date: 20140115Auth: Jin参考:http://dev.mysql.com/doc/refman/5.1/en/security.html 一.权限系统实现方式相关权限信息存储在几个 ...
- MySql_安装及简单命令
一.下载MySql http://dev.mysql.com/downloads/file/?id=461390 版本位5.7.11.0.msi,32位的,但是该版本在64位机器上也可以使用 二.安装 ...
- Android ANR优化 1
1, 你碰到ANR了吗 在App使用过程中, 你可能遇到过这样的情况: ANR 恭喜你, 这就是传说中的ANR. 1.1 何为ANR ANR全名Application Not Responding, ...