JobScheduler是elastic-job作业调度的关键类,也是起始类,在包com.dangdang.ddframe.job.lite.api下.调度任务的执行需要包含两大步骤:任务的配置和任务的注册.JobScheduler的构造函数除了任务配置和注册相关信息之外还有事件和监听.后两者是elastic-job的扩展功能,我们后续再介绍. 任务的配置 由于内部使用quartz作为任务调度框架,任务的配置的相关的基础信息也是和quartz一致的.elastic-job的任务配置类在quart

作者简介: 张亮,当当网架构师.当当技术委员会成员.消息中间件组负责人.对架构设计.分布式.优雅代码等领域兴趣浓厚.目前主导当当应用框架ddframe研发,并负责推广及撰写技术白皮书.   一.为什么需要作业(定时任务)? 作业即定时任务.一般来说,系统可使用消息传递代替部分使用作业的场景.两者确有相似之处.可互相替换的场景,如队列表.将待处理的数据放入队列表,然后使用频率极短的定时任务拉取队列表的数据并处理.这种情况使用消息中间件的推送模式可更好的处理实时性数据.而且基于数据库的消息存储吞吐量

摘要: Elastic-Job是ddframe中dd-job的作业模块中分离出来的分布式弹性作业框架.去掉了和dd-job中的监控和ddframe接入规范部分.该项目基于成熟的开源产品Quartz和Zookeeper及其客户端Curator进行二次开发. ddframe其他模块也有可独立开源的部分,之前当当曾开源过dd-soa的基石模块DubboX. 项目开源地址:https://github.com/dangdangdotcom/elastic-job Elastic-Job是ddframe中

先说这个Sharding item parameters '1' format error, should be int=xx,int=xx异常吧,这是在做动态添加调度任务的时候出现的,网上找了一会没有搜到任何信息,最后发现,是添加任务这个方法里有一个漏洞. 这个源码出自: private ShardingItem parse(final String shardingItemParameter, final String originalShardingItemParameters) { St

在elastic-job详解(三):Job的手动触发功能一文中讲到了如何手动触发一个Job,但是我们手动触发的时候常常需要输入一些参数.举个栗子:我们有个日统计报表,每天凌晨统计一次,统计上一天的数据.但我们发现几天前的某一天的数据有问题,需要重跑统计.这就需要统计程序能执行指定某一天的数据.这个功能就可以使用自定义任务参数来轻松实现.自定义参数,可通过传递该参数为作业调度的业务方法传参,用于实现带参数的作业.例:每次获取的数据量.作业实例从数据库读取的主键.执行某一天的任务等. 1. 支持自定

elastic-job中最关键的特性之一就是失效转移.配置了失效转移之后,如果在任务执行过程中有一个执行实例挂了,那么之前被分配到这个实例的任务(或者分片)会在下次任务执行之前被重新分配到其他正常节点实例上执行. 简单的HA 当某一个任务实例节点宕机(离开与zookeeper的连接),会触发elastic-job主节点的重新分片逻辑.elastic-job启动任务节点以后生成的zookeeper中的instance节点是一个临时节点EPHEMERAL.为什么要用EPHEMERAL节点,就是为了能

elastic-job的任务都是使用quartz来触发的,quartz表达式一般都是定期执行.但有时候一些周期较长的任务,比如一天一次,几小时一次的任务,我们需要等待很久才能触发一次.如果我们需要测试一些功能,或者说重跑一些任务的话,手动触发任务功能就变得尤为重要,也是任务框架一般都必须要实现的特性.现在我们就来聊一聊elastic-job的手动触发任务的功能. 触发功能的使用 elastic-job有个管理界面console,这里不在赘述怎么样部署和打开管理界面.在这个管理界面上,有个触发按钮

数据分片的目的在于把一个任务分散到不同的机器上运行,既可以解决单机计算能力上限的问题,也能降低部分任务失败对整体系统的影响.elastic-job并不直接提供数据处理的功能,框架只会将分片项分配至各个运行中的作业服务器(其实是Job实例,部署在一台机器上的多个Job实例也能分片),开发者需要自行处理分片项与真实数据的对应关系.框架也预置了一些分片策略:平均分配算法策略,作业名哈希值奇偶数算法策略,轮转分片策略.同时也提供了自定义分片策略的接口. 分片原理 elastic-job的分片是通过zoo

Elastic-Job是ddframe中dd-job的作业模块中分离出来的分布式弹性作业框架.去掉了和dd-job中的监控和ddframe接入规范部分.该项目基于成熟的开源产品Quartz和Zookeeper及其客户端Curator进行二次开发. 项目开源地址:https://github.com/dangdangdotcom/elastic-job ddframe其他模块也有可独立开源的部分,之前当当曾开源过dd-soa的基石模块DubboX. elastic-job和ddframe关系见下图

大多数情况下,定时任务我们一般使用quartz开源框架就能满足应用场景.但如果考虑到健壮性等其它一些因素,就需要自己下点工夫,比如:要避免单点故障,至少得部署2个节点吧,但是部署多个节点,又有其它问题,有些数据在某一个时刻只能处理一次,比如 i = i+1 这些无法保证幂等的操作,run多次跟run一次,完全是不同的效果.   对于上面的问题,我曾经自行设计过一个基于zk分布式锁的解决方案: 1.每类定时job,可以分配一个独立的标识(比如:xxx_job) 2.这类job的实例,部署在多个节点

转载:http://blog.csdn.net/fanfan_v5/article/details/61310045 elastic-job是当当开源的一款非常好用的作业框架,在这之前,我们开发定时任务一般都是使用quartz或者spring-task(ScheduledExecutorService),无论是使用quartz还是spring-task,我们都会至少遇到两个痛点:1.不敢轻易跟着应用服务多节点部署,可能会重复多次执行而引发系统逻辑的错误.2.quartz的集群仅仅只是用来HA,节

Elastic-Job是一个分布式调度解决方案,它解决了什么问题呢? 如果你需要定时对数据进行处理,但由于数据量实在太大了,一台机器处理不过来,于是用两台机器处理,第一台处理 id 为奇数的数据,第二台处理 id 为偶数的数据,elastic job 可以优雅地对任务进行分片,拿到分片的机器才能执行定时任务. 概念:instance,sharding,leader 1. 定时任务程序是 instance. public class MyElasticJob implements SimpleJo

当当的Elastic-Job开源出了两种分布式Job的解决方案:1. elastic-job-lite,这是一个无中心节点的调度: Elastic-Job-Lite定位为轻量级无中心化解决方案,使用jar包的形式提供分布式任务的协调服务. 2. elastic-job-cloud是一个有中心节点的分布式调度开源工具 Elastic-Job-Cloud使用Mesos + Docker(TBD)的解决方案,额外提供资源治理.应用分发以及进程隔离等服务.Elastic-Job-Lite和Elastic

开发指南 代码开发 作业类型 目前提供3种作业类型,分别是Simple,DataFlow和Script. DataFlow类型用于处理数据流,它又提供2种作业类型,分别是ThroughputDataFlow和SequenceDataFlow.需要继承相应的抽象类. Script类型用于处理脚本,可直接使用,无需编码. 方法参数shardingContext包含作业配置,分片和运行时信息.可通过getShardingTotalCount(),getShardingItems()等方法分别获取分片总

Elastic-Job - 分布式定时任务框架 摘要 Elastic-Job是ddframe中dd-job的作业模块中分离出来的分布式弹性作业框架.去掉了和dd-job中的监控和ddframe接入规范部分.该项目基于成熟的开源产品Quartz和Zookeeper及其客户端Curator进行二次开发. ddframe其他模块也有可独立开源的部分,之前当当曾开源过dd-soa的基石模块DubboX. 项目开源地址:https://github.com/dangdangdotcom/elastic-j

前段时间项目开发中用到了当当开源的elastic-job,使用过程遇到一些问题,虽然不见得会影响写代码,但作为一个致力于搬好每一块砖的码农,当碰到问题时,我们不应该逃避,应该本着有困难也要上,没有困难创造困难也要上的精神冲上去搞定它,这样才能更容易了解事情的本质,才能有利于以后搬好每一块砖,佝偻者承蜩如是,我等搬砖亦复如是. --------------------------------------------------------------------------------------

还记得我们在JobScheduler中,在创建任务详情时,会调用一个建造器JobBuilder来创建一个Job,类型是LiteJob. LiteJob.java /** * Lite调度作业. * * @author zhangliang */ public final class LiteJob implements Job { @Setter private ElasticJob elasticJob; @Setter private JobFacade jobFacade; @Overri

JobScheduler这个类是EJ中比较核心的一个类,我们现在开始解析这个类. 一.构造器 首先我们看一下JobScheduler的几个构造器. private JobScheduler(final CoordinatorRegistryCenter regCenter, final LiteJobConfiguration liteJobConfig, final JobEventBus jobEventBus, final ElasticJobListener... elasticJobL

在elastic-job的使用过程中,我们会遇到动态添加定时任务的时候,但是官网上面并没有对这块内容进行说明.按照我的理解以及官网上面elastic-job的框架图,ej的定时任务其实是存储在zookeeper的一个个节点上面,所以通过给zookeeper添加对应的节点即可完成定时任务的添加动作. 下面上代码: import java.text.SimpleDateFormat; import java.util.Date; import com.dangdang.ddframe.job.api

定时任务有哪些? Timer定时器 ScheduledExecutorService Spring自带的@Scheduled Quartz定时任务 当当elastic job定时任务 Quartz实现定时任务的步骤 下面这个例子很好的覆盖了Quartz最重要的3个基本要素: Scheduler:调度器.所有的调度都是由它控制. Trigger: 定义触发的条件.例子中,它的类型是SimpleTrigger,每隔1秒中执行一次. JobDetail & Job: JobDetail 定义的是任务数