用Worker来保证数据的一致性,再加上MQ来便于水平扩展,也提升了Worker的效率。这就是传说中的Worker+MQ,又叫做可靠消息方式。另外,将任务的查询和执行分工,形成父子任务,达到真正的分布式任务,也能提升Worker效率。

  1. package com.itlong.bjxizhan.support.web.job.base;
  2. import com.itlong.bjxizhan.common.DbContext;
  3. import com.itlong.bjxizhan.domain.pojo.Task;
  4. import com.itlong.bjxizhan.support.web.service.StandardTaskService;
  5. import org.slf4j.Logger;
  6. import org.slf4j.LoggerFactory;
  7. import java.util.List;
  8. /**
  9. * Created by shenhongxi on 2016/7/12.
  10. */
  11. public class JobRunnable implements Runnable {
  12. private static final Logger log = LoggerFactory.getLogger(JobRunnable.class);
  13. private StandardTaskService standardTaskService;
  14. private List<Task> tasks;
  15. private String dbKey;
  16. private String tableIndex;
  17. @Override
  18. public void run() {
  19. if (tasks != null) {
  20. try {
  21. DbContext.setDbKey(dbKey);
  22. DbContext.setTableIndex(tableIndex);
  23. for (Task task : tasks) {
  24. task.setTableIndex(tableIndex);
  25. // 1. 一个job的多个实例,谁先成功锁定任务,谁先处理任务,若处理失败则解锁任务
  26. // 2. 对于1中解锁失败的,要利用另外的job来专门进行解锁
  27. // 3. 将任务分成几批,并行处理
  28. // 4. 这些任务的子任务分批串行处理,同样有锁定-处理-失败解锁
  29. // 5. 对于4中解锁失败的,同样要利用另外的job来专门进行解锁
  30. boolean locked = standardTaskService.lock(task);
  31. if (!locked) continue;
  32. boolean result = standardTaskService.process(task);
  33. standardTaskService.finished(result, task);
  34. }
  35. } catch (Exception e) {
  36. log.error("Do task error", e);
  37. throw new RuntimeException("Do task error");
  38. }
  39. }
  40. }
  41. public List<Task> getTasks() {
  42. return tasks;
  43. }
  44. public void setTasks(List<Task> tasks) {
  45. this.tasks = tasks;
  46. }
  47. public StandardTaskService getStandardTaskService() {
  48. return standardTaskService;
  49. }
  50. public void setStandardTaskService(StandardTaskService standardTaskService) {
  51. this.standardTaskService = standardTaskService;
  52. }
  53. public String getTableIndex() {
  54. return tableIndex;
  55. }
  56. public void setTableIndex(String tableIndex) {
  57. this.tableIndex = tableIndex;
  58. }
  59. public String getDbKey() {
  60. return dbKey;
  61. }
  62. public void setDbKey(String dbKey) {
  63. this.dbKey = dbKey;
  64. }
  65. }

***:org.quartz.Scheduler提供了start, bystand等方法可以对Scheduler进行管控

Worker+MQ解惑的更多相关文章

  1. 基于queue的python多进程日志管理

    在我们的异常检测应用中,需要对每组IoT设备分别训练一个模型,每个模型对一组设备的指标数据进行实时异常检测.方案采用master-worker+消息队列的方式实现模型对外服务,但是每个worker的日 ...

  2. Spark技术内幕:Client,Master和Worker 通信源码解析

    http://blog.csdn.net/anzhsoft/article/details/30802603 Spark的Cluster Manager可以有几种部署模式: Standlone Mes ...

  3. celery rabbit mq 详解

    Celery介绍和基本使用 Celery 是一个 基于python开发的分布式异步消息任务队列,通过它可以轻松的实现任务的异步处理, 如果你的业务场景中需要用到异步任务,就可以考虑使用celery, ...

  4. Java异常处理机制难点解惑-用代码说话

    是否需要看这篇文章? 下面的例子中,如果正常执行返回值多少? 如果出现了ArithmeticException返回值多少? 如果出现非ArithmeticException(如NullPointerE ...

  5. 关于MQ,你必须知道的

    我走过最长的路是你的套路 女:二号男嘉宾,假如我们牵手成功后,你会买名牌包包给我吗? 男:那你会听话吗? 女:会 听话. 男:听话 咱不买! OK那么消息队列MQ有什么套路呢?(这个话题转换生硬度连我 ...

  6. Rabbit MQ 消息确认和持久化机制

    一:确认种类 RabbitMQ的消息确认有两种.一种是消息发送确认,用来确认生产者将消息发送给交换器,交换器传递给队列的过程中消息是否成功投递.发送确认分为两步,一是确认是否到达交换器,二是确认是否到 ...

  7. celery+Rabbit MQ实战记录

    基于以前的一篇文章,celery+Rabbit MQ的安装和使用, 本文更加详细的介绍如何安装和使用celey, Rabbit MQ. 并记录在使用celery时遇到的一些问题. 1.安装 Rabbi ...

  8. RabbitMQ学习笔记(3)----RabbitMQ Worker的使用

    1. Woker队列结构图 这里表示一个生产者生产了消息发送到队列中,但是确有两个消费者在消费同一个队列中的消息. 2. 创建一个生产者 Producer如下: package com.wangx.r ...

  9. Spark技术内幕:Client,Master和Worker 通信源代码解析

    Spark的Cluster Manager能够有几种部署模式: Standlone Mesos YARN EC2 Local 在向集群提交计算任务后,系统的运算模型就是Driver Program定义 ...

随机推荐

  1. Linux 分区挂载方案

    /boot 1G swap 2G(看内存决定) / 10-15G /home 5G

  2. Ubuntu 16.04 Django安装和配置

    之前有安装和配置过,换了台电脑,再安装和配置,忽然发现差不多都忘记了,这里记录下已备之后查阅. sudo apt-get install python-pip sudo apt-get install ...

  3. dwr推送技术深入研究

    DWR 工作原理: 是通过动态把 Java 类生成为 Javascript.它的代码就像 Ajax 一样,你感觉调用就像发生在浏览器端,但是实际上代码调用发生在服务器端,DWR 负责数据的传递和转换. ...

  4. Symfony没有安装依赖_PHP Fatal error: require(): Failed opening required

    $ php bin/console server:run PHP Warning: require(D:\home\workspace\pd\app/../vendor/autoload.php): ...

  5. Chapter 2 Open Book——33

    My chin raised a fraction. 我的下巴抬起来了一点. 我略微抬起下颚. "No, she did not send me here. I sent myself.&q ...

  6. Linq 内联左联等

    我们在做SQL查询的时候经常会用到Inner Join,Left Join,笛卡尔积等等,连接方式的概念方面我想也不用给予太多解释, 我们今天的重点是让大家熟悉LINQ是如何使用Join来实现常用的表 ...

  7. ELK 日志系统搭建配置

    logstash是一个数据分析软件,主要目的是分析log日志.整一套软件可以当作一个MVC模型,logstash是controller层,Elasticsearch是一个model层,kibana是v ...

  8. BGP多线单IP技术实现形式以及其他双线对比

    自从电信与网通分离之后,北方网通与南方电信网络的互联瓶颈问题一直没有得到很好的解决,这个问题也严重困扰广大的ICP服务商.ICP也只能根据自己网站主流用户群是在南方还是在北方,服务重点是在南方还是北方 ...

  9. SQL LIKE语句多条件贪婪匹配算法

    在CMS开发中,经常会有类似这样的需求: 提问——回答模式,最经典的例子就是百度提问. 提问者提出问题,由其他人回答,其他人可以是用户,也可以是服务商. 在这个模式中,如何充分利用历史数据是最关键的技 ...

  10. 使用vs2010打开VS2013的工程文件

    在开发团队,会出现vs工具使用版本的不一样的情况.我的电脑使用的是VS2010,可是其他人员使用的是vs2013. 要打开其他人员上传的工程文件,可以通过三种方式: 1.下载一个vs2013版本. 2 ...