• 简介

  Master-Worker模式是常用的并行设计模式。它的核心思想是,系统有两个进程协议工作:Master进程和Worker进程。Master进程负责接收和分配任务,Worker进程负责处理子任务。当各个Worker进程将子任务处理完后,将结果返回给Master进程,由Master进行归纳和汇总,从而得到系统结果。处理过程如下图:

Master-Worker模式的好处是,它能将大任务分解成若干个小任务,并发执行,从而提高系统性能。而对于系统请求者Client来说,任务一旦提交,Master进程就会立刻分配任务并立即返回,并不会等系统处理完全部任务再返回,其处理过程是异步的。

  • Master-Worker模式结构

  Master-Worker模式的主要结构如下图:

  如上图所示,Master进程是主要进程,它维护着一个Worker进程队列、子任务队列和子结果集,Worker进程中的Worker进程不断的从任务队列中提取要处理的子任务,并将子任务的处理结果放入到子结果集中。

  在上图中,Master:用于任务的分配和最终结果的合并;Worker:用于实际处理一个任务;客户端进程:用于启动系统,调度开启Master。

  • Master-Worker模式代码实现

  Master代码实现:

 1 public class Master {
2 //任务队列
3 protected Queue<Object> workQueue = new ConcurrentLinkedQueue<Object>();
4 //worker进程队列
5 protected Map<String, Thread> threadMap = new HashMap<String, Thread>();
6 //结果集
7 protected Map<String, Object> resultMap = new HashMap<String,Object>();
8
9 //是否所有的子任务都结束
10
11 public boolean isComplete(){
12 for(Map.Entry<String, Thread> entry:threadMap.entrySet()){
13 if(entry.getValue().getState()!=Thread.State.TERMINATED){
14 return false;
15 }
16 }
17 return true;
18 }
19
20 public Master(Worker worker,int countWorker) {
21 worker.setResultMap(resultMap);
22 worker.setWorkQueue(workQueue);
23 for (int i = 0; i < countWorker; i++) {
24 threadMap.put(Integer.toString(i), new Thread(worker,Integer.toString(i)));
25 }
26 }
27
28 //提交任务
29
30 public void submit(Object obj){
31 workQueue.add(obj);
32 //System.out.println(obj.toString());
33 }
34
35
36
37 //返回子任务结果集
38 public Map<String, Object> getResultMap() {
39 return resultMap;
40 }
41
42 //开始运行所有worker进程,并进行处理
43
44 public void execute(){
45 for(Map.Entry<String, Thread> entry:threadMap.entrySet()){
46 entry.getValue().start();
47 }
48 }
49
50 }

  Worker代码实现:

 1 public class Worker implements Runnable {
2 //任务队列
3 protected Queue<Object> workQueue;
4 //子任务结果集
5 protected Map<String,Object> resultMap = new HashMap<String, Object>();
6
7
8 public void setWorkQueue(Queue<Object> workQueue) {
9 this.workQueue = workQueue;
10 }
11 public void setResultMap(Map<String, Object> resultMap) {
12 this.resultMap = resultMap;
13 }
14
15 public Object handle(Object input){
16 return input;
17 }
18 @Override
19 public void run() {
20 while(true){
21 Object input = workQueue.poll();
22
23 if(null==input) break;
24 //处理子任务
25 Object re = handle(input);
26 resultMap.put(Integer.toString(input.hashCode()),re);
27 //System.out.println(re.toString());
28 }
29 }
30
31 }

  Master-Worker模式是一种串行任务并行化的方法,被分解的子任务在系统中可以并行处理。同时,如果有需要,Master进程不需要所有子任务都执行完成,就可以根据已有的部分结果集计算最终的结果。

  现在以上面的Master-Worker实现为基础,来实现计算1-100的立方和。计算将被分解为100个子任务,每个子任务仅用于计算单独的立方和。Master产生固定数目Worker,来处理这些子任务。Worker不断的从任务集合中取出这些计算立方和的子任务,并将计算结果放入到Master的结果集中。Master负责将所有Worker的任务结果进行累加,从而产生最终的立方和。整个计算过程,Worker和Master的运算也是完全异步的,Master进程不必等所有的Worker进程都执行完成,就可以进行求和操作了。也就是所,Master在获取部分子任务的结果集时,就可以对最终结果进行计算了,从而提高了系统的并发性和吞吐量。

  计算子任务的实现如下:

1 public class PlusWorker extends Worker {
2
3 @Override
4 public Object handle(Object input) {
5 Integer i = (Integer) input;
6 return i*i*i;
7 }
8
9 }

  客户端代码如下:

 1 public class Client {
2 public static void main(String[] args) {
3 Master m = new Master(new PlusWorker(), 5);//启动五个线程处理
4 for (int i = 0; i < 100; i++) {
5 m.submit(i);
6 }
7 m.execute();
8 int re = 0;
9 Map<String, Object> resultMap = m.getResultMap();
10 while(resultMap.size()>0||!m.isComplete()){
11 Set<String> keys = resultMap.keySet();
12 String key = null;
13 for(String k:keys){
14 key=k;
15 break;
16 }
17 Integer i = null;
18 if(key != null){
19 i = (Integer) resultMap.get(key);
20 }
21 if(i!=null){
22 re+=i;//并行计算结果集
23 }
24
25 if(key!=null){
26 resultMap.remove(key);//将计算完成的结果移除
27 }
28 }
29
30 System.out.println(re);
31 }
32 }

  通过Master创建5个Worker工作线程和PlusWorker工作实例。提交完100个任务后,就开始计算子任务。这些子任务,由生成的5个Worker线程共同完成。Master并不等所有的子任务都计算完成,就开始访问子结果集进行最终结果的计算,直到子结果集中所有的数据都被处理,并且5个活跃的Worker线程全部终止,才能求出最终结果。

转 Master-Worker模式 并行程序设计模式--Master-Worker模式的更多相关文章

  1. 【MPI学习2】MPI并行程序设计模式:对等模式 & 主从模式

    这里的内容主要是都志辉老师<高性能计算之并行编程技术——MPI并行程序设计> 书上有一些代码是FORTAN的,我在学习的过程中,将其都转换成C的代码,便于统一记录. 这章内容分为两个部分: ...

  2. Java进阶7 并发优化2 并行程序设计模式

    Java进阶7 并发优化2 并行程序设计模式20131114 1.Master-worker模式 前面讲解了Future模式,并且使用了简单的FutureTask来实现并发中的Future模式.下面介 ...

  3. 【MPI学习6】MPI并行程序设计模式:具有不连续数据发送的MPI程序设计

    基于都志辉老师<MPI并行程序设计模式>第14章内容. 前面接触到的MPI发送的数据类型都是连续型的数据.非连续类型的数据,MPI也可以发送,但是需要预先处理,大概有两类方法: (1)用户 ...

  4. 并行程序设计模式--Master-Worker模式

    简介 Master-Worker模式是常用的并行设计模式.它的核心思想是,系统有两个进程协议工作:Master进程和Worker进程.Master进程负责接收和分配任务,Worker进程负责处理子任务 ...

  5. 【MPI学习3】MPI并行程序设计模式:不同通信模式MPI并行程序的设计

    学习了MPI四种通信模式 及其函数用法: (1)标准通信模式:MPI_SEND (2)缓存通信模式:MPI_BSEND (3)同步通信模式:MPI_SSEND (4)就绪通信模式:MPI_RSEND ...

  6. 程序设计模式 —— State 状态模式

    我应该如何阅读? 本文将使用优雅的文字风格来告诉你什么是状态模式. 注意: 1.在阅读本文之前请保证你已经掌控了 面对对象的思想与 多态的基本概念,否则将难以理解. 2.本文实现将用C++实现,你不一 ...

  7. Java并行程序设计模式小结

    这里总结几种常用的并行程序设计方法,其中部分文字源自<Java程序性能优化>一书中,还有部分文字属于个人总结,如有不对,请大家指出讨论. Future模式 一句话,将客户端请求的处理过程从 ...

  8. 【MPI学习5】MPI并行程序设计模式:组通信MPI程序设计

    相关章节:第13章组通信MPI程序设计. MPI组通信与点到点通信的一个重要区别就是:组通信需要特定组内所有成员参与,而点对点通信只涉及到发送方和接收方. 由于需要组内所有成员参与,因此也是一种比较复 ...

  9. 【MPI学习4】MPI并行程序设计模式:非阻塞通信MPI程序设计

    这一章讲了MPI非阻塞通信的原理和一些函数接口,最后再用非阻塞通信方式实现Jacobi迭代,记录学习中的一些知识. (1)阻塞通信与非阻塞通信 阻塞通信调用时,整个程序只能执行通信相关的内容,而无法执 ...

随机推荐

  1. Titanic缺失数值处理 & 存活率预测

    1.  kaggle泰坦尼克数据titanic完整下载,原作者良心分享 https://download.csdn.net/download/lansui7312/9936840 2. 缺失值处理 # ...

  2. playbook

    1 --- - hosts: web-server 3 remote_user: root tasks: - name: stop logstash shell: PID=` $PID &&a ...

  3. LeetCode OJ 129. Sum Root to Leaf Numbers

    题目 Given a binary tree containing digits from 0-9 only, each root-to-leaf path could represent a num ...

  4. 关于HashMap和HashTable.md

    目录 先来些简单的问题 你用过HashMap吗?" "什么是HashMap?你为什么用到它?" "你知道HashMap的工作原理吗?" "你 ...

  5. 思维导图-mysql log

  6. 数字三角形/数塔问题(DP入门题)

    有形如下图所示的数塔,从顶部出发,在每一结点可以选择向左走或是向右走,一起走到底层,要求找出一条路径,使路径上的值最大. 样例输入: 5 13 11 8 12 7 26 6 14 15 8 12 7 ...

  7. Swagger注解

    swagger注解说明  1.与模型相关的注解,用在bean上面 @ApiModel:用在bean上,对模型类做注释: @ApiModelProperty:用在属性上,对属性做注释 2.与接口相关的注 ...

  8. extJs学习的资源

    http://www.qeefee.com/zt-extjs   Ext JS 6 入门学习资料大全(2016-12-14)   cddnExtJS学习:http://blog.csdn.net/co ...

  9. SpriteKit 关于categoryBitMask collisionBitMask contactTestBitMask 遇到的一些问题

    手写copy一下官方解释 首先是categoryBitMask /** 定义了这个物理刚体是属于哪个类别的掩码 .在一个场景中的每个物理刚体可以分配给达到 32 不同的类别(参数 int bitmas ...

  10. react项目搭建

    1.下载安装node.js,需要node.js环境. 2.经过挑选,决定选择creat-react-app这个项目脚手架,然后输入指令安装          $ npm install -g crea ...