Fork/Jion框架可以干什么

如果你要处理1万条数据,但是你的能力暂时还不够,一个简单快捷的办法就是你可以把每次只处理100条,等到处理100次之后再把所有的结果聚合起来你就处理完了这1万条数据。

Fork/Join就是是Java7提供的原生多线程并行处理框架,它的基本思想就是将大任务分割成小任务,最后将小任务聚合起来得到结果。


如何使用Fork/Jion框架

我们要使用ForkJoin框架,首先要创建一个ForkJoin任务。它提供在任务中执行fork()和join的操作机制。
fork用来创建子线程,可以让程序多一个执行分枝,jion在我们之前文章中已经提到了,那就是等待结果。
通常我们可以按需继承如下两个类来使用Fork/Jion框架:

  1. RecursiveAction,用于没有返回结果的任务

  2. RecursiveTask,用于有返回值的任务


代码示例

下方是一个使用Fork/Jion框架计算1到10000的所有数值的和的一个简单的代码示例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
public class ForkJionDemo extends RecursiveTask<Integer> {
//任务拆分阈值
public static final int threshold = 100;
//计算起始值
private int start;
//计算结束值
private int end; public ForkJionDemo(int start, int end) {
this.start = start;
this.end = end;
} @Override
protected Integer compute() {
int sum = 0;
//计算任务是否需要拆分
boolean canCompute = (end - start) <= threshold;
if (canCompute) {
//无需拆分则执行任务累计
for (int i = start; i <= end; i++) {
sum += i;
}
} else {
List<ForkJionDemo> forkJionDemoList=new ArrayList<>();
//将任务拆分成100份
for(int i=0;i<100;i++){
//计算这个一份任务要计算的起点和终点,如果终点大于最大值则使用最大值为终点
int last=(start+threshold)>end?end:(start+threshold);
ForkJionDemo forkJionDemo = new ForkJionDemo(start, last);
//下一份任务的起点要更新
start+=threshold+1;
forkJionDemoList.add(forkJionDemo);
//提交子任务
forkJionDemo.fork();
}
//汇总拆分完毕后的任务结果
for(ForkJionDemo forkJionDemo:forkJionDemoList){
sum += forkJionDemo.join();
}
}
return sum;
} public static void main(String[] args) {
//构造一个任务线程池
ForkJoinPool forkjoinPool = new ForkJoinPool();
//创建一个计算1到10000之间所有数的和的任务
ForkJionDemo forkJionDemo = new ForkJionDemo(1, 10000);
//将任务提交到任务线程池
Future<Integer> result = forkjoinPool.submit(forkJionDemo);
try {
//打印最后计算结果
System.out.println(result.get());
} catch (InterruptedException e) {
e.printStackTrace();
} catch (ExecutionException e) {
e.printStackTrace();
}
}
}


使用Fork/Jion框架需要注意的点

如果使用Fork/Jion框架计算的任务量特别庞大时很可能会出现以下2种情况:
fork的线程越来越多导致性能严重下降
函数调用层次越来越深导致栈溢出

本文所有源码参见:https://github.com/shiyujun/syj-study-demo

博客所有文章首发于公众号《Java学习录》转载请保留
扫码关注公众号即可领取2000GJava学习资源


Fork/Jion框架可以干什么

如果你要处理1万条数据,但是你的能力暂时还不够,一个简单快捷的办法就是你可以把每次只处理100条,等到处理100次之后再把所有的结果聚合起来你就处理完了这1万条数据。

Fork/Join就是是Java7提供的原生多线程并行处理框架,它的基本思想就是将大任务分割成小任务,最后将小任务聚合起来得到结果。


如何使用Fork/Jion框架

我们要使用ForkJoin框架,首先要创建一个ForkJoin任务。它提供在任务中执行fork()和join的操作机制。
fork用来创建子线程,可以让程序多一个执行分枝,jion在我们之前文章中已经提到了,那就是等待结果。
通常我们可以按需继承如下两个类来使用Fork/Jion框架:

  1. RecursiveAction,用于没有返回结果的任务

  2. RecursiveTask,用于有返回值的任务


代码示例

下方是一个使用Fork/Jion框架计算1到10000的所有数值的和的一个简单的代码示例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
public class ForkJionDemo extends RecursiveTask<Integer> {
//任务拆分阈值
public static final int threshold = 100;
//计算起始值
private int start;
//计算结束值
private int end; public ForkJionDemo(int start, int end) {
this.start = start;
this.end = end;
} @Override
protected Integer compute() {
int sum = 0;
//计算任务是否需要拆分
boolean canCompute = (end - start) <= threshold;
if (canCompute) {
//无需拆分则执行任务累计
for (int i = start; i <= end; i++) {
sum += i;
}
} else {
List<ForkJionDemo> forkJionDemoList=new ArrayList<>();
//将任务拆分成100份
for(int i=0;i<100;i++){
//计算这个一份任务要计算的起点和终点,如果终点大于最大值则使用最大值为终点
int last=(start+threshold)>end?end:(start+threshold);
ForkJionDemo forkJionDemo = new ForkJionDemo(start, last);
//下一份任务的起点要更新
start+=threshold+1;
forkJionDemoList.add(forkJionDemo);
//提交子任务
forkJionDemo.fork();
}
//汇总拆分完毕后的任务结果
for(ForkJionDemo forkJionDemo:forkJionDemoList){
sum += forkJionDemo.join();
}
}
return sum;
} public static void main(String[] args) {
//构造一个任务线程池
ForkJoinPool forkjoinPool = new ForkJoinPool();
//创建一个计算1到10000之间所有数的和的任务
ForkJionDemo forkJionDemo = new ForkJionDemo(1, 10000);
//将任务提交到任务线程池
Future<Integer> result = forkjoinPool.submit(forkJionDemo);
try {
//打印最后计算结果
System.out.println(result.get());
} catch (InterruptedException e) {
e.printStackTrace();
} catch (ExecutionException e) {
e.printStackTrace();
}
}
}


使用Fork/Jion框架需要注意的点

如果使用Fork/Jion框架计算的任务量特别庞大时很可能会出现以下2种情况:
fork的线程越来越多导致性能严重下降
函数调用层次越来越深导致栈溢出

本文所有源码参见:https://github.com/shiyujun/syj-study-demo


Fork/Jion框架详解的更多相关文章

  1. Fork/Join框架详解

    Fork/Join框架是Java 7提供的一个用于并行执行任务的框架,是一个把大任务分割成若干个小任务,最终汇总每个小任务结果后得到大任务结果的框架.Fork/Join框架要完成两件事情: 1.任务分 ...

  2. jQuery Validate验证框架详解

    转自:http://www.cnblogs.com/linjiqin/p/3431835.html jQuery校验官网地址:http://bassistance.de/jquery-plugins/ ...

  3. mina框架详解

     转:http://blog.csdn.net/w13770269691/article/details/8614584 mina框架详解 分类: web2013-02-26 17:13 12651人 ...

  4. lombok+slf4j+logback SLF4J和Logback日志框架详解

    maven 包依赖 <dependency> <groupId>org.projectlombok</groupId> <artifactId>lomb ...

  5. [Cocoa]深入浅出 Cocoa 之 Core Data(1)- 框架详解

    Core data 是 Cocoa 中处理数据,绑定数据的关键特性,其重要性不言而喻,但也比较复杂.Core Data 相关的类比较多,初学者往往不太容易弄懂.计划用三个教程来讲解这一部分: 框架详解 ...

  6. iOS 开发之照片框架详解(2)

    一. 概况 本文接着 iOS 开发之照片框架详解,侧重介绍在前文中简单介绍过的 PhotoKit 及其与 ALAssetLibrary 的差异,以及如何基于 PhotoKit 与 AlAssetLib ...

  7. Quartz.NET作业调度框架详解

    Quartz.NET作业调度框架详解 http://www.cnblogs.com/lmule/archive/2010/08/28/1811042.html

  8. mapreduce框架详解

    hadoop 学习笔记:mapreduce框架详解 开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感 ...

  9. iOS 开发之照片框架详解之二 —— PhotoKit 详解(下)

    本文链接:http://kayosite.com/ios-development-and-detail-of-photo-framework-part-three.html 这里接着前文<iOS ...

随机推荐

  1. Ractive 的 认识

    1 前言 Ractive.js是一款入门容易却功能强大的JS库,它的主旨是模板+数据=UI,数据的双向绑定,DOM节点的实时更新,事件处理等多个有用的功能.它吸取了AngularJS中的一些灵感,因此 ...

  2. nake_api_protect 请求保护器——防止请求被恶意刷

    github : https://github.com/xjnotxj/wechat_interaction_auth -- nake_api_protect 接口请求保护器,根据 频率 + 次数 的 ...

  3. thinter中button按钮控件(三)

    button控件 简单的实现: import tkinter wuya = tkinter.Tk() wuya.title("wuya") wuya.geometry(" ...

  4. 近期写js库中遇到的一个判别的问题

    最近在写一个自己的js库,正写到数组包,在里面定义了一个排序,只对纯数字数据进行排序的方法,但是在测试的时候发现一个很诡异的问题,那就是传入一个对象的时候,它没有返回erroemsg而是返回了对象,上 ...

  5. CSS简写总结

    CSS简写就是指将多行的CSS属性简写成一行,又称为CSS代码优化或CSS缩写.CSS 简写的最大好处就是能够显著减少CSS文件的大小,优化网站整体性能,更加容易阅读. 下面介绍常见的CSS简写规则: ...

  6. 玩转Spring MVC (一)---控制反转(依赖注入)

    Spring的核心是控制反转,什么是控制反转呢?小编浅述一下自己的拙见,有不当之处还希望大家指出. 控制反转(IOC),也可以叫做依赖注入(DI),这两个词其实是一个概念. 控制反转,那是什么控制被反 ...

  7. python3 os模块的常用功能及方法总结

    1.os.getcwd()     #显示当前工作路径 2.os.listdir('dirname')    #返回指定目录下的所有文件和目录名 3.os.remove('filename')     ...

  8. Visual Studio Code Tips

    新项目要用到Visual Studio Code, 在使用的过程中有些tips, 记录下来以便查阅. 1. 自动保存代码 文件 => 自动保存 2. 帮助输入代码模式 扩展 => 安装HT ...

  9. Reading Code Is Hard

    注: 以下内容引自: https://blogs.msdn.microsoft.com/ericlippert/2004/06/14/reading-code-is-hard/ Reading Cod ...

  10. 转载:python + requests实现的接口自动化框架详细教程

    转自https://my.oschina.net/u/3041656/blog/820023 摘要: python + requests实现的接口自动化框架详细教程 前段时间由于公司测试方向的转型,由 ...