Java ParallelStream
ParallelStream 处理数据
Stream 接口提供了parallelStream方法来将集合转换为并行流。即将一个集合分为多个数据块,并用不同的线程分别处理每个数据块的流。
并且使用parallelStream 时无需担心内部变量控制,线程数量等问题。
如使用并行流计算1至100000累加之和:
- 最后一次parallel或sequential调用会影响整个流水线,即如下例子中会并行执行。
- parallelStream使用得默认核心数为Runtime.getRuntime().availableProcessors() - 1。
可通过配置java.util.concurrent.ForkJoinPool.common.parallelism改变默认的核心数。
Stream.iterate(1L, param1 -> Math.addExact(param1, 1))
.limit(100000)
.parallel()
.sequential()
.parallel()
.reduce(0L, Math::addExact)
.longValue();
parallelStream 性能分析
通常我们认为在数据量到达一定程度时,使用多线程计算会获得更好的性能。但实际效果应该在测量比较之后才直到。
使用并行流和顺序流别计算1至100000 的累加之和,在我的四核英特尔机器上运行结果如下:
long start = System.currentTimeMillis();
Stream.iterate(1L, param1 -> Math.addExact(param1, 1))
.limit(100000)
.parallel()
.reduce(0L, Math::addExact)
.longValue();
System.out.println(String.format("Parallel accumulate sum, used %d ms.", System.currentTimeMillis() - start));
start = System.currentTimeMillis();
LongStream.rangeClosed(1, 100000)
.reduce(0L, Math::addExact);
System.out.println(String.format("Sequential accumulate sum, used %d ms.", System.currentTimeMillis() - start));
Parallel accumulate sum, used 64 ms.
Sequential accumulate sum, used 8 ms.
通过以上结果可以看到,并行流计算的耗时竟然是顺序流的好几倍,这与我们的预期结果差距十分的大。
要想明白这差距的原因,首先得明白影响上面并行流的速度的因素有那些:
- 元素是否容易拆分为多个数据块, 很明显Iterate 很难拆分为多个独立数据块,因为每次应用这个函数都要依赖于前一个元素。
- 元素是否频繁拆装箱, 流中Long -> long 频繁拆装箱也影响了效率。而LongStream 中并没有这个消耗。
修复上面两个影响并行流的速度的问题后,重新运行结果如下:
long start = System.currentTimeMillis();
LongStream.rangeClosed(1, 100000)
.parallel()
.reduce(0L, Math::addExact);
System.out.println(String.format("Parallel accumulate sum, used %d ms.", System.currentTimeMillis() - start));
start = System.currentTimeMillis();
LongStream.rangeClosed(1, 100000)
.reduce(0L, Math::addExact);
System.out.println(String.format("Sequential accumulate sum, used %d ms.", System.currentTimeMillis() - start));
Parallel accumulate sum, used 7 ms.
Sequential accumulate sum, used 3 ms.
并行流的速度得到了很大提升,这表明并行化时需要使用正确的数据结构。
但是顺序流的速度却仍然更快,这说明并行化也是有代价的,如下:
- 内核之间交换数据的花销较大。
- 要保证在内核中的处理时间大于内核间的数据交换时间,即数据到达一定的量级。
而并行过程需要对流要递归划分,再把每个子流的归纳操作分配到不同的线程,最后把这些操作的结果合并成一个值。
在子流归纳操作时间过短时,并行化并没有带来性能提升,反而是更加慢了。
再将数据提升至上亿级别进行运算,并行流终于取得了一些领先。
long start = System.currentTimeMillis();
LongStream.rangeClosed(1, 100000000)
.parallel()
.reduce(0L, Math::addExact);
System.out.println(String.format("Parallel accumulate sum, used %d ms.", System.currentTimeMillis() - start));
start = System.currentTimeMillis();
LongStream.rangeClosed(1, 100000000)
.reduce(0L, Math::addExact);
System.out.println(String.format("Sequential accumulate sum, used %d ms.", System.currentTimeMillis() - start));
Parallel accumulate sum, used 79 ms.
Sequential accumulate sum, used 264 ms.
高效使用ParallelStream
关于在什么地方使用parallelStream 没有绝对的建议,而是只能做定性分析。下列是一些可能影响性能的地方:
- 测量比较,并行流并不都比顺序流快。
- 避免拆装箱,这对性能有较大影响。可使用原始类型IntStream, LongStream等。
- 依赖元素顺序的操作,并行性能较差。如findAny()性能会优于findFirst(),因为它不依赖于顺序。
- 数据量大小,估算一个元素通过流水线的大概处理时间,得到处理完整个集合的处理时间。
- 流是否易于拆分,如ArrayList 比LinkedList 更易于拆分,前者无需遍历,后者需要遍历之后才能拆分。
- 终端操作时,合并操作的代价大小(例如Collector中的combiner方法)。
Fork/Join
ParallelStream流背后使用的基础架构是Java 7中引入的Fork/Join分支合并框架。
分支/合并框架的目的是以递归方式将可以并行的任务拆分成更小的任务,然后将每个子任务的结果合并起来生成整体结果。
这其实就是分治算法的并行版本。
Java ParallelStream的更多相关文章
- 深入浅出parallelStream
援引:http://blog.csdn.net/u011001723/article/details/52794455 感谢作者的分享!感谢作者为JDK8的学习所做的努力. about Stream ...
- Spark案例分析
一.需求:计算网页访问量前三名 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} /* ...
- 【Java】关于Java8 parallelStream并发安全的思考
背景 Java8的stream接口极大地减少了for循环写法的复杂性,stream提供了map/reduce/collect等一系列聚合接口,还支持并发操作:parallelStream. 在爬虫开发 ...
- java并行之parallelStream与CompletableFuture比较
1. import java.util.Arrays; import java.util.List; import java.util.concurrent.CompletableFuture; im ...
- Java 8里 Stream和parallelStream的区别
Java中Stream和parallelStream,前者是单管,后者是多管,运行时间上做一个小对比,直接上代码: /** * * @author zhangy6 * <p>对比Strea ...
- Java Arrays.asList(0,1,2,3,4,5,6,7,8,9).parallelStream().forEach 进行循环获取HttpServletRequest的为Null的解决方案
Arrays.asList(0,1,2,3,4,5,6,7,8,9).parallelStream().forEach() parallelStream是并行执行流的每个元素,也就是多线程执行,这样就 ...
- JAVA使用并行流(ParallelStream)时要注意的一些问题
https://blog.csdn.net/xuxiaoyinliu/article/details/73040808
- Java 8函数编程轻松入门(五)并行化(parallel)
1.并发与并行的区别 并发: 一个时间段内有几个程序都处于已启动到运行完毕之间,且这几个程序都是在同一个处理机上运行.但在任一个时刻点只有一个程序在处理机上运行 并行: 在同一个时刻,多核处理多个任务 ...
- Java 8 指南
Benjamin Winterberg “Java is still not dead—and people are starting to figure that out.” 欢迎阅读我对 Java ...
随机推荐
- 9、解决mstsc卡顿的问题:
1.同时按住"win+r"键调出"运行",在方框内输入"cmd"后点击"确定"打开dos窗口: 2.在dos中输入&qu ...
- 7、Oracle通过客户端(sqlplus)登录认证用户的方式
select version from v$instance; #查看当前数据库的版本 192.168.31.5:1521/orcl 7.1.操作系统认证: 1.Oracle认为操作系统用户是可靠的, ...
- Docker:Centos7更新yum源下载docker
前言: Docker 要求 CentOS 系统(6.5及以上)的内核版本高于 3.10 ,查看本页面的前提条件来验证你的CentOS 版本是否支持 Docker . 通过 uname -r 命令查看你 ...
- MySQL 查看命令执行时间
查看执行时间 1 show profiles; 2 show variables like "%pro%";查看profiling 是否是on状态: 3 如果是off,则执行se ...
- buu signin
一.拖入ida,来静态分析F5大法好 要注意的点: 1._gmz_init_set_str() 这个函数,也是看师傅的wp,学到的,以后还是得多google, 本质上是这个函数: int mpz_in ...
- 『心善渊』Selenium3.0基础 — 23、Selenium元素等待
目录 1.什么是元素等待 2.为什么要设置元素等待 3.Selenium中常用的等待方式 4.强制等待 5.隐式等待 (1)隐式等待介绍 (2)示例 6.显式等待 (1)显式等待介绍 (2)语法 (3 ...
- 26. Remove Duplicates from Sorted Array*(快慢指针)
description: Given a sorted array nums, remove the duplicates in-place such that each element appear ...
- iOS基于AVFoundation实现朗读文字
iOS基于AVFoundation实现朗读文字 1.心理建设 众所周知AVFoundation的朗读是个智障语气,所以想不花钱就只能忍着. 2.speechManager @import AVFoun ...
- Linux groupadd and groupmod
groupadd [选项] group 三个参数: -g,--gid 指定组gid,除非使用-o,否则gid必须时唯一的 -o,--non-unique 允许创建有重复gid的组 -r, --syst ...
- 不用SCRAPY也可以应用selector
在PY文件中: from scrapy.selector import Selectorfrom scrapy.http import HtmlResponse url="https://m ...