你了解 JDK 8 Stream 数据流效率吗?千万级数据量性能如何?-程序员宅基地

技术标签: 程序员  java  网络  windows  

  • 当数据源中的数据上了流水线后,这个过程对数据进行的所有操作都称为“中间操作”;

  • 中间操作仍然会返回一个流对象,因此多个中间操作可以串连起来形成一个流水线;

  • stream 提供了多种类型的中间操作,如 filter、distinct、map、sorted 等等;

②终端操作
  • 当所有的中间操作完成后,若要将数据从流水线上拿下来,则需要执行终端操作;

  • stream 对于终端操作,可以直接提供一个中间操作的结果,或者将结果转换为特定的 collection、array、String 等;

stream 的特点

①只能遍历一次:

数据流的从一头获取数据源,在流水线上依次对元素进行操作,当元素通过流水线,便无法再对其进行操作,可以重新在数据源获取一个新的数据流进行操作;

②采用内部迭代的方式:

对Collection进行处理,一般会使用 Iterator 遍历器的遍历方式,这是一种外部迭代;

而对于处理Stream,只要申明处理方式,处理过程由流对象自行完成,这是一种内部迭代,对于大量数据的迭代处理中,内部迭代比外部迭代要更加高效;

stream 相对于 Collection 的优点

  • 无存储: 流并不存储值;流的元素源自数据源(可能是某个数据结构、生成函数或I/O通道等等),通过一系列计算步骤得到;

  • 函数式风格: 对流的操作会产生一个结果,但流的数据源不会被修改;

  • 惰性求值: 多数流操作(包括过滤、映射、排序以及去重)都可以以惰性方式实现。这使得我们可以用一遍遍历完成整个流水线操作,并可以用短路操作提供更高效的实现;

  • 无需上界: 不少问题都可以被表达为无限流(infinite stream):用户不停地读取流直到满意的结果出现为止(比如说,枚举 完美数 这个操作可以被表达为在所有整数上进行过滤);集合是有限的,但流可以表达为无线流;

  • 代码简练: 对于一些collection的迭代处理操作,使用 stream 编写可以十分简洁,如果使用传统的 collection 迭代操作,代码可能十分啰嗦,可读性也会比较糟糕;

stream 和 iterator 迭代的效率比较

先说结论:

  • 传统 iterator (for-loop) 比 stream(JDK8) 迭代性能要高,尤其在小数据量的情况下;

  • 在多核情景下,对于大数据量的处理,parallel stream 可以有比 iterator 更高的迭代处理效率;

我分别对一个随机数列 List (数量从 10 到 10000000)进行映射、过滤、排序、规约统计、字符串转化场景下,对使用 stream 和 iterator 实现的运行效率进行了统计,测试代码 基准。

测试环境如下:

System:Ubuntu 16.04 xenial

CPU:Intel Core i7-8550U

RAM:16GB

JDK version:1.8.0_151

JVM:HotSpot 64-Bit Server VM (build 25.151-b12, mixed mode)

JVM Settings:

-Xms1024m

-Xmx6144m

-XX:MaxMetaspaceSize=512m

-XX:ReservedCodeCacheSize=1024m

-XX:+UseConcMarkSweepGC

-XX:SoftRefLRUPolicyMSPerMB=100

1. 映射处理测试

把一个随机数列(List<Integer>)中的每一个元素自增1后,重新组装为一个新的 List<Integer>,测试的随机数列容量从 10 - 10000000,跑10次取平均时间;

//stream

List result = list.stream()

.mapToInt(x -> x)

.map(x -> ++x)

.boxed()

.collect(Collectors.toCollection(ArrayList::new));

//iterator

List result = new ArrayList<>();

for(Integer e : list){

result.add(++e);

}

//parallel stream

List result = list.parallelStream()

.mapToInt(x -> x)

.map(x -> ++x)

.boxed()

.collect(Collectors.toCollection(ArrayList::new));

2. 过滤处理测试

取出一个随机数列(List<Integer>)中的大于 200 的元素,并组装为一个新的 List<Integer>,测试的随机数列容量从 10 - 10000000,跑10次取平均时间;

//stream

List result = list.stream()

.mapToInt(x -> x)

.filter(x -> x > 200)

.boxed()

.collect(Collectors.toCollection(ArrayList::new));

//iterator

List result = new ArrayList<>(list.size());

for(Integer e : list){

if(e > 200){

result.add(e);

}

}

//parallel stream

List result = list.parallelStream()

.mapToInt(x -> x)

.filter(x -> x > 200)

.boxed()

.collect(Collectors.toCollection(ArrayList::new));

3. 自然排序测试

对一个随机数列(List<Integer>)进行自然排序,并组装为一个新的 List<Integer>,iterator 使用的是 Collections # sort API(使用归并排序算法实现),测试的随机数列容量从 10 - 10000000,跑10次取平均时间;

//stream

List result = list.stream()

.mapToInt(x->x)

.sorted()

.boxed()

.collect(Collectors.toCollection(ArrayList::new));

//iterator

List result = new ArrayList<>(list);

Collections.sort(result);

//parallel stream

List result = list.parallelStream()

.mapToInt(x->x)

.sorted()

.boxed()

.collect(Collectors.toCollection(ArrayList::new));

4. 归约统计测试

获取一个随机数列(List<Integer>)的最大值,测试的随机数列容量从 10 - 10000000,跑10次取平均时间;

//stream

int max = list.stream()

.mapToInt(x -> x)

.max()

.getAsInt();

//iterator

int max = -1;

for(Integer e : list){

if(e > max){

max = e;

}

}

//parallel stream

int max = list.parallelStream()

.mapToInt(x -> x)

.max()

.getAsInt();

5. 字符串拼接测试

获取一个随机数列(List<Integer>)各个元素使用“,”分隔的字符串,测试的随机数列容量从 10 - 10000000,跑10次取平均时间;

//stream

String result = list.stream().map(String::valueOf).collect(Collectors.joining(“,”));

//iterator

StringBuilder builder = new StringBuilder();

for(Integer e : list){

builder.append(e).append(“,”);

}

String result = builder.length() == 0 ? “” : builder.substring(0,builder.length() - 1);

//parallel stream

String result = list.stream().map(String::valueOf).collect(Collectors.joining(“,”));

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

如果你觉得这些内容对你有帮助,可以扫码获取!!(备注Java获取)

img
线程、数据库、算法、JVM、分布式、微服务、框架、Spring相关知识

一线互联网P7面试集锦+各种大厂面试集锦

学习笔记以及面试真题解析

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!
ty.csdnimg.cn/images/e5c14a7895254671a72faed303032d36.jpg" alt=“img” style=“zoom: 33%;” />

线程、数据库、算法、JVM、分布式、微服务、框架、Spring相关知识

[外链图片转存中…(img-wylb4lre-1713519546887)]

一线互联网P7面试集锦+各种大厂面试集锦

[外链图片转存中…(img-5yRFDTxa-1713519546888)]

学习笔记以及面试真题解析

[外链图片转存中…(img-5LWziUIC-1713519546888)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/2401_83916241/article/details/137972802

智能推荐

【Phone ECC】紧急号码的管理及客制化方法_sim卡 ecclist-程序员宅基地

文章浏览阅读614次。[Android Version]Android 5.0/5.1 (L)Android 6.0 (M)Android 7.0(N)Android 8.0(O)[DESCRIPTION]L及之后的版本紧急号码Customer的部分改成了在XML文件中来配置,文件的路径: alps\vendor\mediatek\proprietary\external\EccL..._sim卡 ecclist

BCrypt 加密实现_写一个bcrypt-程序员宅基地

文章浏览阅读1.1k次。Bcrypt百度百科:1、 bcrypt,是一个跨平台的文件加密工具。由它加密的文件可在所有支持的操作系统和处理器上进行转移。它的口令必须是8至56个字符,并将在内部被转化为448位的密钥。2、bcrypt算法相对来说是运算比较慢的算法,在密码学界有句常话:越慢的算法越安全。算法越算,黑客破解成本越高.通过salt和const这两个值来减缓加密过程,ta的加密时间(百ms级)远远超过md5(大概1..._写一个bcrypt

LaTeX中的中英文字体设置、混排_latex英文字体-程序员宅基地

文章浏览阅读2.4w次,点赞14次,收藏87次。LaTeX中英文字体设置、混排,ctex宏包引用_latex英文字体

uni-app 消息推送功能UniPush_uniapp消息推送功能-程序员宅基地

文章浏览阅读5.7k次,点赞2次,收藏20次。这里用的是uni-app自带的UniPush1.0(个推服务),所以只针对UniPush1.0介绍实现步骤。当然现在已经出了UniPush2.0(HBuilderX 3.5.1及其以上版本支持),新项目的话还是推荐使用UniPush2.0。如果要使用UniPush2.0,请移步 UniPush 2.0 使用指南。_uniapp消息推送功能

sort与sorted的区别_sort和sorted函数的区别-程序员宅基地

文章浏览阅读1.3w次,点赞41次,收藏217次。一、sort()sort() 函数用于对原列表进行排序,如果指定参数,则使用比较函数指定的比较函数原型:sort(key,reverse=False)key:用来指定一个函数,此函数在每次元素比较时被调用,此函数代表排序的规则,也就是你按照什么规则对你的序列进行排序;reverse:是用来表明是否逆序,默认的False情况下是按照升序的规则进行排序的,当reverse=True时,便会按照降序进行排序。例如:1、list=[2,24,8,6,35,7,22,30]list.sort()pri_sort和sorted函数的区别

Mutual Supervision for Dense Object Detection(ICCV2021)阅读笔记-程序员宅基地

文章浏览阅读299次。同上一篇一样,这边摸鱼笔记也是关于分类和回归分支的权重设计。Mutual Supervision for Dense Object Detection(ICCV2021)阅读笔记_mutual supervision for dense object detection

随便推点

小程序云开发 上传图片到云存储_微信小程序上传图片到云存储-程序员宅基地

文章浏览阅读9.4k次,点赞20次,收藏102次。在学习了小程序云开发后,遇到了开发中常见的图片上传,今天简单的记录总结下在云开发中如何实现图片上传到云存储中。_微信小程序上传图片到云存储

ftp服务器上传文件频率,ftp服务器上传文件速度多少-程序员宅基地

文章浏览阅读1k次。ftp服务器上传文件速度多少 内容精选换一换华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。使用FTP上传文件时,写入失败,文件传输失败。该文档适用于Windows系统上的FTP服务。FTP服务端在NAT环境下,客户端需使用被动模式连接服务端。在这种情况下,服务端的IP地址无法从路由器外部访问,所以..._c# ftp上传速度默认多少

简单理解磁盘结构-程序员宅基地

文章浏览阅读3.6w次,点赞126次,收藏373次。    偶然看到一道笔试题,所以简单整理了一下磁盘的结构。本文主要介绍传统的磁盘结构,包括盘面、磁道、扇区、柱面、读写数据过程的概念,最后给出所遇到的笔试题。磁盘结构    传统的硬盘盘结构是像下图样子的,它有一个或多个盘片,用于存储数据,盘片多采用铝合金材料;中间有一个主轴,所有的盘片都绕着这个主轴转动,一个组合臂上面有多个磁头臂,每个磁头臂上面都有一个磁头,负责读写数据。..._磁盘结构

python数组(list) 求交集、并集、差集_python计算四个数组的交集代码-程序员宅基地

文章浏览阅读1.4w次,点赞7次,收藏16次。两个集合: a = [1,2,3,4,5,6] b = [3,5,7]1.求交集 方式一: intersection = [i for i in a if i in b] intersection = list(set(a).intersection(set(b))) 结果: [3, 5]2.求并集 union= list(set(a).u..._python计算四个数组的交集代码

其他手机可以安装鸿蒙吗,国内其它的手机厂家不想安装鸿蒙吗?-程序员宅基地

文章浏览阅读1.1k次。谷歌在 I/O 2021开幕式的主题演讲中发布了 Android 12系统;目前 Android 12系统可用于谷歌的 Pixel 手机(Pixel3及以上),以及联想、一加、华硕、OPPO、realme、夏普、Tecno、vivo、TCL、小米和中兴等手机,国内的众多手机厂家即将上线,但是还没有荣耀的消息,华为肯定不要考虑,必然是鸿蒙系统。发布的Android 12第一个Beta版本,可以看到用..._微软手机安装鸿蒙

Java架构师Day24-并发编程之锁-程序员宅基地

文章浏览阅读265次。并发编程之锁ReentrantLockReentrantReadWriteLockConditionReentrantLockReentrantReadWriteLockCondition

推荐文章

热门文章

相关标签