如果你想写自己的Benchmark框架_自己做一个benchmark-程序员宅基地

技术标签: java  编程语言  # java新特性  框架  benchmark  

简介

使用过JMH的同学一定会惊叹它的神奇。JMH作为一个优秀的Benchmark框架带给了我们无数的欢乐。作为一个有极客精神的程序员,那么有没有想过去自己实现一个Benchmark框架呢?

在实现Benchmark框架的时候有需要注意些什么问题呢?快来一起看看吧。

八条军规

这里叫军规实际上不合适,只是借用一下军规的来彰显一下气势!大家不要太介意。

第一条军规

工欲善其事,必先利其器。想写好一个JMH当然需要深入了解JVM的运行原理,包括JIT,C1,C2编译器和他们的分层编译原理,JIT运行时的编译优化,包括Loop unrolling, Inlining, Dead Code Elimination,
Escape analysis, Intrinsics, Branch prediction等等。

当然,最好是参考一下大牛们写过的JMH框架,找点灵感。

最后大家要了解,Benchmark框架不是万能的。它只是在特定的环境中JVM的表现。

因为在Benchmark中我们肯定是要做循环的,一般来说就是某某方法运行多少次,这种比较简单的循环。实际上,JVM运行的代码是非常复杂的。Benchmark远远不能代表JVM的全部。

但是,见微知著,使用Benchmark还是可以一窥JVM的秘密的。

第二条军规

在JMH中,我们一般需要设置warmup和measurement的次数:

@Warmup(iterations = 10, time = 1, timeUnit = TimeUnit.SECONDS)
@Measurement(iterations = 5, time = 1, timeUnit = TimeUnit.SECONDS)

这是为什么呢?我们知道JIT中的代码是动态编译成为机器码的,并且是需要一定的时间的。

只有JIT检测到你这是热点代码,才会对其进行优化。

我们检测代码的性能,一般是指代码在稳定运行的环境中的情形。而不是指第一次或者前几次运行的时候,因为这个时候,这些代码可能并没有被编译成机器码。这样的出来的结果往往是和实际不相符的。

第三条军规

在编写Benchmark的同时,一定要开启JVM的日志。例如: -XX:+PrintCompilation, -verbose:gc等。

为什么呢?

大家想想benchmark是做什么的呢?就是统计时间的。

我们希望在运行benchmark的时候,JVM不要做任何不属于运行代码的任何事情,否则就可能会影响到benchmark的准确性。

所以开启JVM的日志就是为了做校验。不要在做benchmark的时候有其他操作。

第四条军规

注意JIT的分层编译。

因为Client VM和Server VM的出现,所以在JIT中出现了两种不同的编译器,C1 for Client VM, C2 for Server VM。

因为javac的编译只能做少量的优化,其实大量的动态优化是在JIT中做的。C2相对于C1,其优化的程度更深,更加激进。

为了更好的提升编译效率,JVM在JDK7中引入了分层编译Tiered compilation的概念。

对于JIT本身来说,动态编译是需要占用用户内存空间的,有可能会造成较高的延迟。

对于Server服务器来说,因为代码要服务很多个client,所以磨刀不误砍柴工,短暂的延迟带来永久的收益,听起来是可以接受的。

Server端的JIT编译也不是立马进行的,它可能需要收集到足够多的信息之后,才进行编译。

而对于Client来说,延迟带来的性能影响就需要进行考虑了。和Server相比,它只进行了简单的机器码的编译。

为了满足不同层次的编译需求,于是引入了分层编译的概念。

大概来说分层编译可以分为三层:

  1. 第一层就是禁用C1和C2编译器,这个时候没有JIT进行。
  2. 第二层就是只开启C1编译器,因为C1编译器只会进行一些简单的JIT优化,所以这个可以应对常规情况。
  3. 第三层就是同时开启C1和C2编译器。

在JDK7中,你可以使用下面的命令来开启分层编译:

-XX:+TieredCompilation

而在JDK8之后,恭喜你,分层编译已经是默认的选项了,不用再手动开启。

Client编译和Server编译,甚至是OSR都是不同的。大家在写Benchmark的时候一定要注意。

第五条军规

注意初始化对性能的影响。

如果需要加载类,一定要在warmup的阶段进行加载,除非你是想去测试加载的时间。否则会对测试结果有影响。

同时也不要计算第一次print的时间,因为print也会加载和初始化一些类。

第六条军规

要注意反优化和重编译的影响。

JIT在下面的几个特殊的情况下,需要对代码进行返优化:

有些特殊的情况下面,确实是需要进行反优化的。

下面是比较常见的情况:

  1. 需要调试的情况

如果代码正在进行单个步骤的调试,那么之前被编译成为机器码的代码需要反优化回来,从而能够调试。

  1. 代码废弃的情况

当一个被编译过的方法,因为种种原因不可用了,这个时候就需要将其反优化。

  1. 优化之前编译的代码

有可能出现之前优化过的代码可能不够完美,需要重新优化的情况,这种情况下同样也需要进行反优化。

重编译是指JIT可能会重新优化代码,导致重新编译。

所以这条规则要求我们warmup的时间要尽可能的长。以便让JIT充分优化。

第七条军规

在使用benchMark得出结论之前,一定要去认真的理解JVM的底层代码(Assembly code),找到其现象的本质。

千万不要冲动的下结论。最好是使用可视化的工具来分析。比如说jitwatch。

最后一条军规

在测试的时候一定要避免其他程序的影响 。

比如说两次测试,第一次测试是单机运行,第二次测试是在有其他服务正在运行的情况下进行的。

很显然这两次的结果是不能做比较的。我们需要多运行,剔除噪音结果。

总结

掌握上面几条规则,相信大家也能够写出属于自己的Benchmarks。

本文链接:http://www.flydean.com/how-to-write-benchmarks/

最通俗的解读,最深刻的干货,最简洁的教程,众多你不知道的小技巧等你来发现!

欢迎关注我的公众号:「程序那些事」,懂技术,更懂你!

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/superfjj/article/details/107281517

智能推荐

【交通标志识别】基于SIFT特征实现交通标志识别matlab源码含GUI-程序员宅基地

文章浏览阅读323次。一、简介SIFT即尺度不变特征变换,是用于图像处理领域的一种描述。这种描述具有尺度不变性,可在图像中检测出关键点,是一种局部特征描述子。\1 SIFT算法特点:\(1)具有较好的稳定性和不变性,能够适应旋转、尺度缩放、亮度的变化,能在一定程度上不受视角变化、仿射变换、噪声的干扰。\(2)区分性好,能够在海量特征数据库中进行快速准确的区分信息进行匹配\(3)多量性,就算只有单个物体,也能..._交通要素识别算法

Educational Codeforces Round 111 (Rated for Div. 2)-程序员宅基地

文章浏览阅读124次。Problem - A - CodeforcesCodeforces. Programming competitions and contests, programming communityhttps://codeforces.com/contest/1550/problem/A签到:B. Maximum Cost Deletion题意:给你一个01字符串,我们每次可以删除相连的且内部每个字符都相等的子串.每次删除的长度为l,那么对于答案的贡献就是a*l+b,a和b都是需要进行输入的.问最大贡献_educational codeforces round 111 (rated for div. 2)

css取第一个孩子,CSS:第n个孩子():后(css :nth-child() :after)-程序员宅基地

文章浏览阅读2.3k次。你可以,但你做错了..问题是,您的所有p元素都在里面li 。 因此,所有的人都是他们的第一个孩子li容器。你需要把nth-child的li元素。#id li:nth-child(1) p:after,#id li:nth-child(2) p:after,#id li:nth-child(3) p:after {content: 'OM';color: pink;}#id li:nth-chil..._css nth-child after

Tesseract OCR文字识别_ocr识别 trea-程序员宅基地

文章浏览阅读660次。Tesseract的OCR引擎最先由HP实验室于1985年开始研发,至1995年时已经成为OCR业内最准确的三款识别引擎之一。2005年,Tesseract由美国内华达州信息技术研究所获得,并求诸于Google对Tesseract进行改进、消除Bug、优化工作。环境:1.VScode安装都会的2.安装pytesseractpip install pytesseract3. 安装 tesseract orchttps://github.com/UB-Mannheim/tesseract/wik_ocr识别 trea

木马的攻击与防御(MSF)_msf攻击-程序员宅基地

文章浏览阅读6k次,点赞14次,收藏85次。MSF简介Metasploit是一个免费的、可下载的框架, 通过它可以很容易地 获取、开发并对计算机软件漏洞实施攻击。它本身 附带数百个 已知软件漏洞的专业级漏洞攻击工具。它集成了以下4个模块:exploits模块漏洞攻击模块列表,入侵式命名规则模块/系统/服务/名称payloads模块漏洞负载模块与exploits模块配合使用的用于入侵后的操作auxiliary模块辅助模块,通常用于没有攻击荷载的漏洞攻击。encoders模块编码器模块,用于msfvenom -e or_msf攻击

最全的PHP正则表达式_php 纯数字 正则表达式-程序员宅基地

文章浏览阅读3.7k次,点赞2次,收藏35次。一、校验数字的表达式 1 数字:^[0-9]*$2 n位的数字:^\d{n}$3 至少n位的数字:^\d{n,}$4 m-n位的数字:^\d{m,n}$5 零和非零开头的数字:^(0|[1-9][0-9]*)$6 非零开头的最多带两位小数的数字:^([1-9][0-9]*)+(.[0-9]{1,2})?$7 带1-2位小数的正数或负数:^_php 纯数字 正则表达式

随便推点

HTML5常用标签及属性_html5标签属性大全-程序员宅基地

文章浏览阅读3k次,点赞4次,收藏31次。HTML常用标记一、文本标记1.标题标记2.字体标记一、文本标记1.标题标记标题标记的语法格式:<hn align="对齐方式">标题文本</hn><!--HTML中提供了6级标题,为<h1>至<h6>,其中<h1>最大,<h6>最小n代表1,2,3,4,5,6align属性有三种,分别是:left(左对齐),center(居中),right(右对齐)-->例子:<body> <_html5标签属性大全

查找薪水涨幅超过15次的员工号emp_no以及其对应的涨_查找薪水涨幅超过10次的员工-程序员宅基地

文章浏览阅读163次。题目描述查找薪水涨幅超过15次的员工号emp_no以及其对应的涨幅次数tCREATE TABLE `salaries` (`emp_no` int(11) NOT NULL,`salary` int(11) NOT NULL,`from_date` date NOT NULL,`to_date` date NOT NULL,PRIMARY KEY (`emp_no`,`from_date`));s..._查找薪水涨幅超过10次的员工

java程序入门基本_int=2,int h=3-程序员宅基地

文章浏览阅读548次。1、基本操作import java.math.BigDecimal;import java.math.BigInteger;public class hello { public static voidmain(String[] args){ System.out.print("hello"); //输出 byteb=127; _int=2,int h=3

简单的css栅格化框架,Bootstrap3的栅格化布局样式-程序员宅基地

文章浏览阅读602次。*{-webkit-box-sizing:border-box;-moz-box-sizing:border-box;box-sizing:border-box;}.row:before,.row:after {display: table;content: " ";}.row:after {clear: both;}.col-xs-1,.col-xs-2,.col-xs-3,.col-xs-4,..._col-sm-12

python GIL理解_[gil]来自qq什么意思-程序员宅基地

文章浏览阅读93次。 最近在看Python的多线程,经常我们会听到老手说:“python下多线程是鸡肋,推荐使用多进程!”,但是为什么这么说呢? 要知其然,更要知其所以然。所以有了下面的深入研究:首先强调背景:1、GIL是什么..._[gil]来自qq什么意思

推荐文章

热门文章

相关标签