[Spring Boot] JMH - Benchmark Test 사용하여 성능 측정하기

🔵 JMH(Java MicroBenchmark Harness) 란?

• Open JDK에서 개발한 성능 측정 툴
• 특정 메소드의 성능을 측정하는 방식으로 사용

 

🔵  JMH 는 언제 사용할 수 있을까?

성능 튜닝을 할 때, 메소드의 성능을 측정하여 간단한 테스트를 진행할 수 있다.

여러가지 조건 및 부하를 주고 테스트를 할 수 있지만, JMH를 통해서는 메소드의 성능 튜닝을 로컬에서 간단하게 실행해보고 진행해볼 수 있다는 점이 좋다.

 

 

🔵  JMH 사용하여 메소드의 성능 측정하기

1) pom.xml 에 jmh-core 와 jmh-generator-annprocess 라이브러리를 추가

pom.xml

    <!-- jmh -->
    <dependency>
      <groupId>org.openjdk.jmh</groupId>
      <artifactId>jmh-core</artifactId>
      <version>1.26</version>
    </dependency>
    <dependency>
      <groupId>org.openjdk.jmh</groupId>
      <artifactId>jmh-generator-annprocess</artifactId>
      <version>1.26</version>
    </dependency>

 

2) Benchmark 용 클래스 생성

BenchmarkTest class 를 생성해주고, 실제로 성능 테스트하고 싶은 대상의 코드를 작성해준다.

public class BenchmarkTest {

    @Benchmark
    public void benchmark(BenchmarkState state, Blackhole bh) {
    	// 실제 성능 테스트하고 싶은 코드 작성
        List<Integer> list = state.list;
        for (int i = 0; i < 1000; i++)
            bh.consume (list.get (i));
    }

 

3) 테스트를 돌릴 jmh 속성들을 셋팅

속성은 properties로 빼서 사용할 수 있으나, 코드 상에서 설정할 수 있도록 했다.

속성들에 대한 코멘트는 아래에서 확인해주시길 바랍니다.

public class BenchmarkTest {

	@Test
    public void launchBenchmark() throws Exception {
        Options opt = new OptionsBuilder()
            .include(this.getClass().getName() + ".*")
            .mode(Mode.AverageTime)
            .timeUnit(TimeUnit.MICROSECONDS) // 성능 결과의 시간 단위 
            .warmupTime(TimeValue.seconds(1))
            .warmupIterations(2) // 사전 테스트 횟수
            .measurementTime(TimeValue.seconds(1)) // 테스트 당 측정 시간
            .measurementIterations(2) // 테스트 반복횟수
            .threads(2) // 쓰레드
            .forks(1)
            .shouldFailOnError(true)
            .shouldDoGC(true)
            .build();

        new Runner(opt).run();
    }

    @Benchmark
    public void benchmark(BenchmarkState state, Blackhole bh) {
    	// 실제 성능 테스트하고 싶은 코드 작성
        List<Integer> list = state.list;
        for (int i = 0; i < 1000; i++)
            bh.consume (list.get (i));
    }

 

4) @State를 사용하여 테스트 상태를 지정 및  @Setup 을 통해 사전 작업을 진행

(1) Scope.Thread 

      쓰레드별로 인스턴스 생성

(2) Scope.Benchmark

      동일한 테스트 내의 모든 쓰레드에서 동일한 인스턴스를 공유한다. (멀티스레딩 성능 테스트에 사용)

(3) Scope.Group 

       쓰레드 그룹마다 인스턴스 생성

@State(Scope.Thread)
public static class BenchmarkState {
	List<Integer> list;
    
    @Setup(Level.Trial)
    public void init() {
    	Random rand = new Random();
        
        list = new ArrayList<>();
        for (int i = 0; i < 1000; i++) {
        	list.add (rand.nextInt());
		}
	}
}

 

실행 결과

# Run progress: 0.00% complete, ETA 00:00:04
# Fork: 1 of 1
# Warmup Iteration   1: 2.744 us/op
# Warmup Iteration   2: 2.688 us/op
Iteration   1: 2.466 us/op
Iteration   2: 2.453 us/op

 

---

 

🔵 Trouble Shooting 

에러 

java.lang.RuntimeException: ERROR: Unable to find the resource: /META-INF/BenchmarkList

해결 방법 : pom.xml 수정

아래 문서 참고하여 해결 
https://howtodoinjava.com/java/exception-handling/jmh-error-unable-to-find-the-resource-meta-inf-benchmarklist/

  // 1. properties 안에 jmh.version 추가
  <properties>
   ...(중략)
    <jmh.version>1.26</jmh.version>
  </properties>



// 2. path 추가 > jmh
<plugin>
 ...(중략)
        <configuration>
          <annotationProcessorPaths>
            <path>
              <groupId>org.openjdk.jmh</groupId>
              <artifactId>jmh-generator-annprocess</artifactId>
              <version>${jmh.version}</version>
            </path>
          </annotationProcessorPaths>
        </configuration>
</plugin>

 

 

 

🟣 jmh의 속성

jmh {
   includes = ['some regular expression'] // include pattern (regular expression) for benchmarks to be executed
   excludes = ['some regular expression'] // exclude pattern (regular expression) for benchmarks to be executed
   iterations = 10 // Number of measurement iterations to do.
   benchmarkMode = ['thrpt','ss'] // Benchmark mode. Available modes are: [Throughput/thrpt, AverageTime/avgt, SampleTime/sample, SingleShotTime/ss, All/all]
   batchSize = 1 // Batch size: number of benchmark method calls per operation. (some benchmark modes can ignore this setting)
   fork = 2 // How many times to forks a single benchmark. Use 0 to disable forking altogether
   failOnError = false // Should JMH fail immediately if any benchmark had experienced the unrecoverable error?
   forceGC = false // Should JMH force GC between iterations?
   jvm = 'myjvm' // Custom JVM to use when forking.
   jvmArgs = ['Custom JVM args to use when forking.']
   jvmArgsAppend = ['Custom JVM args to use when forking (append these)']
   jvmArgsPrepend =[ 'Custom JVM args to use when forking (prepend these)']
   humanOutputFile = project.file("${project.buildDir}/results/jmh/human.txt") // human-readable output file
   resultsFile = project.file("${project.buildDir}/results/jmh/results.txt") // results file
   operationsPerInvocation = 10 // Operations per invocation.
   benchmarkParameters =  [:] // Benchmark parameters.
   profilers = [] // Use profilers to collect additional data. Supported profilers: [cl, comp, gc, stack, perf, perfnorm, perfasm, xperf, xperfasm, hs_cl, hs_comp, hs_gc, hs_rt, hs_thr, async]
   timeOnIteration = '1s' // Time to spend at each measurement iteration.
   resultFormat = 'CSV' // Result format type (one of CSV, JSON, NONE, SCSV, TEXT)
   synchronizeIterations = false // Synchronize iterations?
   threads = 4 // Number of worker threads to run with.
   threadGroups = [2,3,4] //Override thread group distribution for asymmetric benchmarks.
   timeout = '1s' // Timeout for benchmark iteration.
   timeUnit = 'ms' // Output time unit. Available time units are: [m, s, ms, us, ns].
   verbosity = 'NORMAL' // Verbosity mode. Available modes are: [SILENT, NORMAL, EXTRA]
   warmup = '1s' // Time to spend at each warmup iteration.
   warmupBatchSize = 10 // Warmup batch size: number of benchmark method calls per operation.
   warmupForks = 0 // How many warmup forks to make for a single benchmark. 0 to disable warmup forks.
   warmupIterations = 1 // Number of warmup iterations to do.
   warmupMode = 'INDI' // Warmup mode for warming up selected benchmarks. Warmup modes are: [INDI, BULK, BULK_INDI].
   warmupBenchmarks = ['.*Warmup'] // Warmup benchmarks to include in the run in addition to already selected. JMH will not measure these benchmarks, but only use them for the warmup.

   zip64 = true // Use ZIP64 format for bigger archives
   jmhVersion = '1.35' // Specifies JMH version
   includeTests = true // Allows to include test sources into generate JMH jar, i.e. use it when benchmarks depend on the test classes.
   duplicateClassesStrategy = DuplicatesStrategy.FAIL // Strategy to apply when encountring duplicate classes during creation of the fat jar (i.e. while executing jmhJar task)
}

 

 

 

🔴 JMH Benchmark Test의 한계점

• 테스트에 대한 CPU 사용률, 개인 PC 성능에 따라 결과값이 달라질 수 있으므로 정확한 데이터의 지표로 판달할 수 없음
• 코드가 동일하다고 다른 사양의 PC에서 진행하면 측정하기 어렵기 때문에 간단한 메소드 성능 측정에 사용해야 함.

 

🔵  참고 문서

1) github

• https://github.com/melix/jmh-gradle-plugin
• https://github.com/artyushov/idea-jmh-plugin

2) baeldung

• https://www.baeldung.com/java-microbenchmark-harness

3) openJDK 공식문서

• https://openjdk.org/projects/code-tools/jmh/

OpenJDK: jmh

4) 오류 참고

• https://stackoverflow.com/questions/30485856/how-to-run-jmh-from-inside-junit-tests

How to run JMH from inside JUnit tests?