Apache JMeter : 설치 및 사용법 - 성능테스트 (feat. 숙박 조회 성능 향상을 위한 테스트)

개요

숙박 도메인을 담당하여 구현을 하였지만, 내가 만든 서비스가 대규모 환경에서 수많은 트래픽을 감당할 수 있을지 의문이 들었다. 검색 서비스에서 RDMS 에서 조회하지 않는다는 걸 알지만, 엘라스틱 서치같은 기술스택도 잘 모를 뿐더러 배운 지식과 주어진 환경에서 최선의 결과를 도출하기 위해 인덱스를 적용하여 숙박 조회를 실시하였고, 이 인덱스가 잘 작동하는지, 어느 정도 성능 향상이 있는지 테스트 해보기 위해, 아파치 제이미터를 깔아 성능테스트를 진행하기로 하였다.

 

성능테스트 란?

• 서비스 및 서비스 시스템의 성능을 확인하기 위해 실제 사용 환경과 비슷한 환경에서 테스트를 진행하는 것을 말한다.
• 이를 통해서 Response Time(응답시간) 과 Throughput(처리량), 병목구간 등을 확인할 수 있다.
• 성능 테스트로 얻은 정보로 서비스나 서비스 시스템의 문제점을 확인하고 이를 개선하여 보완할 수 있다.

 

Apache JMeter 란?

웹 애플리케이션을 중심으로 다양한 서비스의 성능을 분석하고 측정하기 위한 부하 테스트 도구로 사용할 수 있는 아파치 프로젝트이다.

웹 애플리케이션 처럼 클라이언트-서버 구조로 된 소프트웨어의 성능 테스트를 위해서 만들어진 무료 자바 프로그램이다.

JMeter는 단위/성능/스트레스 테스트 등 많은 곳에서 활용할 수 있다.

JMeter는 통신 프로토콜 단계에서만 동작하고 웹 브라우저에는 동작하지 않는다. 즉 , 통신규약에 맞도록 클라이언트와 서버 간 메시지만 송수신할 뿐이고 클라이언트 자체에서 행해지는 연산동작은 하지않는다.

 

 

Apache JMeter  설치

 

아파치 제이미터 다운로드

https://jmeter.apache.org/download_jmeter.cgi

Apache JMeter - Download Apache JMeter

 

 

먼저 제이미터를 설치하기 위해선 자바 8 이상 버전이 필요하다. 제이미터를 쓰기전 자바 8 이상을 깔고 환경변수등을 설정해두자.

바이너리 파일중 zip 파일을 다운 받아 준다.

그리고 압축을 해제시켜준다.

 

 

 JMeter - DB관련 도구 설치

1) 접속드라이버 설치

Jmeter가 DB에 접속하기 위해서는 접속드라이버가 필요하다. 아래 링크에 들어가 platform independent 메뉴에서 zip파일을 다운로드 받으면 된다. 

https://dev.mysql.com/downloads/connector/j/

MySQL :: Download Connector/J

 

 

난 AWS RDS로 MySQL을 사용했기 때문에 MySQL 커넥터를 받운 받아 주었다.

몇몇 DB 커넥터는 기본으로 아파치 제이미터에 기본으로 내장되어 있다. 아마 같은 아파치 재단 소속인 기술스택들은 들어 있는 것으로 생각된다.(오라클 등등이 있던걸로 보아....)

다운로드 받은 파일은 압축을 푼다.

.jar파일인 JDBC 드라이버 파일을 복사해 다운받은 경로로 들어가 압축을 해제한 아파치 제이미터 폴더에서 lib폴더에 넣어준다.

 

 

 

Apache JMeter  실행

 

 

다운받은 경로로 들어가 압축을 해제한 아파치 제이미터 폴더에서 bin 폴더에 들어가 jar 파일을 더블클릭해 실행시킬 수 있다. 

명령어로는 cmd -> 압축푼 폴더 아래 bin 폴더로 이동 -> jmeter 입력 후 엔터

 

아파치 제이미터 사용법

아파치 제이미터에서 한국어로 이젠 지원해주길래 한국어로 설정해서 돌려보았다. 

설명은 영어버전과 한국어 버전 둘 다 해두겠다.

 

먼저 제이미터 테스트 용어들이다.

- Thread Group : 테스트에 사용될 쓰레드 그룹, 쓰레드 1개당 사용자 1명인 꼴이다.

- Sampler : 사용자의 액션 (예: 로그인, 게시물 작성, 게시물 조회 등)

- Listener : 응답을 받아 리포팅, 검증, 그래프 등 다양한 처리

- Configuration : Sampler 또는 Listener가 사용할 설정 값 (쿠키, JDBC 커넥션 등)

- Assertion : 응답 확인 방법 (응답 코드, 본문 내용 비교 등)

 

1) 템플릿 생성

[ File > Templates ]를 클릭하고 상단 셀렉트박스에서 JDBC Load Test를 클릭한다. create 버튼을 눌러 생성한다.

 

 

 

2) Configuration  설정

테스트할 DB 서버 연결 설정을 한다.

관련옵션 정식문서

https://jmeter.apache.org/usermanual/component_reference.html

Apache JMeter - User's Manual: Component Reference

 

 

연결 최대 갯수는 설정을 하면 디비 서버에 최대로 커넥트할 수 있는 쓰레드 갯수이다. 0으로 하면 최대치까지 허용한다.

나머지는 기본값 그대로 두었다.

 

 

DB 연결 설정이다.

아파치 제이미터는 테스트 하는 웹 어플리케이션 서버와 테스트를 돌리는 서버는 서로 달라야 한다.

JMeter를 돌리는 서버와 웹 어플리케이션 서버가 같으면 같은 메모리를 사용하기 때문에 정확한 값을 측정할 수 없기 때문이다.

IDE 프로젝트의 야믈파일에서 datasource 적듯이 연결할 데이터베이스 URL을 기입해준다.

 

JDBC 드라이버 클래스도 기본값으로 postgresql 로 설정되어 있는데, 다운받아서 lib 폴더에 넣어준 mysql 드라이버를 설정해준다.

username 과 password도 RDS의 username 과 password를 입력해준다.

따로 완료 버튼은 없다.

 

3) Thread Group 설정

쓰레드 그룹은 부하를 줄 양과 빈도를 설정

아차피 제이미터의 꽃이자 핵심이다.

 

 

 

이중 쓰레드 그룹이 제일 중요한데, 내가 설정해준 부하로 RDS 서버로 보내기 때문이다.

- Number of Threads : 쓰레드 개수(사용자 수)

- Ramp-up period : 쓰레드 개수를 만드는데 소요되는 시간 / 즉 테스트에 걸리는 총 시간

- Loop Count : infinite 또는 n 으로 값을 설정할 수 있으며 설정된 값에 따라 Number of Threads 와 Ramp-up period 만큼 요청을 다시 보낸다. 쉽게 말해 반복 횟수이다.

 

위와 같이 설정하면 10유저가 30초 안에 모두 실행해야 되므로, (30/10)초에 한 번씩 총 10개 쓰레드가 DB에 연결된다. 그리고 이 작업을 2번 반복한다. 

 

4) Sampler  설정(JDBC Request 설정)

JDBC 요청 작성 - 실제 테스트할 로직을 작성

질의 타입을 본인이 테스트하고 싶은 타입으로 설정. 예를들어 조회면 "Select Statement"

아래에는 성능테스트할 쿼리문 작성

(API 작동시켰을때 실행되는 쿼리문을 복붙하였다. show-sql: true 로 야믈파일 설정하면 쿼리문을 로그로 볼 수 있다.)

 

 

5) Listener 추가

summary report 등 여러 리스너들은 요청성공여부 통계를 내준다. DB에 부하가 많이 걸려서 요청에 실패하게 될 경우, 대략 몇 건까지 요청이 성공했는지 파악할 수 있다.

3가지 정도를 많이 쓴다.

 

 

6) Assertion 추가

응답값이 제대로 왔는지 검증을 하기위해 Assertion을 추가

 

 

성능테스트 실행

[ 파일 > 저장 ]을 눌러 파일을 저장하고 JDBC Request화면을 띄우고 상단에 초록색으로 된 시작버튼을 눌러 시작한다.

결과에서 초록색이 요청 성공이고 빨간색이 요청 실패이다.

 

만약 아까 만든 설정들이 적용이 안 됐다면 저 버튼을 클릭해준다.

 

 

테스트 결과

요약 보고서 예시

- Label : Sampler 명

- # Samples : 샘플 실행 수 (Number of Threads X 반복수)

- Average : 평균 응답 시간 (ms)

- Min : 최소값

- Max : 최대값

- Std. Dev. : 표준편차

- Error % : 오류 %

- Throughput : 단위 시간당 처리량

- Received KB/sec : 초당 수신 데이터량

- Sent KB/sec : 초당 전송 데이터량

- Avg. Bytes : 서버로부터 받은 평균 데이터 바이트 수

 

 

결과들의 트리 보기 예시

하나의 리퀘스트의 테스트 시작 시간, 응답 속도 등 다양한 정보들이 나온다.

 

결과들을 테이블로 보기

View Results Tree를 Table 형식으로 보여준다. 데이터는 동일다.

 

총합 보고서 / 응답 Assertion

- Label : Sampler 명

- # Samples : 샘플 실행 수 (Number of Threads X 반복수)

- Average : 평균 응답 시간 (ms)

- Median : 응답 시간 중앙값

- 90% Line : 90%의 샘플은 해당 값보다 적은 시간 내에 끝나고 10%는 더 걸린다. 라는 뜻의 컬럼

- 95% Line : 95%의 샘플은 해당 값보다 적은 시간 내에 끝나고 5%는 더 걸린다. 라는 뜻의 컬럼

- 99% Line : 99%의 샘플은 해당 값보다 적은 시간 내에 끝나고 1%는 더 걸린다. 라는 뜻의 컬럼

- Min : 최소값

- Max : 최대값

- Std. Dev. : 표준편차

- Error % : 오류 %

- Throughput : 단위 시간당 처리량

- Received KB/sec : 초당 수신 데이터량

- Sent KB/sec : 초당 전송 데이터량

- Avg. Bytes : 서버로부터 받은 평균 데이터 바이트 수

Aggregate Report의 장점은 90%, 95%, 99% Line 컬럼이다.

 

이렇게 아차피 제이미터의 설치법과 사용법에 대해 알아보았다. 나온 결과 들로 쓰레드 그룹의 속성들을 손봐주어 원하는 환경을 설정을 해두고 이때 내 서버가 어떤 응답값을 도출하는지 모니터링 하면된다.

필자는 추가적으로 AWS CloudWatch 까지 같이 보면서 서버 CPU 사용량, 커넥션수와 가용 메모리량 변화까지 모니터링 해보았다.

 

질의문을 바꿔가며 테스트를 계속 진행해보고 최선의 결과가 나온 방향을 선택하면 될 것이다.

다음은 인덱스를 활용하여 숙박조회를 했을 시 그냥 조회하는 것보다 어느정도의 성능 차이가 있는지 테스트를 진행해 볼 것이다.

 

참고

- 인프런/ 백기선 - 더 자바 애플리케이션을 테스트하는 다양한 방법

- https://jocoma.tistory.com/entry/%EC%84%B1%EB%8A%A5%ED%85%8C%EC%8A%A4%ED%8A%B8-%EB%8F%84%EA%B5%AC-Jmeter#recentComments