무중단 배포 실습 - 롤링 전략

앞서 실습 레포지토리와 환경 셋팅을 진행했습니다.

기본 셋팅에 대해 궁금하신 분이나, 자세한 내용은 아래 포스팅을 참고해주세요.

 

https://programmer-may.tistory.com/213

무중단 배포 실습 기본 셋팅 (Github Actions, Nginx 활용)

 

롤링 전략

롤링 전략(Rolling Deployment)은 애플리케이션의 새 버전을 점진적으로 배포하는 방법입니다. 기존 인스턴스를 하나씩 새로운 버전으로 교체하며, 배포 과정에서 일부 인스턴스는 이전 버전, 나머지 인스턴스는 새 버전이 실행됩니다.

로드 밸런서에 연결되어 있는 서버를 하나 추가 하거나 연결을 끊어서 새로운 버전으로 교체하고 로드밸런서에 다시 연결합니다. 이 과정을 점진적으로 진행하여 최종적으로는 모든 트래픽이 새 버전에 도달할 수 있게 합니다. 이러한 과정을 통해 서비스 중단 없이 애플리케이션을 업데이트할 수 있습니다.

 

rolling_before 브랜치

Rolling 무중단 배포 전략 도입 전 환경을 구축합니다. cd-rolling.yml 파일을 통해 JAR 파일을 업로드하고, 이전 프로세스를 죽이고 JAR 파일을 8081포트, 8082포트에서 실행합니다. 이 과정에서 다운 타임이 발생하게 됩니다.

 

rolling_after 브랜치

롤링 전략 도입하여 무중단 배포를 실행합니다. cd-rolling.yml 파일을 통해 deploy.sh 파일을 실행합니다.

 

 

deploy.sh 파일작성

#!/bin/bash

# 애플리케이션 포트 설정
PORT1=8081
PORT2=8082
DEPLOY_PORT=0

# 헬스 체크 함수
health_check() {
    local port=$1
    local CHECK_URL="http://localhost:$port/actuator/health"
    local RETRY_COUNT=0
    local MAX_RETRY=10

    echo "Checking health on port $port..."

    until $(curl --output /dev/null --silent --head --fail $CHECK_URL); do
        sleep 5
        RETRY_COUNT=$((RETRY_COUNT+1))
        if [ $RETRY_COUNT -eq $MAX_RETRY ]; then
            echo "Health check failed on port $port"
            return 1
        fi
    done

    echo "Health check passed on port $port"
    return 0
}

timestamp=$(date +"%Y%m%d%H%M%S")

# 롤백 함수
rollback() {
    local port=$1
    local backup_jar="/home/ubuntu/cicd/old_build/app-${port}-${timestamp}.jar"
    local current_version_jar="/home/ubuntu/cicd/app-${port}.jar"

    echo "Rolling back on port $port..."

    # 새 버전 프로세스 종료
    sudo fuser -k -TERM $port/tcp

    # 백업된 기존 버전 복원
    mv $backup_jar $current_version_jar

    # 이전 버전 실행
    sudo nohup java -jar -Dserver.port=$port $current_version_jar > /home/ubuntu/console-$port.log 2>&1 &

    # Nginx 설정 파일 원래 상태로 복구
    sudo sed -i '/upstream backend {/,/}/ s/server 127.0.0.1:'"$port"' down;/server 127.0.0.1:'"$port"';/' /etc/nginx/sites-available/default
    sudo service nginx reload
}

# 배포 함수
deploy() {
    local port=$1
    local current_version_jar="/home/ubuntu/cicd/app-${port}.jar"
    local new_version_jar=$(ls /home/ubuntu/cicd/ZeroDownTimeDeployment-*.jar | head -n 1)

    echo "Deploying new version to port $port..."

    # 기존 버전 백업
    mv $current_version_jar /home/ubuntu/cicd/old_build/app-${port}-${timestamp}.jar

    # 새 버전 배포
    cp $new_version_jar $current_version_jar
    sudo chmod +x $current_version_jar
    sudo nohup java -jar -Dserver.port=$port $current_version_jar > /home/ubuntu/console-$port.log 2>&1 &

    sleep 20

    # 헬스 체크
    health_check $port
    if [ $? -ne 0 ]; then
        rollback $port
        return 1
    fi

    echo "Deployment successful on port $port"
    return 0
}

# 8081에 대한 배포
echo "Routing traffic away from port $PORT1..."
sudo sed -i '/upstream backend {/,/}/ s/server 127.0.0.1:'"$PORT1"';/server 127.0.0.1:'"$PORT1"' down;/' /etc/nginx/sites-available/default
sudo service nginx reload

# 8081 포트에서 실행 중인 프로세스 종료
echo "Stopping process on port $PORT1..."
sudo fuser -k -TERM $PORT1/tcp
if [ $? -ne 0 ]; then
    echo "Failed to stop the process on port $PORT1. Aborting..."
    exit 1
fi
echo "Process on port $PORT1 stopped."

deploy $PORT1
if [ $? -ne 0 ]; then
    echo "Deployment failed on port $PORT1. Aborting..."
    exit 1
fi

echo "Re-routing traffic to port $PORT1..."
sudo sed -i '/upstream backend {/,/}/ s/server 127.0.0.1:'"$PORT1"' down;/server 127.0.0.1:'"$PORT1"';/' /etc/nginx/sites-available/default
sudo service nginx reload

# 8082에 대한 배포
echo "Routing traffic away from port $PORT2..."
sudo sed -i '/upstream backend {/,/}/ s/server 127.0.0.1:'"$PORT2"';/server 127.0.0.1:'"$PORT2"' down;/' /etc/nginx/sites-available/default
sudo service nginx reload

# 8082 포트에서 실행 중인 프로세스 종료
echo "Stopping process on port $PORT2..."
sudo fuser -k -TERM $PORT2/tcp
if [ $? -ne 0 ]; then
    echo "Failed to stop the process on port $PORT2. Aborting..."
    exit 1
fi
echo "Process on port $PORT2 stopped."

deploy $PORT2
if [ $? -ne 0 ]; then
    echo "Deployment failed on port $PORT2. Aborting..."
    exit 1
fi

echo "Re-routing traffic to port $PORT2..."
sudo sed -i '/upstream backend {/,/}/ s/server 127.0.0.1:'"$PORT2"' down;/server 127.0.0.1:'"$PORT2"';/' /etc/nginx/sites-available/default
sudo service nginx reload
sudo rm /home/ubuntu/cicd/no_downtime-*.jar

echo "Rolling deployment complete. Both ports are now running the new version."

1. 포트 설정 및 헬스 체크 함수 정의
   • PORT1=8081과 PORT2=8082로 두 개의 포트를 설정합니다. health_check 함수는 /actuator/health 엔드포인트를 사용하여 새로 배포된 애플리케이션이 정상적으로 작동하는지 확인합니다.
2. 타임스탬프 생성
   • timestamp=$(date +"%Y%m%d%H%M%S")를 통해 현재 시간을 타임스탬프 형식으로 저장합니다. 이 값은 JAR 파일을 백업할 때 사용됩니다.
3. 롤백 함수 정의
   • rollback() 함수는 배포가 실패했을 때, 이전에 백업된 JAR 파일을 복원하고 애플리케이션을 다시 실행합니다.
   • 새 버전을 종료하고, 이전 버전을 백업 폴더에서 원래 위치로 복원한 후 다시 실행합니다.
4. 배포 함수 정의:
   • deploy() 함수는 새 버전을 포트에 배포합니다. 먼저 기존 버전의 JAR 파일을 백업하고, 새로 배포된 버전으로 교체한 뒤 애플리케이션을 실행합니다.
   • 배포 후 health_check 함수를 통해 헬스 체크를 수행하며, 실패 시 롤백합니다.
5. 포트별 배포 절차
   • PORT1=8081, PORT2=8082를 대상으로 순차적으로 배포를 진행합니다. 각각의 포트에 대해 실행 중인 애플리케이션을 종료하고, 새 버전을 배포한 후 헬스 체크를 수행합니다.
6. Nginx 설정 업데이트
   • Nginx 설정을 업데이트하여 새로운 포트로 트래픽을 라우팅합니다. sed 명령어를 사용하여 proxy_pass 설정을 변경하고, Nginx를 reload합니다.
7. 롤링 배포 완료
   • 두 포트 모두 성공적으로 배포되면, Nginx 설정 파일을 다시 로드합니다.

 

Nginx 설정

upstream backend {
    server 127.0.0.1:8081; 
    server 127.0.0.1:8082;
}
server {
    listen 80;
    server_name _;

    location / {
        proxy_pass http://backend;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }
}

 

테스트 결과 확인

rolling_before 브랜치를 rolling 브랜치에 푸시 하고, rolling_after 브랜치를 푸시하여 롤링전략 무중단 배포를 도입합니다. 

1초에 1번 씩 simple HTTP Request 를 보내어 다운 타임이 없는지 확인하였습니다. 

Apache JMeter