무중단 배포 실습 - 카나리 전략

앞서 실습 레포지토리와 환경 셋팅을 진행했습니다.

기본 셋팅에 대해 궁금하신 분이나, 자세한 내용은 아래 포스팅을 참고해주세요.

 

https://programmer-may.tistory.com/213

무중단 배포 실습 기본 셋팅 (Github Actions, Nginx 활용)

 

카나리 전략

카나리 전략(Canary Deployment)은 새로운 버전을 소수의 사용자에게 먼저 배포하여 문제를 식별하는 방법입니다. 초기에는 일부 인스턴스에만 새 버전을 배포하고, 점진적으로 트래픽을 늘려가며 전체 배포를 완료합니다.

카나리 배포의 핵심은 소수의 트래픽으로 새로운 버전에 대한 오류를 조기에 감지하는 것입니다.

이러한 특징 덕분에 A/B 테스트를 진행하기에도 적합합니다.

 

canary_before 브랜치

카나리 무중단 배포 전략 도입 전 환경을 구축합니다. cd-canary.yml 파일을 통해 JAR 파일을 업로드하고, 이전 프로세스를 죽이고 JAR 파일을 8081포트, 8082포트에서 실행합니다. 이 과정에서 다운 타임이 발생하게 됩니다.

 

canary_after 브랜치

카나리 전략 도입하여 무중단 배포를 실행합니다. cd-canary.yml 파일을 통해 deploy.sh 파일을 실행합니다.

 

deploy.sh 파일 작성

#!/bin/bash

# 현재 실행 중인 Spring Boot 애플리케이션 포트 식별
CURRENT_PORT=$(sudo ss -tulnp | grep java | awk '{print $5}' | grep -o '[0-9]*$')
echo "Current port is: $CURRENT_PORT"

# 기본 포트 설정
PORT1=8081
PORT2=8082
NEW_PORT=0

# 현재 포트에 따라 새 포트 결정
if [ "$CURRENT_PORT" -eq "$PORT1" ]; then
    NEW_PORT=$PORT2
else
    NEW_PORT=$PORT1
fi

echo "Deploying new application on port: $NEW_PORT"

# 기존의 app-$NEW_PORT.jar 파일을 old_build 디렉토리로 이동
TIMESTAMP=$(date +"%Y%m%d%H%M%S")
if [ -f /home/ubuntu/cicd/app-$NEW_PORT.jar ]; then
    mv /home/ubuntu/cicd/app-$NEW_PORT.jar /home/ubuntu/cicd/old_build/app-$NEW_PORT-$TIMESTAMP.jar
fi

# 새로 배포된 .jar 파일을 app-$NEW_PORT.jar로 이름 변경
NEW_JAR=$(ls /home/ubuntu/cicd/ZeroDownTimeDeployment-*.jar | head -n 1)
mv $NEW_JAR /home/ubuntu/cicd/app-$NEW_PORT.jar

# 새로 배포된 app-$NEW_PORT.jar 파일 실행
sudo chmod +x /home/ubuntu/cicd/app-$NEW_PORT.jar
sudo nohup java -jar -Dserver.port=$NEW_PORT /home/ubuntu/cicd/app-$NEW_PORT.jar > /home/ubuntu/console-$NEW_PORT.log 2>&1 &

sleep 20

# 헬스 체크 함수
health_check() {
    local port=$1
    local CHECK_URL="http://localhost:$port/actuator/health"
    local RETRY_COUNT=0
    local MAX_RETRY=10

    echo "Checking health on port $port..."

    until $(curl --output /dev/null --silent --head --fail $CHECK_URL); do
        sleep 5
        RETRY_COUNT=$((RETRY_COUNT+1))
        if [ $RETRY_COUNT -eq $MAX_RETRY ]; then
            echo "Health check failed on port $port"
            return 1
        fi
    done

    echo "Health check passed on port $port"
    return 0
}

# 헬스 체크
health_check $NEW_PORT
if [ $? -ne 0 ]; then
    sudo fuser -k $NEW_PORT/tcp
    sudo sed -i "/upstream backend {/,/}/ s|server 127.0.0.1:$NEW_PORT.*;|server 127.0.0.1:$CURRENT_PORT;|" $NGINX_CONFIG
    sudo service nginx reload
    echo "Deployment failed. Rolling back."
    exit 1
fi

# Nginx 설정 파일에서 proxy_pass 동적으로 변경
NGINX_CONFIG="/etc/nginx/sites-available/default"

# Nginx 설정에서 canary 배포 설정 업데이트
echo "Configuring Nginx for canary deployment with 30% traffic to new version..."
sudo sed -i "/upstream backend {/,/}/ s|server 127.0.0.1:$CURRENT_PORT;|server 127.0.0.1:$CURRENT_PORT weight=70; server 127.0.0.1:$NEW_PORT weight=30;|" $NGINX_CONFIG
sudo service nginx reload
# Nginx 재로드가 성공했는지 확인
if [ $? -ne 0 ]; then
		echo "Error: Failed to reload Nginx."
		exit 1
fi
sleep 10
# 추가 가중치 변경
for weight in 50 70; do
    echo "Updating Nginx for canary deployment with $weight% traffic to new version..."
    sudo sed -i "/upstream backend {/,/}/ s|server 127.0.0.1:$CURRENT_PORT weight=[0-9]*; server 127.0.0.1:$NEW_PORT weight=[0-9]*;|server 127.0.0.1:$CURRENT_PORT weight=$((100-weight)); server 127.0.0.1:$NEW_PORT weight=$weight;|" $NGINX_CONFIG
    sudo service nginx reload
    # Nginx 재로드가 성공했는지 확인
		if [ $? -ne 0 ]; then
		    echo "Error: Failed to reload Nginx."
		    exit 1
		fi
		sleep 5
    health_check $NEW_PORT
    if [ $? -ne 0 ]; then
        sudo fuser -k $NEW_PORT/tcp
        sudo sed -i "/upstream backend {/,/}/ s|server 127.0.0.1:$CURRENT_PORT weight=[0-9]*; server 127.0.0.1:$NEW_PORT weight=[0-9]*;|server 127.0.0.1:$CURRENT_PORT;|" $NGINX_CONFIG
        sudo service nginx reload
        echo "Deployment failed. Rolling back."
        exit 1
    fi
done


# 최종 Nginx 트래픽 신버전 포트로 100% 라우팅
echo "Finalizing Nginx configuration with 100% traffic to new version..."
sudo sed -i "/upstream backend {/,/}/ s|server 127.0.0.1:$CURRENT_PORT weight=[0-9]*; server 127.0.0.1:$NEW_PORT weight=[0-9]*;|server 127.0.0.1:$NEW_PORT;|" $NGINX_CONFIG
sudo service nginx reload

# Nginx 재로드가 성공했는지 확인
if [ $? -ne 0 ]; then
    echo "Error: Failed to reload Nginx."
    exit 1
fi
sleep 5
health_check $NEW_PORT
if [ $? -ne 0 ]; then
    sudo fuser -k $NEW_PORT/tcp
    sudo sed -i "/upstream backend {/,/}/ s|server 127.0.0.1:$CURRENT_PORT weight=[0-9]*; server 127.0.0.1:$NEW_PORT weight=[0-9]*;|server 127.0.0.1:$CURRENT_PORT;|" $NGINX_CONFIG
    sudo service nginx reload
    echo "Deployment failed. Rolling back."
    exit 1
fi

# 구버전 JAR 파일을 old_build 폴더로 이동하고, 구버전 프로세스 종료
if [ "$CURRENT_PORT" -ne "$NEW_PORT" ]; then
    TIMESTAMP=$(date +"%Y%m%d%H%M%S")

    # 구버전 프로세스 종료
    OLD_PID=$(lsof -t -i:$CURRENT_PORT)
    if [ -n "$OLD_PID" ]; then
        sudo kill -15 $OLD_PID
        sleep 7
        # 프로세스가 여전히 종료되지 않았는지 확인하고, 강제 종료 시도
        if sudo kill -0 $OLD_PID 2>/dev/null; then
            echo "Process $OLD_PID did not terminate, killing with -9"
            sudo kill -9 $OLD_PID
        fi
    fi

    # 구버전 JAR 파일을 old_build 폴더로 이동
    sudo mv /home/ubuntu/cicd/app-${CURRENT_PORT}.jar /home/ubuntu/cicd/old_build/app-${CURRENT_PORT}-${TIMESTAMP}.jar
    echo "Old version moved to old_build: app-${CURRENT_PORT}-${TIMESTAMP}.jar"
fi

echo "Canary deployment complete. New version is now serving 100% of traffic."

1. 현재 실행 중인 Spring Boot 애플리케이션의 포트 확인
   • 현재 실행 중인 애플리케이션이 8081 포트에서 동작 중인지 8082 포트에서 동작 중인지 확인하여 CURRENT_PORT 변수에 저장합니다.
   • 새 애플리케이션을 배포할 포트(NEW_PORT)를 결정합니다. 현재 실행 중인 포트가 8081이라면, 새 애플리케이션은 8082에 배포되고 그 반대라면 8081포트에 배포됩니다.
2. 기존 JAR 파일 백업
   • 새 애플리케이션이 배포될 포트의 기존 JAR 파일을 old_build 디렉토리로 이동시켜 백업합니다. 백업 파일명에는 타임스탬프가 추가되어 구분됩니다.
3. 새 애플리케이션 배포
   • 빌드된 JAR 파일을 app-$NEW_PORT.jar로 이름을 변경하고 새 포트에서 실행시킵니다.
4. 헬스 체크
   • 새 애플리케이션이 제대로 실행되는지 확인하기 위해 /actuator/health 엔드포인트를 사용하여 최대 10회동안 헬스 체크를 반복합니다.
   • 헬스 체크에 실패하면 새 애플리케이션 프로세스를 종료하고, Nginx를 통해 구버전으로 롤백합니다. 이때 새로운 JAR 파일도 백업되고, 이전 JAR 파일로 복원됩니다.
5. Nginx 설정 업데이트 - 트래픽 30%로 라우팅
   • Nginx 설정을 업데이트하여 구버전에 70%, 새버전에 30% 트래픽을 라우팅합니다. 설정이 성공적으로 적용되면 Nginx를 reload합니다.
6. 점진적 트래픽 증가 - 50%, 70%로 업데이트
   • 일정 시간이 경과할 때마다 새 애플리케이션으로 가는 트래픽 비율을 50%, 70%로 점진적으로 증가시킵니다. 각 단계마다 헬스 체크를 수행하여 새 애플리케이션이 안정적으로 동작하는지 확인합니다.
   • 만약 헬스 체크가 실패하면 Nginx 설정을 원래대로 되돌리고, 새 애플리케이션 프로세스를 종료하여 롤백합니다.
7. 최종 트래픽 100%로 전환
   • 모든 헬스 체크가 성공하면 Nginx 설정을 업데이트하여 트래픽을 100% 새 버전으로 전환합니다.
8. 구버전 프로세스 종료 및 JAR 파일 백업
   • 구버전 애플리케이션이 동작 중인 포트를 확인한 후, 안전하게 종료합니다.
   • 구버전 JAR 파일을 old_build 폴더로 이동시켜 타임스탬프와 함께 백업합니다.
9. 카나리 배포 완료
   • 배포가 성공적으로 완료되었으며, 이제 새로운 버전이 100%의 트래픽을 처리합니다.

 

Nginx 설정

sudo nano /etc/nginx/sites-available/default

 

upstream backend {
    server 127.0.0.1:8081; 
}
server {
    listen 80;
    server_name _;

    location / {
        proxy_pass http://backend;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }
}

 

 

테스트 결과 확인

canary_before 브랜치를 canary 브랜치에 푸시 하고, canary _after 브랜치를 푸시하여 롤링전략 무중단 배포를 도입합니다. 

구 버전과 신 버전이 설정해둔 가중치에 따라 번갈아 나타나다가 마지막엔 신 버전만 뜨는 것을 확인할 수 있었습니다.