MSA 환경에서 모니터링

모놀리식 아키텍처에서 MSA 로 변환되면서 달라진 것들이 많은 데 그 중 하나가 통신 방법이다. 모놀리식에서 그저 함수 호출을 하면 데이터를 주고 받을 수 있지만, MSA 에서 서비스가 분리 되었기 때문에 서비스 즉 프로세스 간 통신을 하게 된다. 모놀리식에선 서버와 DB의 상태만 확인하면 됐는데 서비스가 분리 되면서 IPC 통신에 대한 지연율이나 Call 증감 확인, 분리된 서비스의 상태 확인, 미들 웨어 상태 등 많은 부분 신경 써야할 게 많아졌다.

Hop 이 늘어남에 따라 어디서 어떤 요청에 대한 문제가 발생했는지 디버깅이 어려워졌고, 로그 수집을 위한 별도의 인프라가 필요해지게 됐다.또 어느 서버에서 어느 서비스로 호출이 되어야 하는지 서비스간 호출 상태가 정산인지도 파악해야 한다.

MSA 환경에서 이런 문제를 극복하기 위해 다야한 방법으로 모니터링을 해야 한다.

 

일반적인 모니터링 흐름

대규모 트래픽을 감당할 수 있는 MSA 환경에서 모니터링 흐름은 다음과 같이 일어날 수 있다. 

 

1. 특정 Metric 에 사전 정의된 Alert을 통해서 문제를 감지한다.

2. 어떤 Metric에 대한 문제인지를 파악하고, 어떤 행동을 해야할 지 판단한다.

     2-1. Metric 수치를 보고 오판단, 혹은 당장 이슈의 정도가 미미하다면 Alert 조건 등을 수정하거나 코드를 수정한다.

     2-2. 애플리케이션 레벨의 문제라고 판단 시 Log 를 확인한다.

             2-2-1. 단순 로그로 확인이 어려울 시 해당 트랜잭션에 대한 Tracing을 확인한다.

     2-3. 인프라 레벨의 문제라면 정확한 원인 파악이 필요하다.(e.g. CICD 과정에서 문제, OOM)

     2-4. 네트워크 레벨(라우팅, 트래픽) 등의 문제라면 Service-Mesh 를 통해 현재 서비스 간 트래픽 모니터링 상태를 확인한다.

3. 회고를 통해 같은 문제가 발생하지 않도록 조치하고, 정리하여 문서화 한다.

 

로깅

수많은 서버내의, 서비스들의 로그을을 적절히 필터링하여 누락 없이 로그를 저장소까지 전송해야 한다.

수 많은 로그들을 적절히 인덱싱하여, 필요 시 빠르게 다양한 조건으로 검색이 가능해야한다.

출처: https://www.elastic.co/kr/logstash

대표적인 기술 스택

ELK : ElasticSearch, Logstash, Kibana

EFK : ElasticSearch, fluentbit, fluentd , Kibana

Logstash, fluentbit, fluentd : 서버의 디스크에 1차적으로 쌓인 로그들을 원하는 필터링 조건에 맞게 수집

ElasticSearch: 로그들을 인덱싱하여 저장

Kibana: 로그들을 시각화

 

메트릭 & 얼럿

수많은 서버내의 수많은 서비스 내의 메트릭들을 안정적으로 수집하고, 시계열 방식으로 저장 한다.

다양한 오픈 소스의 메트릭을 지원하는 대시보드를 사용해야한다.

원하는 복잡한 형태의 비즈니스 메트릭 Query를 작성하고, 이를 기반으로 적절하게 Alert 조건을 설정할 수 있어야 한다.

 

대표적인 기술 스택

Prometheus + Grafana

Prometheus : 시계열 DB - 기본적으로 Polling Pull 방식으로 서버의 메트릭을 수집

Grafana : 메트릭 정보를 대시보드화 시켜줌.

 

 

트레이싱

하나의 소스(트랜잭션)에 대해서, 여러개의 서비스에서 어떤 과정을 거쳐 수행되었는지 확인한다.

모든 기록을 트레이싱 하기 보다 적절한 샘플링을 통해 트레이싱 한다.

출처: Jaeger 공식 홈페이지

 

대표적인 기술 스택

Jaeger, Zipkin, Tempo

Span 을 활용하여 하나의 요청에 대해 어떤 분기를 타고 어떤 로직을 거치는지 트레이싱함.

 

 

서비스 메시

어느 서비스가 어느 서비스를 호출하고 있는지, 어디로 트래픽이 어느 정도로 발생하고 있는지 등을 모니터링 할 수 있어야한다.

출처 : https://developers.redhat.com/blog/2018/09/20/istio-mesh-visibility-with-kiali#visualizing_issues

출처: https://istio.io/latest/docs/examples/virtual-machines

대표적인 기술 스택

Istio