Kafka 와 RabbitMQ 의 차이점

Kafka 와 RabbitMQ 는 스트림 처리에 사용할 수 있는 메시지 큐 시스템이다. 데이터 스트림은 고속 처리가 필요한 대용량의 연속된 데이터들이다. RabbitMQ 는 여러 소스에서 스트리밍 데이터를 수집하고 처리를 위해 다른 대상으로 라우팅하는 분산 메시지 브로커이다. Apache Kafka는 실시간 데이터 파이프라인 및 스트리밍 애플리케이션을 구축하는 데 사용되는 스트리밍 플랫폼이다. Kafka는 뛰어난 확장성과 내결함성, 내구성이 뛰어난 메시징 시스템을 제공한다.

카프카와 래빗엠큐 같은 메시지 큐 시스템 덕분에 MSA 환경이나 분산 시스템에서 낮은 결합도를 유지하는 데 중요한 역할을 한다. 일반적으로 API 통신을 하게 되면 호출된 서비스가 호출한 서비스에 영향을 주게 되는데, 비동기 메시징 패턴을 사용하게 되면 메시지 생성자는 메시지가 소비되는 방식에 대해 알 필요가 없으며, 소비자 역시 생성자의 상태에 의존하지 않는다.

둘은 비슷하지만 약간의 차이점이 있다. RabbitMQ는 메시지 라우팅과 대기열 관리에 특화된 전통적인 메시지 브로커로, 복잡한 메시지 전달 시나리오에서 강점을 보인다. 반면, Kafka는 이벤트 스트리밍과 로그 분석을 위한 최신 기술로, 대규모 데이터 처리와 로그 보존이 중요한 환경에 적합하다.

 

RabbitMQ

메시지를 교환소(Exchange)로 보낸 후, 특정 라우팅 키를 기준으로 대기열(Queue)로 전달한다.  브로커가 메시지를 대기열에 저장하고, 소비자에게 푸시(Push) 방식으로 전달한다. 소비자가 메시지를 수신하면 이를 확인(ACK)하고, 브로커는 해당 메시지를 대기열에서 삭제한다. 이러한 방식은 메시지의 신속한 전달과 처리를 보장한다.

- 교환소(Exchange) : 생성자로부터 메시지를 수신하고 메시지를 어디로 라우팅할지 결정한다.

- 큐(대기열)는 교환소에서 메시지를 받아 소비자에게 보내는 스토리지다.

- 바인딩은 교환소와 브로커를 연결하는 경로다.

Kafka

Kafka는 메시징과 스트리밍을 결합한 이벤트 스트리밍 플랫폼으로, 로그 기반 아키텍처를 중심으로 설계됐다. 메시지는 토픽(Topic)에 저장되고, 각 토픽은 여러 파티션으로 나뉘어 병렬 처리가 가능하다.

- 카프카 브로커는 생산자가 소비자에게 데이터를 스트리밍할 수 있도록하는 카프카 서버다. 카프카 브로커에는 토픽과 해당 파티션이 들어 있다.

- 토픽은 카프카 브로커에서 유사한 데이터를 그룹화하는 데이터 저장소이다,

- 파티션은 소비자가 구독하는 주제 내의 더 작은 데이터 저장소이다.

 

메시지 전달 방식 및 보존 차이

RabbitMQ

브로커가 메시지를 대기열에 저장하고, 소비자에게 푸시(Push) 방식으로 전달한다. 소비자가 메시지를 수신하면 이를 확인(ACK)하고, 브로커는 해당 메시지를 대기열에서 삭제한다. 이러한 방식은 위에서 말했듯이 메시지의 신속한 전달과 처리를 보장한다. RabbitMQ는 대기열 내에서 기본적으로 FIFO(선입선출) 순서를 보장하지만, 다중 소비자가 병렬로 메시지를 처리할 경우 순서가 깨질 수 있다.

 

Kafka

생산자가 메시지를 토픽에 게시하면, 메시지는 지정된 보존 기간 동안 로그에 저장된다. 소비자는 풀(Pull) 방식으로 필요한 시점에 메시지를 읽으며, 각 메시지의 오프셋을 추적하여 처리 상태를 관리한다. 이를 통해 동일한 메시지를 여러 번 읽거나, 특정 시점으로 되돌아가 재처리할 수 있다.(여러 소비자가 동일한 메시지를 독립적으로 처리할 수 있다.) 각 파티션 내에서 메시지의 순서가 유지되지만, 여러 파티션에 메시지가 분산될 경우 전체 순서가 보장되지 않을 수 있다. 순서를 보장하려면 단일 파티션을 사용하거나 특정 파티셔닝 전략을 설계해야 한다.

 

성능 및 확장성 차이

RabbitMQ

짧은 지연 시간으로 메시지를 전달하며, 복잡한 라우팅과 메시지 우선순위 지정이 가능하다. 노드 확장이 가능하지만, 대규모 데이터 스트림 처리에는 성능 한계가 있을 수 있다.

대규모 데이터 스트림 처리에 적합하지 않은 이유

1. 메시지를 큐에 저장하거나, 큐에서 소비자로 전달하는 과정은 디스크 I/O와 관련된 작업이 많다. 메시지를 저장할 때, 삭제할 때  디스크 I/O 가 일어나고 대규모 데이터 스트림에서는 이 디스크 I/O 작업이 더 빈번하게 발생해 성능에 영향을 준다.(개별 큐에 메시지를 기록-랜덤 I/O)

2. RabbitMQ는 클러스터링을 통해 노드를 확장할 수 있지만, 모든 노드가 모든 큐의 상태를 동기화해야 한다. 큐가 특정 노드에 종속적인 상태가 되기 때문에, 메시지가 분산되어 처리되지 못하는 경우가 발생할 수 있다. 이는 네트워크 오버헤드를 증가시키고 성능 병목으로 이어질 수 있다.

3. RabbitMQ는 브로커 중심으로 설계되어 있어, 브로커가 메시지 전달, 라우팅, 저장 등의 모든 작업을 담당한다. 대규모 데이터 스트림에서는 브로커가 과부하 상태에 빠질 가능성이 높아지고, 메시지 처리 속도가 저하된다.

 

Kafka

높은 처리량과 확장성을 제공하며, 대용량 데이터 스트림의 실시간 처리가 가능하다. 노드를 추가하여 수평적으로 확장할 수 있어, 빅데이터 환경에 적합하다. Kafka는 우선순위 큐를 지원하지 않는다. 각 메시지를 해당 파티션에 분배할 때 모든 메시지를 동등하게 취급한다. 

대규모 데이터 스트림 처리에 적합한 이유

1. Kafka는 메시지를 로그 형태로 디스크에 순차적으로 저장한다. 로그 기반 저장은 디스크의 쓰기 헤드가 일정한 방향으로만 이동하기 때문에, 디스크 I/O 비용이 낮다(순차 I/O)

2.Kafka는 메시지를 지정된 보존 기간 동안 로그에 유지하며, 소비자가 메시지를 읽는다고 해서 메시지를 삭제하지 않는다. 이는 디스크에서 실시간 삭제 작업을 하지 않기 때문에 추가적인 I/O 부하가 없다.

 

적합한 사용 사례

RabbitMQ

메시지 전달의 지연 시간을 최소화하고, 신뢰성 있는 라우팅과 대기열 관리가 필요한 경우.

복잡한 라우팅 규칙과 작업 대기열이 요구되는 시스템.

실시간 메시징, 작업 대기열, 마이크로서비스 간의 통신 등 메시지의 신뢰성 있는 전달과 복잡한 라우팅이 필요한 경우에 적합

 

Kafka

실시간 로그 수집 및 분석, 이벤트 소싱, 스트리밍 데이터 처리(예: IoT 데이터 수집) 등 대용량 데이터의 실시간 처리가 필요한 경우에 적합

 

요약

구분	RabbitMQ	Kafka
아키텍처 및 메시징 모델	RabbitMQ의 아키텍처는 복잡한 메시지 라우팅을 위해 설계 생산자가 메시지를 교환소(Exchange)에 보내면, 교환소는 라우팅 키를 사용하여 메시지를 적절한 대기열(Queue)로 전달한다. 소비자는 이 대기열에서 메시지를 받아 처리( 복잡한 라우팅 시나리오를 지원하며, 메시지의 신뢰성 있는 전달에 중점 )	카프카는 실시간, 고처리량 스트림 처리를 위해 파티션 기반 디자인을 사용 생산자는 메시지를 토픽(Topic)에 게시하며, 각 토픽은 여러 파티션으로 나뉜다. 소비자는 이러한 파티션을 읽어들이며, 메시지는 로그 형태로 저장되어 지정된 보존 기간 동안 유지
메시지 전달 및 보존 방식	메시지는 대기열에서 즉시 소비자로 전달 소비자가 메시지를 처리하고 확인(ACK)하면 삭제	메시지는 지정된 보존 기간 동안 저장 여러 소비자가 동일한 메시지를 독립적으로 처리 가능
성능 및 확장성	짧은 지연 시간으로 메시지를 전달 복잡한 라우팅과 메시지 우선순위 지정이 가능 그러나 대규모 데이터 스트림 처리에는 한계	높은 처리량과 확장성을 제공하며, 대용량 데이터 스트림의 실시간 처리가 가능 클러스터의 노드를 추가하여 쉽게 확장 가능, 빅데이터 환경에 적합 복제를 통해 데이터 손실을 방지 메시지 우선순위 지원 안함
사용 사례	실시간 메시징 작업 대기열 마이크로서비스 간의 통신 등 메시지의 신뢰성 있는 전달과 복잡한 라우팅이 필요한 경우	실시간 로그 수집 및 분석 이벤트 소싱 스트리밍 데이터 처리(예: IoT 데이터 수집) 대용량 데이터의 실시간 처리

 

참고

 

https://www.instaclustr.com/blog/rabbitmq-vs-kafka/

RabbitMQ vs. Apache Kafka®: Key Differences and Use Cases

https://www.koyeb.com/blog/rabbitmq-vs-apache-kafka-comparing-message-brokers-and-modern-event-streaming-platforms

RabbitMQ vs Apache Kafka: Comparing Message Brokers and Event Streaming Platforms

https://aws.amazon.com/ko/compare/the-difference-between-rabbitmq-and-kafka/?nc1=h_ls

RabbitMQ와 Kafka - 메시지 대기열 시스템 간의 차이점 - AWS