Message Queue2

• 

  사내 메세지큐 기술 스택 전환: Kafka → PGMQ(PostgreSQL Message Queue) 사내에서 기존 메세지큐 기술 스택으로 Kafka 를 사용하고 있습니다. Confluent사의 라이브러리를 사용하여 Kafka Consumer 와 Publisher 를 구성하고, 각 도메인에 맞는 토픽을 생성해 데이터 흐름을 분리해왔습니다. 메시지는 토픽 단위 스트림으로 발행되고, 컨슈머 그룹이 이를 병렬로 처리하는 구조입니다. 이 방식은 대량 이벤트 처리나 로그 파이프라인처럼 “계속 흘러가는 데이터”를 소비하는 시나리오에서는 매우 강력합니다. 실제로 사내 초기 아키텍처 단계에서 Kafka는 전자상거래 주문 수집 로그, ERP 이벤트 브로드캐스팅 같은 데이터 중심 스트림 처리 영역에서 충분히 역할을 수행해왔습니다. 하지만, 시간이 흐르며 메시지 큐의 용도가 이벤트 스트림을 넘어 “업무 실행(Task E.. Message Queue 2025. 10. 8.

• 

  Kafka 와 RabbitMQ 의 차이점 Kafka 와 RabbitMQ 는 스트림 처리에 사용할 수 있는 메시지 큐 시스템이다. 데이터 스트림은 고속 처리가 필요한 대용량의 연속된 데이터들이다. RabbitMQ 는 여러 소스에서 스트리밍 데이터를 수집하고 처리를 위해 다른 대상으로 라우팅하는 분산 메시지 브로커이다. Apache Kafka는 실시간 데이터 파이프라인 및 스트리밍 애플리케이션을 구축하는 데 사용되는 스트리밍 플랫폼이다. Kafka는 뛰어난 확장성과 내결함성, 내구성이 뛰어난 메시징 시스템을 제공한다.카프카와 래빗엠큐 같은 메시지 큐 시스템 덕분에 MSA 환경이나 분산 시스템에서 낮은 결합도를 유지하는 데 중요한 역할을 한다. 일반적으로 API 통신을 하게 되면 호출된 서비스가 호출한 서비스에 영향을 주게 되는데, 비동기 메시징 패.. Message Queue 2024. 11. 20.