kafka4

• 

  사내 메세지큐 기술 스택 전환: Kafka → PGMQ(PostgreSQL Message Queue) 사내에서 기존 메세지큐 기술 스택으로 Kafka 를 사용하고 있습니다. Confluent사의 라이브러리를 사용하여 Kafka Consumer 와 Publisher 를 구성하고, 각 도메인에 맞는 토픽을 생성해 데이터 흐름을 분리해왔습니다. 메시지는 토픽 단위 스트림으로 발행되고, 컨슈머 그룹이 이를 병렬로 처리하는 구조입니다. 이 방식은 대량 이벤트 처리나 로그 파이프라인처럼 “계속 흘러가는 데이터”를 소비하는 시나리오에서는 매우 강력합니다. 실제로 사내 초기 아키텍처 단계에서 Kafka는 전자상거래 주문 수집 로그, ERP 이벤트 브로드캐스팅 같은 데이터 중심 스트림 처리 영역에서 충분히 역할을 수행해왔습니다. 하지만, 시간이 흐르며 메시지 큐의 용도가 이벤트 스트림을 넘어 “업무 실행(Task E.. Message Queue 2025. 10. 8.

• 

  실무에서 널리 쓰이는 네트워크 기반 프로세스 통신 기술(HTTP / Message Queue / WebSocket) 🚩 개요 팀 업무 특성상 외부 서버와 통신 서비스를 구현하면서 매우 흥미로웠던 점은, 사내 Rac(Remote Access Control) 객체에 적절한 구성 요소만 채우면 곧바로 HTTP Request 메시지가 생성되어 외부 컴포넌트와 통신이 이루어진다는 사실이었습니다. 마치 “HTTP Client를 직접 구현하지 않아도 네트워크 요청이 만들어지는” 추상화 계층이 존재하고, 이 인터페이스를 사용하여 외부와 통신하고 있었습니다.이 글에서는 사내 서비스 내부에서 IPC(Inter-Process Communication), 특히 외부 시스템과 통신하는 Rac의 동작 흐름을 중심으로 정리합니다. 더불어 실무에서 쓰이는 다양한 IPC 방식 (HTTP / Message Queue / WebSocket) 간의 구.. Web Programming 2025. 5. 27.

• 

  Kafka 와 RabbitMQ 의 차이점 Kafka 와 RabbitMQ 는 스트림 처리에 사용할 수 있는 메시지 큐 시스템이다. 데이터 스트림은 고속 처리가 필요한 대용량의 연속된 데이터들이다. RabbitMQ 는 여러 소스에서 스트리밍 데이터를 수집하고 처리를 위해 다른 대상으로 라우팅하는 분산 메시지 브로커이다. Apache Kafka는 실시간 데이터 파이프라인 및 스트리밍 애플리케이션을 구축하는 데 사용되는 스트리밍 플랫폼이다. Kafka는 뛰어난 확장성과 내결함성, 내구성이 뛰어난 메시징 시스템을 제공한다.카프카와 래빗엠큐 같은 메시지 큐 시스템 덕분에 MSA 환경이나 분산 시스템에서 낮은 결합도를 유지하는 데 중요한 역할을 한다. 일반적으로 API 통신을 하게 되면 호출된 서비스가 호출한 서비스에 영향을 주게 되는데, 비동기 메시징 패.. Message Queue 2024. 11. 20.

• 

  이벤트 드리븐 아키텍처(EDA) 이벤트 드리븐 아키텍처 또는 이벤트 주도 아키텍처는 이벤트를 생성, 전달, 처리, 소비하는 방식으로 시스템의 구성 요소간 통신이 이루어지는 현대적인 아키텍처 스타일이다. 오늘날 대규모 트래픽이나 대규모 데이터를 처리할 때 많이 쓰인다.  MSA, 실시간 데이터 처리, 이벤트 소싱과 같은 다양한 시나리오에서 활용된다. 그 이유는 이벤트 브로커를 활용해 비동기적으로 이벤트를 처리할 수 있고, 프로세스 간 느슨한 결합을 가능하게 하며, 높은 가용성을 갖기 때문이다. 시스템 내에서 특정 작업이나 상태 변화가 발생할 때 이를 이벤트로 표현하고 해당 이벤트를 기반으로 비동기적으로 후속 작업이 진행된다. 이벤트시스템 내에서 발생하는 상태 변화나 행동을 나타낸다.예시: 주문 생성, 결제 완료, 사용자 가입 등 이벤트 .. Architecture 2024. 11. 4.