개발 노트

리벨런싱이란컨슈머 그룹 내의 컨슈머들은 자신들이 읽는 파티션의 소유권을 공유합니다. 즉 하나의 켠슈머 그룹에서 컨슈머 A가 담당하던 파티션 읽기 작업을 컨슈머 B가 이관받아 작업을 처리할 수 있습니다. 이와 같은 컨슈머 그룹 내의 소유권 이관 작업을 리밴런싱(Rebalance)라고 합니다. 이처럼 리밸런싱은 컨슈머 파티선 소유권을 조정할 수 있기 때문에 컨슈머 그룹의 확장성과 가용성을 높여줍니다.컨슈머 그룹 코디네이터컨슈머 그룹 코디네이터는 특정 컨슈머 그룹을 관리하는 브로커입니다. 즉, 컨슈머 그룹 별로 관리하는 브로커가 지정되는데 이 브로커가 해당 컨슈머 그룹의 코디네이터가 됩니다. 그룹 코디네이터는 아래와 같은 정보를 추적하고 관리하는데 만약 해당 정보에 대해 변경이 발생하면 리밸런싱을 실시합니다...

Kafka Consumer GroupKafka Consumer Group은 Kafka의 개별 Consumer 인스턴스들을 하나로 묶는 논리적 그룹 단위 입니다. 하나의 Topic에는 여러 Consumer Group이 동시에 접속해 메시지를 가져올 수 있습니다. 이것은 기존의 다른 메시징 큐에서 Consumer가 메시지를 가져가면 큐에서 삭제되어 다른 Consumer가 가져갈 수 없는 것과는 다른 방식입니다. 이 방식을 통해 하나의 데이터를 다양한 용도로 사용할 수 있습니다.Kafka Consumer Group을 사용하는 이유장애 내성특정 Consumer에 문제가 생기는 경우 동일 Group 내의 다른 Consumer가 계속해서 파티션에서 데이터를 읽을 수 있습니다.예를 들어 위 그림에서 server1에 ..

Project Reactor란Project Reactor란 Java 환경에서 비동기 application을 만들기 위한 reactive library입니다. Reactor는 java에서 비동기를 위해 제공하는 Flux와 Mono를 활용하고 있습니다. 이를 통해 메모리를 효율적으로 사용하고 불필요한 buffering이나 blocking을 방지합니다.Reactor KafkaReactor Kafka는 앞서 설명한 Project Reactor를 활용한 Kafka의 reactive library입니다. Project Reactor를 활용해서 Kafka의 메시지 송수신을 비동기로 처리할 수 있게 합니다.Reactor Kafka 특징Kafka를 위한 Functional InterfaceReactor Kafka는 Ja..