1. Apache Kafka란 Apache Kafka란 대용량의 실시간 로그 처리에 특화되어 설계된 메시징 시스템입니다. Kafka는 Pub/Sub 모델을 기반으로 동작하며 크게 producer, consumer, broker로 구성됩니다. 그림으로 표현하면 아래와 같이 나타납니다. Producer: 데이터를 발생시키고 Kafka Cluster에 적재하는 프로세스 Kafka Cluster: 카프카 서버로 이루어진 클러스터 Broker: 카프카 서버 Zookeeper: 분산 코디네이션 시스템으로, Kafka Broker를 하나의 Cluser로 코디네이팅하는 역할을 하며, Cluster의 Leader를 발탁하는 방식을 제공 Topic: Kafka Cluster에 데이터를 관리할 때 그 기준이 되는 개념. T..

1. Pub/Sub 모델이란 Pub/Sub 모델은 Publish/Subscribe의 줄임말로 메시지 기반의 미들웨어 시스템을 말합니다. 일반적으로 메시지를 전송할 때는 publisher(sender)가 subscriber(receiver)에게 직접 메시지를 전송합니다. 하지만 Pub/Sub 모델에서는 publisher는 어떤 subscriber가 있는지 모르는 상태에서 메시지를 전송하고 subscriber는 publisher에 대한 정보 없이 자신의 Interest에 맞는 메시지만을 전송 받는 것을 말합니다. 위의 그림을 보면 sensor는 어떤 기기가 메시지를 받을지 모르는 상태에서 MQTT로 데이터를 전송합니다. 그리고 MQTT는 temperature가 필요한 기기들에게 메시지를 전송합니다. 이처럼 ..