Kafka Consumer GroupKafka Consumer Group은 Kafka의 개별 Consumer 인스턴스들을 하나로 묶는 논리적 그룹 단위 입니다. 하나의 Topic에는 여러 Consumer Group이 동시에 접속해 메시지를 가져올 수 있습니다. 이것은 기존의 다른 메시징 큐에서 Consumer가 메시지를 가져가면 큐에서 삭제되어 다른 Consumer가 가져갈 수 없는 것과는 다른 방식입니다. 이 방식을 통해 하나의 데이터를 다양한 용도로 사용할 수 있습니다.Kafka Consumer Group을 사용하는 이유장애 내성특정 Consumer에 문제가 생기는 경우 동일 Group 내의 다른 Consumer가 계속해서 파티션에서 데이터를 읽을 수 있습니다.예를 들어 위 그림에서 server1에 ..

Project Reactor란Project Reactor란 Java 환경에서 비동기 application을 만들기 위한 reactive library입니다. Reactor는 java에서 비동기를 위해 제공하는 Flux와 Mono를 활용하고 있습니다. 이를 통해 메모리를 효율적으로 사용하고 불필요한 buffering이나 blocking을 방지합니다.Reactor KafkaReactor Kafka는 앞서 설명한 Project Reactor를 활용한 Kafka의 reactive library입니다. Project Reactor를 활용해서 Kafka의 메시지 송수신을 비동기로 처리할 수 있게 합니다.Reactor Kafka 특징Kafka를 위한 Functional InterfaceReactor Kafka는 Ja..

Github Actions란Github Actions는 빌드, 테스트 및 배포 파이프라인을 자동화할 수 있는 CI/CD 플랫폼입니다. repository에 대한 모든 pull 요청을 빌드 및 테스트하거나 병합된 끌어오기 요청을 프로덕션에 배포하는 워크플로를 만들 수 있습니다.Github Actions의 특징컨테이너(도커) 기반으로 동작개발자는 워크플로를 작성하여 다양한 이벤트를 기반으로 실행 가능워크플로는 runners라 불리는 인스턴스 내에서 실행됨Github 마켓 플레이스에서 여러 사람이 공유한 워크플로를 찾아서 사용할 수도 있고 직접 만들어서 공유도 가능YAML로 작성Github Actions의 장점별도의 서버 설치가 불필요. 제공해주는 클라우드가 있음비동기적 병렬 실행이 가능한 CI/CDGithu..

Sequential I/O일반적으로 RAM은 랜덤 액세스를 지원히자만, 디스크는 데이터가 위치하는 블록을 찾는 시간과 찾은 데이터 블록을 메모리에 카피하는 시간 등의 오버헤드가 존재합니다. 데이터가 RAM에 이미 존재한다면 이 과정은 생략되지만, 그렇지 않다면 page fault가 발생하여 느리게 인식됩니다. 하지만 대용량의 데이터를 처리하는데 그 모든 데이터를 RAM에 올리는 것은 현실적으로 어려움이 많습니다.Kafka는 디스크를 저장소로 사용하는 대신 Sequential I/O를 통해 탐색시간을 최소화합니다. Kafka의 데이터는 consumer가 읽어도 지워지지 않으며, 데이터는 맨 끝에 추가만 됩니다. 이로 인해 Kafka의 데이터는 디스크에 조각으로 나누어지지 않고 연속적인 블록에 저장됩니다. ..

Strategy Pattern이란 Strategy Pattern이란 객체들이 할 수 있는 행위 각각에 대해 전략 클래스를 생성하고, 유사한 행위들을 캡슐화하는 인터페이스를 정의하여 객체의 행위를 동적으로 바꾸고 싶은 경우 직접 행위를 수정하지 않고 젼략을 바꿔주기만 함으로써 행위를 유연하게 확장하는 방법을 말합니다. 간단히 말해서 객체가 할 수 있는 행위들 각각을 전략으로 만들어 놓고 동적으로 행위의 수정이 필요한 경우 전략을 바꾸는 것만으로 행위의 수정이 가능하도록 만든 패턴입니다. Strategy Pattern 예를 들어, 기차와 버스 클래스가 있고, 이 두 클래스는 Movable 인터페이스를 구현하다고 가정하겠습니다. 그리고 버스와 기차 객체를 사용하는 Client도 있습니다. public inte..

WEB 3.0이란 WEB 3.0은 인공지능과 블록체인을 기반으로 맞춤형 정보를 제고하고 데이터 소유를 개인화하는 3세대 인터넷입니다. 기존에 사용하던 서비스에서 인공지능을 통해 개인 맞춤형 정보를 얻고, 블록체인을 통해 개인의 정보 소유 및 보안을 강화하는 지능형 웹 기술입니다. 앞선 WEB 세대별 특징 WEB 1.0 WEB 1.0은 읽기 중심의 초기 인터넷 기술입니다. 과거의 웹 페이지는 소유자가 제공하는 정보만을 확인할 수 있었습니다. 단순히 뉴스와 책 등을 인터넷으로 표현했다고 생각하면 됩니다. 사용자는 정보를 게시할 수 없고, 단순히 웹페이지에서 제공하는 정보만을 확인할 수 있습니다. WEB 2.0 WEB 2.0은 이전의 읽기 중심에서 쓰기가 가능해졌습니다. 이에 따라 다양한 정보의 상호작용이 가..