1. Docker 설치  1. docker 그룹 생성우선 Docker 그룹이 존재하지 않는 문제를 해결해야 한다. Docker 그룹을 생성하려면 아래 명령어를 실행한다.sudo groupadd docker2. 사용자를 docker 그룹에 추가그룹을 생성한 후, 사용자 ($USER)를 docker 그룹에 추가한다.sudo usermod -aG docker $USER3. 세션 새로고침usermod 명령어를 사용한 후, 새로운 세션을 시작하거나 시스템을 재시작해야 한다. 터미널에서 newgrp docker 명령어로 그룹 변경을 적용할 수 있다.newgrp docker그렇지 않으면 시스템을 재시작하여 변경사항을 적용할 수 있다.sudo reboot4. Docker 명령어 실행이제 Docker 권한이 정상적으로 ..

WSL에 Homebrew 설치하기Homebrew 설치 스크립트 실행먼저, WSL에 Homebrew를 설치하려면 아래 명령어를 실행  /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"  설치 경로 확인설치가 완료되면, 설치 경로를 환경 변수에 추가해야 한다. 설치 스크립트에서 출력된 경로를 복사하거나, 일반적으로는 아래 경로에 설치된다.echo 'eval "$(/home/linuxbrew/.linuxbrew/bin/brew shellenv)"' >> ~/.profileeval "$(/home/linuxbrew/.linuxbrew/bin/brew shellenv)"   환경 변수 갱신.p..

Kafka Consumer(카프카 컨슈머)는 Kafka Topic에 저장된 데이터를 읽어오는 역할을 하는 애플리케이션 또는 프로세스이다.1. Kafka Consumer의 역할Read/Subscribe:Kafka 컨슈머는 토픽(Topic)에 저장된 데이터를 읽어오는 행위를 수행한다.Kafka의 Publish-Subscribe 모델에서 Subscriber(구독자) 역할을 한다.데이터 소비:데이터가 Kafka에 기록(Publish)되면, 컨슈머는 이를 읽어 애플리케이션 또는 시스템으로 전달한다.데이터는 실시간 스트리밍이나 배치(batch) 처리에 활용된다.2. Kafka Consumer의 데이터 흐름Kafka 컨슈머는 다양한 데이터 소스와 대상 시스템을 연결하며, 아래의 흐름으로 동작한다.데이터 소스와 통합:..

카프카 프로듀서 구조는 메시지를 생성하고 브로커로 전송하는 과정에서 여러 중요한 구성 요소들이 상호작용하는 방식이다. 카프카의 성능 최적화와 효율적인 메시지 전송을 위한 핵심이다. 1. 카프카 프로듀서 구조Record Accumulator (Buffer)Record Accumulator는 프로듀서에서 생성된 메시지들을 임시로 저장하는 버퍼 역할을 한다.여러 메시지가 배치(batch)로 묶여서 전송된다. 이는 네트워크와 I/O 성능을 최적화하는 데 중요한 역할을 한다.각 파티션별로 별도의 버퍼가 존재하여 메시지들이 묶여 전송된다.Sender ThreadSender Thread는 Record Accumulator에 저장된 메시지를 실제 카프카 브로커로 전송하는 역할을 한다.이 쓰레드는 주기적으로 배치된 메시..