카프카 모니터링 툴을 설정

1. Docker 설치

 

 

1. docker 그룹 생성

우선 Docker 그룹이 존재하지 않는 문제를 해결해야 한다. Docker 그룹을 생성하려면 아래 명령어를 실행한다.

sudo groupadd docker

2. 사용자를 docker 그룹에 추가

그룹을 생성한 후, 사용자 ($USER)를 docker 그룹에 추가한다.

sudo usermod -aG docker $USER

3. 세션 새로고침

usermod 명령어를 사용한 후, 새로운 세션을 시작하거나 시스템을 재시작해야 한다. 터미널에서 newgrp docker 명령어로 그룹 변경을 적용할 수 있다.

newgrp docker

그렇지 않으면 시스템을 재시작하여 변경사항을 적용할 수 있다.

sudo reboot

4. Docker 명령어 실행

이제 Docker 권한이 정상적으로 부여되었으므로, Docker 명령어를 sudo 없이 실행할 수 있다. docker pull 명령어를 다시 실행하여 Kafka UI 이미지를 다운로드한다.

docker pull provectuslabs/kafka-ui

 

 

 

 

 

 

 

 

 

 

Kafka UI와 Kafka 브로커를 Docker Compose로 설정

1. Docker 이미지 확인 (docker image ls)

먼저, 이미 다운로드한 Docker 이미지를 확인하려면 아래 명령어를 실행한다.

docker image ls

이 명령어는 로컬에 있는 Docker 이미지 목록을 출력한다. provectuslabs/kafka-ui 이미지가 정상적으로 다운로드되었는지 확인 

2. Docker Compose 소개

Docker Compose는 여러 개의 Docker 컨테이너를 정의하고 관리할 수 있도록 돕는 도구이다. 여러 개의 서비스 (컨테이너)들을 하나의 YAML 파일인 docker-compose.yml로 정의하고 이를 기반으로 쉽게 컨테이너를 시작, 중지, 재시작할 수 있다.

3. docker-compose.yml 파일 작성

docker-compose.yml 파일을 작성해야 한다. 이 파일에는 Kafka, Kafka UI, ZooKeeper 컨테이너 설정을 포함시킬 것이다.

 

 

error

주키퍼 실행

 

카프카실행

 

 

 

 

 

Kafka의 server.properties 파일에서 listeners와 advertised.listeners의 역할을 정확히 이해하고 설정하는 것은 중요한 부분이다. 이 설정들은 Kafka 브로커가 클라이언트 및 다른 서비스와 통신하는 방식에 큰 영향을 미친다.

listeners와 advertised.listeners 설정

• listeners: Kafka 브로커가 클라이언트 연결을 수신할 IP 주소와 포트를 정의한다. 일반적으로 Kafka 브로커가 다른 컨테이너나 서버와 통신할 때 사용하는 내부 바인딩 주소이다.
  • 예: listeners=PLAINTEXT://:9092는 Kafka가 모든 네트워크 인터페이스에서 포트 9092로 연결을 수신하도록 한다.
• advertised.listeners: 클라이언트가 Kafka 브로커에 연결할 때 사용하는 "공개" 주소이다. 이 주소는 Kafka 클러스터를 사용할 클라이언트나 커맨드라인 툴이 브로커와 연결할 때 사용된다.
  • 예: advertised.listeners=PLAINTEXT://192.168.45.62:9092는 클라이언트가 외부에서 Kafka 브로커에 접근할 때 사용할 공개 IP 주소를 지정한다. 이 주소는 클라이언트에게 "공식적으로" 알려주는 주소이다.
•  

 

설정 방법

config/server.properties 파일을 수정하여, 내부 연결과 외부 연결을 구분하여 설정할 수 있다.

1. listeners: Kafka가 내부적으로 바인딩할 IP 주소를 설정한다. 일반적으로 Docker 환경에서는 0.0.0.0 또는 localhost로 설정할 수 있다.

   listeners=PLAINTEXT://0.0.0.0:9092
   

   • 여기서 0.0.0.0은 Kafka가 모든 네트워크 인터페이스에서 연결을 수신하도록 설정하는 것이다.
   • 특정 IP로 설정하려면 listeners=PLAINTEXT://<your_ip>:9092로 지정할 수 있다.
2. 예:
3. advertised.listeners: Kafka 브로커가 외부에서 접근할 때 사용하는 공개 주소이다. 클러스터에 연결할 클라이언트에게 이 주소를 사용하도록 알린다.

   advertised.listeners=PLAINTEXT://192.168.45.62:9092
   

   • 여기서 192.168.45.62는 Kafka 클러스터의 외부에서 접근할 수 있는 IP 주소이다. Docker 환경에서는 Kafka 호스트의 IP를 사용한다.
   • advertised.listeners는 Kafka UI와 같은 클라이언트가 Kafka 브로커에 연결할 때 사용하는 주소이므로, 외부에서 접근 가능한 IP 주소로 설정하는 것이 중요하다.
4.  

 :~/kafka_2.13-3.9.0$ vi docker-compose.yml

•  

 

점속완료

 

 

 

아직 연결이 안되는 현상

 

 

 

Docker 환경에서 host.docker.internal을 사용하여 컨테이너에서 호스트 시스템에 접근하는 방법 

Docker에서 host.docker.internal 사용하기

host.docker.internal은 Docker 컨테이너가 호스트 시스템과 통신할 때 사용하는 특별한 DNS 이름이다. 이 DNS 이름을 사용하면 Docker 컨테이너 내에서 호스트 시스템을 localhost 대신에 참조할 수 있다. 이는 특히 Docker와 로컬 시스템 간의 네트워크 연결을 필요로 할 때 유용하다.

그러나 Docker 환경에서 host.docker.internal을 사용하려면 추가 설정이 필요한다. 특히 Docker Compose 환경에서 이 설정을 적용하려면 extra_hosts를 사용하여 host.docker.internal을 호스트 시스템의 실제 IP 주소인 host-gateway에 매핑해야 한다.

설정 예시

아래는 host.docker.internal을 Docker Compose에서 사용할 수 있도록 설정한 예시이다.

설명

1. extra_hosts:
   • extra_hosts를 사용하여 host.docker.internal을 host-gateway에 매핑한다. 이 설정을 통해 Docker 컨테이너가 host.docker.internal을 통해 호스트 시스템에 접근할 수 있게 된다.
   • host-gateway는 Docker가 제공하는 특수한 키워드로, Docker 엔진이 실행되는 호스트 시스템의 IP 주소로 자동으로 설정된다.
2. KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS:
   • KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS 환경 변수는 Kafka UI가 Kafka 클러스터와 통신할 때 사용할 Kafka 브로커의 주소이다.
   • host.docker.internal:9092를 사용하여 Docker 컨테이너가 호스트 시스템에서 실행 중인 Kafka 브로커에 접근할 수 있도록 한다.
3. KAFKA_CLUSTERS_0_ZOOKEEPER:
   • KAFKA_CLUSTERS_0_ZOOKEEPER 환경 변수는 Kafka UI가 사용할 Zookeeper 서버의 주소를 지정한다.
   • host.docker.internal:2181을 사용하여 Docker 컨테이너에서 Zookeeper에 접근할 수 있게 한다.

 

가상환경 아이피설정

 

 

 

 접속완료