카프카 프로듀서의 이해데이터 저장:Kafka의 프로듀서(Producer)는 데이터를 토픽(Topic)에 전송한다. 이때 데이터를 전송받은 카프카 브로커(Broker)는 해당 데이터를 파티션(Partition)에 저장한다.카프카는 메시지를 파일 시스템에 저장한다. 각 파티션에 대해 하나 이상의 로그 파일이 생성되며, 이 파일들은 디스크에 저장된다.속도 이슈:Kafka는 데이터를 파일 시스템에 저장하기 때문에, 파일 입출력(File I/O) 속도가 문제될 수 있다.파일 시스템에서의 속도 이슈를 해결하기 위해 페이지 캐시(Page Cache)를 활용하여 디스크 입출력 속도를 개선한다.페이지 캐시(Page Cache):페이지 캐시는 운영 체제(OS)가 관리하는 메모리 영역으로, 파일 입출력 성능을 향상시키는 역..

Kafka란?Kafka의 역사 및 기본 구조 소개:Kafka는 LinkedIn에서 시작되어 현재는 Apache Software Foundation에서 관리하는 오픈소스 메시징 시스템이다. 주로 대규모의 데이터 스트리밍과 실시간 데이터 처리에 사용된다.Kafka는 분산 스트리밍 플랫폼으로, 데이터를 실시간으로 처리하고, 저장하며, 다양한 애플리케이션에서 데이터를 쉽게 송수신할 수 있도록 한다.Kafka의 주요 구성 요소로는 Producer, Broker, Consumer, Topic, Partition 등이 있다.Kafka의 구조카프카 브로커의 이해:Kafka 브로커는 메시지를 저장하고 Consumer로부터 요청을 받으며, Producer로부터 데이터를 받아서 토픽에 기록하는 역할을 한다.하나의 Kafka..

Data Observability (데이터 관측)Data Observability란 조직 내에서 시스템에 대한 데이터를 완전히 이해하고, 데이터의 상태를 실시간으로 모니터링하고 문제를 감지할 수 있는 능력을 의미한다. 이를 통해 데이터 품질을 유지하고 문제를 미리 감지하여 빠르게 해결할 수 있다. 데이터 관측은 주로 자동화된 모니터링, 알람, 트리거 등을 활용하여 이루어진다.Data Observability의 5 Pillars (5개의 주요 요소)Data Observability를 구성하는 5가지 핵심 요소는 다음과 같다:Freshness (신선도):목표: 데이터가 최신 상태로 업데이트되었는지 확인하는 것.설명: 데이터가 시간에 맞게 최신으로 업데이트되고 있는지 추적한다. , 실시간 데이터 처리 시스템에..

ETL(Extract, Transform, Load)과 ELT(Extract, Load, Transform)의 차이와 활용 사례1. ETL과 ELT의 차이ETL: 데이터를 추출(Extract)한 후 변환(Transform) 작업을 수행하고, 변환된 데이터를 대상 데이터 저장소로 적재(Load)한다.주로 데이터가 구조화된 상태에서 사용되며, 데이터 웨어하우스가 이미 준비된 환경에서 효율적이다.장점: 데이터를 미리 변환하기 때문에 적재 후 빠르고 안정적으로 분석할 수 있다.ELT: 데이터를 추출(Extract)하여 먼저 대상 데이터 저장소로 적재(Load)한 뒤, 저장소 내부에서 변환(Transform) 작업을 수행한다.현대적인 분산 처리 및 클라우드 기반 데이터 플랫폼에서 활용되며, 대규모 비구조화 데이터..

UTC와 KST는 시간대(Time Zone)와 관련된 용어로, 데이터 분석에서 타임스탬프나 시간 처리에 자주 사용된다.1. UTC (Coordinated Universal Time)뜻: 협정 세계시(Universal Time Coordinated)로, 전 세계적으로 동일하게 사용하는 표준 시간대이다.특징:시간대 차이가 없는 기준 시간.영국 그리니치 천문대를 기준으로 한 GMT(Greenwich Mean Time)와 거의 동일하지만, UTC는 더 정밀한 기준이다.2. KST (Korea Standard Time)뜻: 한국 표준시(Korea Standard Time)로, 한국의 시간대이다.UTC와의 차이:KST는 UTC+9 시간대를 사용한다. 즉, UTC 시간에 9시간을 더하면 KST가 된다.예: UTC가 ..

■ 설치파일 다운Download MongoDB Community Server | MongoDB Try MongoDB Community EditionTry MongoDB Community Edition on premise non-relational database including the Community Server and Community Kubernetes Operator for your next big project!www.mongodb.com MongoDB Shell Download | MongoDB