DATA/HADOOP_HIVE(3)
-
HIVE 설치
-derbyhttps://db.apache.org/derby/derby_downloads.html-hivehttps://archive.apache.org/dist/hive/ ■Derby Hive는 대규모 데이터 처리 및 쿼리 수행을 위한 데이터 웨어하우스 시스템으로, 테이블 구조, 스키마, 데이터 타입, 파티션 정보 등 Hive에서 데이터 처리를 위해 필요한 정보를 포함한 메타데이터를 저장하는 데 필요하다.Hive 설치 시 Derby 데이터베이스는 주로 테스트 및 개발 환경에서 사용되며 Hive의 메타데이터를 저장하는 데 사용된다. Derby는 Java로 작성된 경량 데이터베이스로, 설치와 설정이 간편하다. 개발 및 테스트 환경에서 Hive의 메타데이터를 저장하고 조작하는 데 유용하여 Hive의 ..
2024.08.09 -
HADOOP 설치 및 테스트
■하둡 환경 변수 설정 ■ jdk ■ template 확장자 변경 MapReduce 작업이 사용할 프레임워크를 지정한다. mapreduce.framework.name: 이 속성은 MapReduce 작업을 실행할 프레임워크를 설정한다. - yarn: yarn으로 설정하면, MapReduce 작업이 YARN (Yet Another Resource Negotiator) 프레임워크를 사용하여 실행된다. 이는 Hadoop의 리소스 관리를 위한 기본 프레임워크이다. - local: local로 설정하면, MapReduce 작업이 로컬 모드에서 실행된다. 즉, 모든 작업이 동일한 JVM 프로세스에서 실행된다. - classic: classic으로 설정하면, 오..
2024.08.08 -
01 mysql 2024.08.06