haejun IT

MapReduce 맵리듀스는 간단한 단위작업을 반복하여 처리할 때 사용하는 프로그래밍 모델이다. 간단한 단위작업을 처리하는 맵(Map) 작업과 맵 작업의 결과물을 모아서 집계하는 리듀스(Reduce) 단계로 구성된다. 하둡에서 분산처리를 담당하는 맵리듀스 작업은 맵과 리듀스로 나누어 처리된다. 맵, 리듀스 작업은 병렬로 처리가 가능한 작업이므로, 여러 컴퓨터에서 동시에 작업을 처리하여 속도를 높일 수 있다. MapReduce 작업 단위 하둡 v1의 작업 단위는 잡(job)이고, 하둡 v2의 작업 단위는 애플리케이션(application)이다. YARN 아키텍처가 도입되면서 이름은 변경되었지만 동일하게 관리된다. Job은 Map 과 Reduce 태스크로 나누어진다. 태스크는 attempt 단위로 실행된다...

HDFS Federation 네임 노드는 파일 정보 메타 데이터를 메모리에서 관리한다. 파일이 많아지면 메모리 사용량이 늘어나게 되고, 메모리 관리 문제가 발생한다. 이를 해결하기 위해 하둡 v2부터 HDFS Federation을 지원한다. HDFS federation은 디렉토리(네임 스페이스) 단위로 네임 노드를 등록하여 사용한다. 예를 들어 user, hadoop, tmp 세 개의 디렉토리가 존재할 때, /user, /hadoop, /tmp 디렉토리 단위로 총 3개의 네임 노드를 실행하여 파일을 관리하게 하는 것이다. HDFS federation을 사용하면 파일, 디렉토리의 정보를 가지는 네임스페이스와 블록의 정보를 가지는 블록 풀을 각 네임 노드가 독립적으로 관리한다. 네임스페이스와 블록 풀을 네임..

HDFS HDFS(Hadoop Distributed File System)는 범용 하드웨어에서 동작하고, 장애 복구성을 가지는 분산 파일 시스템을 목표로 한다. HDFS는 실시간 처리보다는 배치처리를 위해 설계되었다. 따라서 빠른 데이터 응답시간이 필요한 작업에는 적합하지 않다. 또한 네임노드가 단일 실패 지점(SPOF)이 되기 때문에 네임노드 관리가 중요하다. 특징 블록 단위 저장 데이터를 블록 단위로 나누어서 저장한다. 블록 사이즈보다 작은 파일은 기존 파일의 사이즈로 저장하고, 블록 사이즈보다 큰 크기의 데이터파일은 블록 단위로 나누어 저장한다. 예를 들어 블록의 단위가 128MB일 때, 200MB의 데이터를 저장하기 위해서는 128MB 데이터 블록 하나와 72MB 데이터 블록 하나로 나누어서 저장..

하둡이란? 야후의 더그 커팅이 '넛치'라는 검색엔진을 개발하는 과정에서 대용량의 비정형 데이터를 기존의 RDB 기술로는 처리가 힘들다는 것을 깨닫고, 새로운 기술을 찾는 중 구글에서 발표한 GFS(Google File System)와 MapReduce 관련 논문을 참고하여 개발한 프레임워크. 이후 아파치 재단의 오픈 소스로 공개되었다. 특징 하둡은 하나의 성능 좋은 컴퓨터를 이용하여 처리하는 대신(Scale-up) 적당한 성능의 범용 컴퓨터 여러 대를 클러스터화하고(Scale-out), 큰 크기의 데이터를 클러스터에서 병렬로 동시에 처리하여 처리 속도를 높이는 것을 목적으로 분산처리를 위한 오픈소스 프레임 워크 하둡의 구성 요소 하둡은 다음의 주요 모듈로 구성된다. Hadoop Common 하둡의 다른 ..