haejun IT

MapReduce 맵리듀스는 간단한 단위작업을 반복하여 처리할 때 사용하는 프로그래밍 모델이다. 간단한 단위작업을 처리하는 맵(Map) 작업과 맵 작업의 결과물을 모아서 집계하는 리듀스(Reduce) 단계로 구성된다. 하둡에서 분산처리를 담당하는 맵리듀스 작업은 맵과 리듀스로 나누어 처리된다. 맵, 리듀스 작업은 병렬로 처리가 가능한 작업이므로, 여러 컴퓨터에서 동시에 작업을 처리하여 속도를 높일 수 있다. MapReduce 작업 단위 하둡 v1의 작업 단위는 잡(job)이고, 하둡 v2의 작업 단위는 애플리케이션(application)이다. YARN 아키텍처가 도입되면서 이름은 변경되었지만 동일하게 관리된다. Job은 Map 과 Reduce 태스크로 나누어진다. 태스크는 attempt 단위로 실행된다...

Hadoop vs Logstash/Elasticsearch Hadoop 구글과 같이 아주 많은 웹사이트에서 데이터를 수집해야할 때 적절 효율적으로 빅데이터를 수집 및 처리할 수 있다. Elasticsearch 추후에 빠르고 효율적인 검색을 위해 데이터를 저장하고 인덱스화 해야하는 경우 적절 뛰어난 검색 기능 분석과 데이터 시각화에 적합 Logstash - 실시간 데이터를 수집하고자 할 때 적절 각 프레임워크을 함께 사용하면 장점을 같이 가져갈 수 있다. 예를 들어 수십억개의 웹사이트에 대한 정보를 검색하는 예시에서 하둡을 사용하여 데이터를 수집하고 이를 Elasticsearch에 전달한다. 그러면 Elasticsearch는 해당 데이터를 검색하는 사용자에게 신속하게 결과를 반환할 수 있다. Hadoop ..

빅데이터 탐색 개요 처리/탐색 처리 데이터를 가공하는 단계 filtering, cleansing, 통합, 분리 등을 거쳐서 빅데이터 웨어하우스를 생성 탐색 데이터를 이해하는 단계 (EDA) 빅데이터 마트 빅데이터 웨어하우스를 탐색을 할 수 있게 되고, 탐색을 할 수 있게 되면 데이터를 이해하게 되었으니 데이터를 다시 한번 이해하기 쉽게 만드는 것. 빅데이터 처리/탐색의 최종 목표는 빅데이터 분석할 수 있는 빅데이터 마트를 만드는 것이다. Hive - 하이브 SQL과 유사한 방식으로 만들어 하둡에 접근성을 높인 오픈소스 프레임워크 단점 맵리듀스 코어를 그대로 사용함으로써 성능면에서 만족스럽지 못했다. 네트워크 I/O, 디스크 I/O가 너무 크기 때문에 반복적인 대화형 연산작업에 하이브가 적합하지 않다는 단..

HDFS HDFS(Hadoop Distributed File System)는 범용 하드웨어에서 동작하고, 장애 복구성을 가지는 분산 파일 시스템을 목표로 한다. HDFS는 실시간 처리보다는 배치처리를 위해 설계되었다. 따라서 빠른 데이터 응답시간이 필요한 작업에는 적합하지 않다. 또한 네임노드가 단일 실패 지점(SPOF)이 되기 때문에 네임노드 관리가 중요하다. 특징 블록 단위 저장 데이터를 블록 단위로 나누어서 저장한다. 블록 사이즈보다 작은 파일은 기존 파일의 사이즈로 저장하고, 블록 사이즈보다 큰 크기의 데이터파일은 블록 단위로 나누어 저장한다. 예를 들어 블록의 단위가 128MB일 때, 200MB의 데이터를 저장하기 위해서는 128MB 데이터 블록 하나와 72MB 데이터 블록 하나로 나누어서 저장..