하둡(Hadoop)이란?
하둡이란? 야후의 더그 커팅이 '넛치'라는 검색엔진을 개발하는 과정에서 대용량의 비정형 데이터를 기존의 RDB 기술로는 처리가 힘들다는 것을 깨닫고, 새로운 기술을 찾는 중 구글에서 발표한 GFS(Google File System)와 MapReduce 관련 논문을 참고하여 개발한 프레임워크. 이후 아파치 재단의 오픈 소스로 공개되었다. 특징 하둡은 하나의 성능 좋은 컴퓨터를 이용하여 처리하는 대신(Scale-up) 적당한 성능의 범용 컴퓨터 여러 대를 클러스터화하고(Scale-out), 큰 크기의 데이터를 클러스터에서 병렬로 동시에 처리하여 처리 속도를 높이는 것을 목적으로 분산처리를 위한 오픈소스 프레임 워크 하둡의 구성 요소 하둡은 다음의 주요 모듈로 구성된다. Hadoop Common 하둡의 다른 ..
Data Engineering/Hadoop
2022. 10. 23. 22:01
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- Python
- Flutter
- HDFS
- 빅데이터
- 이코테
- 프로그래머스
- Hadoop
- sqoop
- OS
- BOJ
- CSAPP
- DFS
- Elasticsearch
- heapq
- cka
- elasticsaerch
- kafka
- 빅데이터를지탱하는기술
- oozie
- 네트워크
- mahout
- kubernetes
- logstash
- Espher
- GROK
- DP
- 백준
- CS
- 파이썬
- Algorithm
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
글 보관함