haejun IT

MapReduce 맵리듀스는 간단한 단위작업을 반복하여 처리할 때 사용하는 프로그래밍 모델이다. 간단한 단위작업을 처리하는 맵(Map) 작업과 맵 작업의 결과물을 모아서 집계하는 리듀스(Reduce) 단계로 구성된다. 하둡에서 분산처리를 담당하는 맵리듀스 작업은 맵과 리듀스로 나누어 처리된다. 맵, 리듀스 작업은 병렬로 처리가 가능한 작업이므로, 여러 컴퓨터에서 동시에 작업을 처리하여 속도를 높일 수 있다. MapReduce 작업 단위 하둡 v1의 작업 단위는 잡(job)이고, 하둡 v2의 작업 단위는 애플리케이션(application)이다. YARN 아키텍처가 도입되면서 이름은 변경되었지만 동일하게 관리된다. Job은 Map 과 Reduce 태스크로 나누어진다. 태스크는 attempt 단위로 실행된다...

Shard 수 선택 Write 요청은 Primary shard로 연결되고 복제된다. 따라서 주어진 시간에 쓰기 요청을 감당할 수 있게 충분한 Primary shard를 보유해야한다. Read 요청은 다시 Indexing하지 않고도 아무데서나 계속 Replica를 만들어 낼 수 있다. 새 Index를 생성할 때 몇 개의 Shard가 필요할지는 무엇으로 결정할까? re-indexing 없이 primary shard를 추가할 수는 없다. 하지만 Index를 복사해서 Primary shard를 추가하고 re-indexing하는 것은 가능하다. Write/Read 트래픽을 위한 현재 요구사항을 생각해보고 단계적으로 확장하는 것이 좋다. Index 추가 확장 전략 새로운 Index에 원하는 Primary와 Repl..

Elasticsearch는 검색 뿐만 아니라 강력한 Aggregation 기능도 지원한다. 예를 들어, 웹 록와 같이 구조화된 데이터를 indexing 할 경우 Elasticsearch와 Elastic Stack을 사용해 해당 데이터를 빠르게 분석하고 시각화할 수 있다. Elasticsearch는 몇 ms만에 대규도 데이터 셋을 Aggregation할 수 있기 때문에 경우에 따라서는 Hadoop, Spark, Flink보다도 좋은 대안이 될 수 있다. 실제로 많은 조직에서 Elasticsearch를 검색보다는 Aggregation 목적으로 많이 사용하기도 한다. Aggregations, Bucket, Matrix Hadoop이나 Spark를 사용하기 전에 수행해야 하는 작업을 Elasticsearch A..

Kafka Apache 프로젝트이며 open source stream 처리 플랫폼이기 때문에 Logstash 혹은 Beats와 동일한 목적을 수행하며 AWS Kinesis와도 여러 공통점이 있다. 높은 처리량과 짧은 지연시간을 갖고 있는 Pub/Sub 매커니즘이며, 수많은 서버의 로그와 같이 여러 입력 데이터 소스를 입력으로 받을 수 있고, 안정적으로 Target에 Publish 할 수 있다. 또한 처리중인 stream을 저장할 수 있는 기능을 가진 프레임 워크이다. 따라서 Logstash와 많은 공통점이 있지만 이미 데이터가 Kafka를 통해 유입되고 있는 환경에서 데이터를 Elasticsearch와 같은 다른 Target으로 가져와야 하는 경우 혹은 Logstash를 활용하여 Kafka에서 출력되는 ..