haejun IT

Shard 수 선택 Write 요청은 Primary shard로 연결되고 복제된다. 따라서 주어진 시간에 쓰기 요청을 감당할 수 있게 충분한 Primary shard를 보유해야한다. Read 요청은 다시 Indexing하지 않고도 아무데서나 계속 Replica를 만들어 낼 수 있다. 새 Index를 생성할 때 몇 개의 Shard가 필요할지는 무엇으로 결정할까? re-indexing 없이 primary shard를 추가할 수는 없다. 하지만 Index를 복사해서 Primary shard를 추가하고 re-indexing하는 것은 가능하다. Write/Read 트래픽을 위한 현재 요구사항을 생각해보고 단계적으로 확장하는 것이 좋다. Index 추가 확장 전략 새로운 Index에 원하는 Primary와 Repl..

Elasticsearch는 검색 뿐만 아니라 강력한 Aggregation 기능도 지원한다. 예를 들어, 웹 록와 같이 구조화된 데이터를 indexing 할 경우 Elasticsearch와 Elastic Stack을 사용해 해당 데이터를 빠르게 분석하고 시각화할 수 있다. Elasticsearch는 몇 ms만에 대규도 데이터 셋을 Aggregation할 수 있기 때문에 경우에 따라서는 Hadoop, Spark, Flink보다도 좋은 대안이 될 수 있다. 실제로 많은 조직에서 Elasticsearch를 검색보다는 Aggregation 목적으로 많이 사용하기도 한다. Aggregations, Bucket, Matrix Hadoop이나 Spark를 사용하기 전에 수행해야 하는 작업을 Elasticsearch A..

Kafka Apache 프로젝트이며 open source stream 처리 플랫폼이기 때문에 Logstash 혹은 Beats와 동일한 목적을 수행하며 AWS Kinesis와도 여러 공통점이 있다. 높은 처리량과 짧은 지연시간을 갖고 있는 Pub/Sub 매커니즘이며, 수많은 서버의 로그와 같이 여러 입력 데이터 소스를 입력으로 받을 수 있고, 안정적으로 Target에 Publish 할 수 있다. 또한 처리중인 stream을 저장할 수 있는 기능을 가진 프레임 워크이다. 따라서 Logstash와 많은 공통점이 있지만 이미 데이터가 Kafka를 통해 유입되고 있는 환경에서 데이터를 Elasticsearch와 같은 다른 Target으로 가져와야 하는 경우 혹은 Logstash를 활용하여 Kafka에서 출력되는 ..

Hadoop vs Logstash/Elasticsearch Hadoop 구글과 같이 아주 많은 웹사이트에서 데이터를 수집해야할 때 적절 효율적으로 빅데이터를 수집 및 처리할 수 있다. Elasticsearch 추후에 빠르고 효율적인 검색을 위해 데이터를 저장하고 인덱스화 해야하는 경우 적절 뛰어난 검색 기능 분석과 데이터 시각화에 적합 Logstash - 실시간 데이터를 수집하고자 할 때 적절 각 프레임워크을 함께 사용하면 장점을 같이 가져갈 수 있다. 예를 들어 수십억개의 웹사이트에 대한 정보를 검색하는 예시에서 하둡을 사용하여 데이터를 수집하고 이를 Elasticsearch에 전달한다. 그러면 Elasticsearch는 해당 데이터를 검색하는 사용자에게 신속하게 결과를 반환할 수 있다. Hadoop ..