haejun IT

Logstash란? Elasticsearch로 데이터를 불러오는 것에 대해 얘기할 때 Logstash를 빼 놓을 수 없다. 기본적으로, logstash는 웹 서버에서 생성되는 로그 파일과 Elasticsearch 사이와 같이 데이터와 출력 중간에 위치한다. 사실 logstash는 이보다 더 유연하다. Kafka, S3, HDFS 등 거의 모든 곳에서 데이터를 불러와 AWS, Elasticsearch, Hadoop 클러스터 등으로 데이터를 집어넣을 수 있다. 따라서 Logstash는 데이터를 전송하는데 매우 유용한 도구이다. 또한 다음과 같은 작업도 할 수 있다. 구조화 되지 않은 데이터를 구조화 시키는 작업 웹 로그의 문장들을 쪼개서 필요없는 데이터를 필터링 할 수 있다. 데이터를 변환할 수 있다. 개인..

스크립트를 사용하여 데이터 가져오기 A 지점에서 데이터를 가져와 JSON과 나머지 인터페이스를 사용하여 Elasticsearch로 불러오는 스크립트를 작성해보자. 먼저 연습에 필요한 데이터셋을 다운로드 받는다. 다음의 데이터셋은 교육용으로 무료 제공되는 영화 정보에 대한 데이터셋이다. wget http://files.grouplens.org/datasets/movielens/ml-latest-small.zip 압출을 풀 수 있는 unzip 라이브러리를 다운로드 받는다. sudo apt install unzip 압축을 풀어준다. unzip ml-latest-small.zip 아래의 파이썬 스크립트를 movies_to_json 저장한다. """ - movies.csv 파일을 읽고 영화 제목이나 출시 연도, ..

Query Lite 검색 본문이 없이도 검색 요청이 가능한 형태. curl같은 명령어들을 사용할 때 URL 안에 모든 것을 다 집어 넣으면 훨씬 효율적일 것이다. 예를 들면 다음과 같은 형태이다. /movies/_search?q=title:star 영화 제목에 star가 포함되어 있는 검색 결과를 리턴 /movies/_search?q=+year:>2010+title:trek 개봉 연도가 2010년 이후이고, 영화 제목이 trek이 포함되는 검색 결과 리턴 ?q= 는 쿼리를 하겠다는 뜻으로, 뒤의 내용을 질의하겠다는 의미이다. + 연산자를 사용하여 위의 예시와 같은 boolean 연산을 수행할 수 있으며, 관계형 쿼리도 사용할 수 있다. 여기서의 관계형은 상대적인 크기를 의미한다. 관계형 데이터베이스에서의..

동시성 Elasticsearch와 같은 분산형 시스템을 다룰 때 동시성 관련 문제가 생길 수 있다. 두 클라이언트가 동시에 작업을 수행하려고 하면 어떻게 될까? 이것이 바로 동시성 문제이다. Elasticsearch에선 이를 어떻게 해결할 수 있을지 알아보자. Optimistic Concurrency Control 업데이트에 관해 다룰 때 _version을 얘기한 것과 비슷한 방식이다. 차이점은 단일 version field 대신 sequence number와 해당 sequence를 소유하는 기본 shard가 있다는 것이다. sequence number와 primary term을 함께 가져옴으로써 해당 document의 고유한 연대 기록을 갖게 된다. 두 개의 요청이 있고, 각 요청은 모두 _seq_no..