haejun IT

스크립트를 사용하여 데이터 가져오기 A 지점에서 데이터를 가져와 JSON과 나머지 인터페이스를 사용하여 Elasticsearch로 불러오는 스크립트를 작성해보자. 먼저 연습에 필요한 데이터셋을 다운로드 받는다. 다음의 데이터셋은 교육용으로 무료 제공되는 영화 정보에 대한 데이터셋이다. wget http://files.grouplens.org/datasets/movielens/ml-latest-small.zip 압출을 풀 수 있는 unzip 라이브러리를 다운로드 받는다. sudo apt install unzip 압축을 풀어준다. unzip ml-latest-small.zip 아래의 파이썬 스크립트를 movies_to_json 저장한다. """ - movies.csv 파일을 읽고 영화 제목이나 출시 연도, ..

Query Lite 검색 본문이 없이도 검색 요청이 가능한 형태. curl같은 명령어들을 사용할 때 URL 안에 모든 것을 다 집어 넣으면 훨씬 효율적일 것이다. 예를 들면 다음과 같은 형태이다. /movies/_search?q=title:star 영화 제목에 star가 포함되어 있는 검색 결과를 리턴 /movies/_search?q=+year:>2010+title:trek 개봉 연도가 2010년 이후이고, 영화 제목이 trek이 포함되는 검색 결과 리턴 ?q= 는 쿼리를 하겠다는 뜻으로, 뒤의 내용을 질의하겠다는 의미이다. + 연산자를 사용하여 위의 예시와 같은 boolean 연산을 수행할 수 있으며, 관계형 쿼리도 사용할 수 있다. 여기서의 관계형은 상대적인 크기를 의미한다. 관계형 데이터베이스에서의..

동시성 Elasticsearch와 같은 분산형 시스템을 다룰 때 동시성 관련 문제가 생길 수 있다. 두 클라이언트가 동시에 작업을 수행하려고 하면 어떻게 될까? 이것이 바로 동시성 문제이다. Elasticsearch에선 이를 어떻게 해결할 수 있을지 알아보자. Optimistic Concurrency Control 업데이트에 관해 다룰 때 _version을 얘기한 것과 비슷한 방식이다. 차이점은 단일 version field 대신 sequence number와 해당 sequence를 소유하는 기본 shard가 있다는 것이다. sequence number와 primary term을 함께 가져옴으로써 해당 document의 고유한 연대 기록을 갖게 된다. 두 개의 요청이 있고, 각 요청은 모두 _seq_no..

Common Mappings 6.0 버전 이상에서는 필수가 됨. Field types curl -XPUT 127.0.0.1:9200/movies -d ' { "mapping": { "properties": { "year": {"type": "date"} } } } ' mapping은 schema 정의이다. 위의 예시와 같이 날짜 형식의 데이터를 단순히 . 혹은 -로 연결된 문자열이 아닌 date type으로 해석하도록 지정하는 것이다. 이 외에도 매핑은 String, byte, short, long, float, double, boolean, date 등으로도 지정할 수 있다. elasticsearch는 이 모든 종류를 type으로 인식하고 처리할 수 있다. Field Index 또한 mapping을 통..