haejun IT

만약 SQL 데이터베이스에 Elasticsearch로 불러올 데이터가 있다면 이 경우에도 Logstash를 사용할 수 있다. Ubuntu MySQL 설치 먼저 현재 사용중인 ubuntu 시스템에 MySQL을 설치해야한다. sudo apt-get update sudo apt-get install mysql-server 실습을 위한 데이터셋을 다운로드 받자. wget http://files.grouplens.org/datasets/movielens/ml-100k.zip unzip ml-100k.zip MySQL에 접속한다. sudo mysql -u root -p MySQL에서 실습에 사용할 데이터베이스를 생성하고 테이블을 생성한다. CREATE DATABASE movielens; CREATE TABLE mo..

Logstash란? Elasticsearch로 데이터를 불러오는 것에 대해 얘기할 때 Logstash를 빼 놓을 수 없다. 기본적으로, logstash는 웹 서버에서 생성되는 로그 파일과 Elasticsearch 사이와 같이 데이터와 출력 중간에 위치한다. 사실 logstash는 이보다 더 유연하다. Kafka, S3, HDFS 등 거의 모든 곳에서 데이터를 불러와 AWS, Elasticsearch, Hadoop 클러스터 등으로 데이터를 집어넣을 수 있다. 따라서 Logstash는 데이터를 전송하는데 매우 유용한 도구이다. 또한 다음과 같은 작업도 할 수 있다. 구조화 되지 않은 데이터를 구조화 시키는 작업 웹 로그의 문장들을 쪼개서 필요없는 데이터를 필터링 할 수 있다. 데이터를 변환할 수 있다. 개인..

스크립트를 사용하여 데이터 가져오기 A 지점에서 데이터를 가져와 JSON과 나머지 인터페이스를 사용하여 Elasticsearch로 불러오는 스크립트를 작성해보자. 먼저 연습에 필요한 데이터셋을 다운로드 받는다. 다음의 데이터셋은 교육용으로 무료 제공되는 영화 정보에 대한 데이터셋이다. wget http://files.grouplens.org/datasets/movielens/ml-latest-small.zip 압출을 풀 수 있는 unzip 라이브러리를 다운로드 받는다. sudo apt install unzip 압축을 풀어준다. unzip ml-latest-small.zip 아래의 파이썬 스크립트를 movies_to_json 저장한다. """ - movies.csv 파일을 읽고 영화 제목이나 출시 연도, ..

Query Lite 검색 본문이 없이도 검색 요청이 가능한 형태. curl같은 명령어들을 사용할 때 URL 안에 모든 것을 다 집어 넣으면 훨씬 효율적일 것이다. 예를 들면 다음과 같은 형태이다. /movies/_search?q=title:star 영화 제목에 star가 포함되어 있는 검색 결과를 리턴 /movies/_search?q=+year:>2010+title:trek 개봉 연도가 2010년 이후이고, 영화 제목이 trek이 포함되는 검색 결과 리턴 ?q= 는 쿼리를 하겠다는 뜻으로, 뒤의 내용을 질의하겠다는 의미이다. + 연산자를 사용하여 위의 예시와 같은 boolean 연산을 수행할 수 있으며, 관계형 쿼리도 사용할 수 있다. 여기서의 관계형은 상대적인 크기를 의미한다. 관계형 데이터베이스에서의..