[Elasticsearch] Logstash와 MySQL

만약 SQL 데이터베이스에 Elasticsearch로 불러올 데이터가 있다면 이 경우에도 Logstash를 사용할 수 있다.

Ubuntu MySQL 설치

• 먼저 현재 사용중인 ubuntu 시스템에 MySQL을 설치해야한다.
  • sudo apt-get update
  • sudo apt-get install mysql-server
• 실습을 위한 데이터셋을 다운로드 받자.
  • wget http://files.grouplens.org/datasets/movielens/ml-100k.zip
  • unzip ml-100k.zip
• MySQL에 접속한다.
  • sudo mysql -u root -p
• MySQL에서 실습에 사용할 데이터베이스를 생성하고 테이블을 생성한다.
  • CREATE DATABASE movielens;
  • CREATE TABLE movielens.movies ( movieID INT PRIMARY KEY NOT NULL, title TEXT, releaseDate DATE );
• 생성한 테이블에 데이터를 집어 넣는다.
  • LOAD DATA LOCAL INFILE 'ml-100k/u.item' INTO TABLE movielens.movies FIELDS TERMINATED BY '|' (movieID, title, @var3) set releaseDate = STR_TO_DATE(@var3, '%d-%m-%Y');
• 실제로 데이터가 테이블에 적재가 잘 되었는지 확인한다.
  • USE movielens;
  • SELECT * FROM movies WHERE title LIKE 'Star%';
  • 영화 제목이 Star 로 시작하는 데이터가 출력되었다면 정상적으로 적재가 완료 된 것이다. 이제 이 데이터를 Logstash를 사용해서 Elasticsearch로 옮겨보도록 하자.

MySQL to Elasticsearch

• 플랫폼 연결을 위해 커넥터가 필요하다. mysql connector download 에서 OS를 'Platform Independent'로 설정한 후 ZIP Archive 파일을 다운로드 받자.
  • 다운로드 버튼을 누르면 로그인 페이지가 나오는데 로그인 할 필요 없다. 좌측 아래 'No thanks, just start my download' 라고 써져있는 글씨를 찾아서 마우스로 우클릭해서 링크 주소를 복사한다. 이 링크가 다운로드 받을 링크 주소가 된다.
  • 이제 다시 ubutu로 돌아와서 해당 링크 주소를 wget 주소 형태에 입력해주고 압축을 풀어주자.
• 다음과 같은 파일을 생성하여 데이터베이스와 logstash의 Connection conf 파일을 작성한다.
  • sudo vim /etc/logstash/conf.d/mysql.conf
  • 추출할 데이터의 쿼리를 statement에 입력해준다.

input {
        jdbc {
                jdbc_connection_string => "jdbc:mysql://localhost:3306/movielens"
                jdbc_user => "student"
                jdbc_password => "password"
                jdbc_driver_library => "/home/student/mysql-connector-j-8.0.31/mysql-connector-j-8.0.31.jar"
                jdbc_driver_class => "com.mysql.jdbc.Driver"
                statement => "SELECT * FROM movies"
        }
}

output {
        stdout { codec => json_lines }
        elasticsearch {
                hosts => ["localhost:9200"]
                index => "movielens-sql"
        }
}

• 이제 위의 파일에서 정의한 student라는 user를 MySQL에서 생성해주어야 한다.
  • sudo mysql -uroot -p
  • CREATE USER 'student'@'localhost' IDENTIFIED BY 'password';
  • GRANT ALL PRIVILEGES ON *.* TO 'student'@'localhost';
  • FLUSH PRIVILEGES;
• 이제 데이터를 logstash를 통해 elasticsearch에 넣어주면 된다. logstash 설치 폴더로 이동한 후 실행시켜주자.
  • cd /usr/share/logstash
  • sudo bin/logstash -f /etc/logstash/conf.d/mysql.conf
• 실행이 완료되면 실제로 데이터가 정상적으로 elasticsearch의 index에 적용되었는지 확인해보면 된다.
  • curl -XGET 'localhost:9200/movielens-sql/_search?q=title:Star&pretty'

이런 방식으로 DB에서 데이터를 추출하여 Logstash를 거쳐 Elasticsearch 클러스터로 데이터를 적재할 수 있다.