haejun IT

Grok을 사용한 Logstash 구문 분석 및 필터링 logstash는 CSV, JSON 파일을 쉽게 분석할 수 있다. 그러나 이 데이터들은 Elasticsearch가 분석할 수 있는 형식에 맞춰 이미 정리가 되어있기 때문이다. 하지만 가끔은 비구조화 데이터로 작업을 해야한다. 이런 경우는 구문 분석을 해서 구조화 데이터로 만들어주어야 한다. 이번에는 logstash의 grok filter를 사용하여 비구조화 데이터를 처리하는 방법에 대해서 알아보자. 많은 종류의 로그에서는 로그 메세지의 형태도 다양하며, 마지막에 에러 코드가 나타날수도, ip주소가 나타날 수도 있다. 이를 명확히 분석하기 위해서는 각 필드가 무엇을 나타내는지 감지할 수 있어야 한다. 이러한 작업을 grok 필터는 어떻게 수행할까? R..

만약 SQL 데이터베이스에 Elasticsearch로 불러올 데이터가 있다면 이 경우에도 Logstash를 사용할 수 있다. Ubuntu MySQL 설치 먼저 현재 사용중인 ubuntu 시스템에 MySQL을 설치해야한다. sudo apt-get update sudo apt-get install mysql-server 실습을 위한 데이터셋을 다운로드 받자. wget http://files.grouplens.org/datasets/movielens/ml-100k.zip unzip ml-100k.zip MySQL에 접속한다. sudo mysql -u root -p MySQL에서 실습에 사용할 데이터베이스를 생성하고 테이블을 생성한다. CREATE DATABASE movielens; CREATE TABLE mo..

Logstash란? Elasticsearch로 데이터를 불러오는 것에 대해 얘기할 때 Logstash를 빼 놓을 수 없다. 기본적으로, logstash는 웹 서버에서 생성되는 로그 파일과 Elasticsearch 사이와 같이 데이터와 출력 중간에 위치한다. 사실 logstash는 이보다 더 유연하다. Kafka, S3, HDFS 등 거의 모든 곳에서 데이터를 불러와 AWS, Elasticsearch, Hadoop 클러스터 등으로 데이터를 집어넣을 수 있다. 따라서 Logstash는 데이터를 전송하는데 매우 유용한 도구이다. 또한 다음과 같은 작업도 할 수 있다. 구조화 되지 않은 데이터를 구조화 시키는 작업 웹 로그의 문장들을 쪼개서 필요없는 데이터를 필터링 할 수 있다. 데이터를 변환할 수 있다. 개인..

스크립트를 사용하여 데이터 가져오기 A 지점에서 데이터를 가져와 JSON과 나머지 인터페이스를 사용하여 Elasticsearch로 불러오는 스크립트를 작성해보자. 먼저 연습에 필요한 데이터셋을 다운로드 받는다. 다음의 데이터셋은 교육용으로 무료 제공되는 영화 정보에 대한 데이터셋이다. wget http://files.grouplens.org/datasets/movielens/ml-latest-small.zip 압출을 풀 수 있는 unzip 라이브러리를 다운로드 받는다. sudo apt install unzip 압축을 풀어준다. unzip ml-latest-small.zip 아래의 파이썬 스크립트를 movies_to_json 저장한다. """ - movies.csv 파일을 읽고 영화 제목이나 출시 연도, ..