haejun IT

Syslog Syslog는 네트워크 장치에서 생성된 로그 데이터를 일정한 포맷으로 한군데 모아주는 대중적인 장치이다. 이번에는 Logstash를 사용하여 서버와 장치에서 Syslog 메세지를 수집하는 방법에 대해 알아보자. Syslog는 프로그램 에러, 알림, 경고 상태 메세지 등과 같은 로그 정보를 생성하고 수집하는 표준화된 방식으로 Linux 등 대부분의 Unix 계열의 운영 시스템에서 Syslog Daemon을 사용하여 정보를 수집하고 보관한다. 일반적으로 Syslog는 로컬에 저장되지만 관리자가 한 곳에서 모든 로그에 Access하길 바란다면 모든 log를 중앙 서버로 streaming할 수도 있다. 기본적으로 PORT 514와 UDP 연결이 SYslog 전달에 사용되지만, 네트워크가 불안정하거나..

파일 입력 플러그인과 TCP, UDP 입력 플러그인과 같은 여러가지 입력 플러그인을 사용해 Logstash로 데이터를 수집해본다. Heartbeat Heartbeat 플러그인은 Logstash 플러그인 중 가장 간단하지만 가장 유용한 플러그인 중 하나이다. 해당 플러그인을 사용해 Logstash가 문제 없이 작동하고 실행중인지 확인할 수 있다. 작동 방식은 Elasticsearch 혹은 다른 대상에게 정기적으로 메세지를 전송하는 것이다. 사용 방법은 다음과 같이 구성해주면 된다. input { heartbeat { message => "ok" interval => 5 type => "heartbeat" } } output { if [type] == "heartbeat" { elasticsearch { h..

Grok을 사용한 Logstash 구문 분석 및 필터링 logstash는 CSV, JSON 파일을 쉽게 분석할 수 있다. 그러나 이 데이터들은 Elasticsearch가 분석할 수 있는 형식에 맞춰 이미 정리가 되어있기 때문이다. 하지만 가끔은 비구조화 데이터로 작업을 해야한다. 이런 경우는 구문 분석을 해서 구조화 데이터로 만들어주어야 한다. 이번에는 logstash의 grok filter를 사용하여 비구조화 데이터를 처리하는 방법에 대해서 알아보자. 많은 종류의 로그에서는 로그 메세지의 형태도 다양하며, 마지막에 에러 코드가 나타날수도, ip주소가 나타날 수도 있다. 이를 명확히 분석하기 위해서는 각 필드가 무엇을 나타내는지 감지할 수 있어야 한다. 이러한 작업을 grok 필터는 어떻게 수행할까? R..

만약 SQL 데이터베이스에 Elasticsearch로 불러올 데이터가 있다면 이 경우에도 Logstash를 사용할 수 있다. Ubuntu MySQL 설치 먼저 현재 사용중인 ubuntu 시스템에 MySQL을 설치해야한다. sudo apt-get update sudo apt-get install mysql-server 실습을 위한 데이터셋을 다운로드 받자. wget http://files.grouplens.org/datasets/movielens/ml-100k.zip unzip ml-100k.zip MySQL에 접속한다. sudo mysql -u root -p MySQL에서 실습에 사용할 데이터베이스를 생성하고 테이블을 생성한다. CREATE DATABASE movielens; CREATE TABLE mo..