Data Engineering/Elasticsearch

[Elasticsearch] Logstash란

dev_jun 2022. 11. 23. 15:54

Logstash란?

Elasticsearch로 데이터를 불러오는 것에 대해 얘기할 때 Logstash를 빼 놓을 수 없다. 기본적으로, logstash는 웹 서버에서 생성되는 로그 파일과 Elasticsearch 사이와 같이 데이터와 출력 중간에 위치한다. 사실 logstash는 이보다 더 유연하다. Kafka, S3, HDFS 등 거의 모든 곳에서 데이터를 불러와 AWS, Elasticsearch, Hadoop 클러스터 등으로 데이터를 집어넣을 수 있다. 따라서 Logstash는 데이터를 전송하는데 매우 유용한 도구이다.

또한 다음과 같은 작업도 할 수 있다.

  • 구조화 되지 않은 데이터를 구조화 시키는 작업
    • 웹 로그의 문장들을 쪼개서 필요없는 데이터를 필터링 할 수 있다.
  • 데이터를 변환할 수 있다.
  • 개인정보와 같이 민감한 정보를 즉시 익명화하거나 완전히 제외할 수 있다.
  • geo-location을 조회할 수 있다.
    • 웹 서버의 엑세스 로그에 기록된 IP주소만으로 해당 로그 항목이 어디서 왔는지 자동으로 파악할 수 있다.
  • 여러 노드간의 확장이 가능하다.

Elasticsearch 내에서의 Logstash의 일반적인 사용방법은 다음과 같다.

  • Filebeats Client 설치
  • Filebeats는 데이터를 Logstash 클러스터로 전송하고, Logstash는 데이터 선별 작업을 진행한다.
  • 이후 데이터를 Elasticsearch에 보내 Index화한다.

Logstash 설치

  • 설치
    • sudo apt install openjdk-8-jre-headless
    • sudo apt-get update
    • sudo apt-get install logstash
  • Configuring
    • sudo vim /etc/logstash/conf.d/logstash.conf 파일을 생성하고 다음과 같이 설정한다.
input {
    file {
        path => "/home/student/access_log"
        start_position => "beginning"
    }
}

filter {
    grok {
        match => {"message" => "%{COMBINEDAPACHELOG}"}
    }
    date {
        match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
    }
}

output {
    elasticsearch {
        hosts => ["localhost:9200"]
    }
    stdout {
        codec => rubydebug
    }
}
  • input
    • logstash가 입력 데이터를 찾을 위치를 지정하고 이 시스템에서 로컬 파일을 모니터링할 플러그인을 사용해 logstash에 데이터를 공급한다.
    • start_position값을 beginning으로 설정하면 강제적으로 해당 로그의 맨 처음부터 작업을 한다. 아니라면 로그 파일의 뒷부분에 추가되어 입력된다.
  • filter
    • logstash가 log파일에서 구조화된 데이터를 추출하는 방법을 설정한다.
    • logstash에는 Combined Apach Log라는 자체 패턴이 내장되어 있어 Apache Access Log나 오류 로그에서 데이터를 자동으로 추출할 수 있다.
    • timestamp 설정을 해준다. 이 timestamp는 로그 문장 자체에서 timestamp를 추출하여 Elasticsearch에 publishing되는 이벤트 시간으로 사용할 수 있다.
  • output
    • 추출한 구조화된 정보를 어디로 보낼지를 지정한다.
    • elasticsearch - elasticsearch의 host를 지정
    • stdoout - 콘솔에 출력이 어떻게 형식화되는지를 지정

Logstash 실행

이제 설치를 했으니 실행해보자.

  • logstash 설치 폴더로 이동
    • cd /usr/share/logstash
  • bin 폴더에 있는 logstash를 다음의 명령어로 실행한다.
    • sudo bin/logstash -f /etc/logstash/conf.d/logstash.conf
    • -f 옵션 뒤의 경로는 이전에 생성한 conf 파일의 경로이다.
    • 이와 같은 방식으로 여러가지 구성 파일을 사용하여 logstash를 실행할 수 있다.
저작자표시