haejun IT

Kafka Apache 프로젝트이며 open source stream 처리 플랫폼이기 때문에 Logstash 혹은 Beats와 동일한 목적을 수행하며 AWS Kinesis와도 여러 공통점이 있다. 높은 처리량과 짧은 지연시간을 갖고 있는 Pub/Sub 매커니즘이며, 수많은 서버의 로그와 같이 여러 입력 데이터 소스를 입력으로 받을 수 있고, 안정적으로 Target에 Publish 할 수 있다. 또한 처리중인 stream을 저장할 수 있는 기능을 가진 프레임 워크이다. 따라서 Logstash와 많은 공통점이 있지만 이미 데이터가 Kafka를 통해 유입되고 있는 환경에서 데이터를 Elasticsearch와 같은 다른 Target으로 가져와야 하는 경우 혹은 Logstash를 활용하여 Kafka에서 출력되는 ..

Hadoop vs Logstash/Elasticsearch Hadoop 구글과 같이 아주 많은 웹사이트에서 데이터를 수집해야할 때 적절 효율적으로 빅데이터를 수집 및 처리할 수 있다. Elasticsearch 추후에 빠르고 효율적인 검색을 위해 데이터를 저장하고 인덱스화 해야하는 경우 적절 뛰어난 검색 기능 분석과 데이터 시각화에 적합 Logstash - 실시간 데이터를 수집하고자 할 때 적절 각 프레임워크을 함께 사용하면 장점을 같이 가져갈 수 있다. 예를 들어 수십억개의 웹사이트에 대한 정보를 검색하는 예시에서 하둡을 사용하여 데이터를 수집하고 이를 Elasticsearch에 전달한다. 그러면 Elasticsearch는 해당 데이터를 검색하는 사용자에게 신속하게 결과를 반환할 수 있다. Hadoop ..

Syslog Syslog는 네트워크 장치에서 생성된 로그 데이터를 일정한 포맷으로 한군데 모아주는 대중적인 장치이다. 이번에는 Logstash를 사용하여 서버와 장치에서 Syslog 메세지를 수집하는 방법에 대해 알아보자. Syslog는 프로그램 에러, 알림, 경고 상태 메세지 등과 같은 로그 정보를 생성하고 수집하는 표준화된 방식으로 Linux 등 대부분의 Unix 계열의 운영 시스템에서 Syslog Daemon을 사용하여 정보를 수집하고 보관한다. 일반적으로 Syslog는 로컬에 저장되지만 관리자가 한 곳에서 모든 로그에 Access하길 바란다면 모든 log를 중앙 서버로 streaming할 수도 있다. 기본적으로 PORT 514와 UDP 연결이 SYslog 전달에 사용되지만, 네트워크가 불안정하거나..

파일 입력 플러그인과 TCP, UDP 입력 플러그인과 같은 여러가지 입력 플러그인을 사용해 Logstash로 데이터를 수집해본다. Heartbeat Heartbeat 플러그인은 Logstash 플러그인 중 가장 간단하지만 가장 유용한 플러그인 중 하나이다. 해당 플러그인을 사용해 Logstash가 문제 없이 작동하고 실행중인지 확인할 수 있다. 작동 방식은 Elasticsearch 혹은 다른 대상에게 정기적으로 메세지를 전송하는 것이다. 사용 방법은 다음과 같이 구성해주면 된다. input { heartbeat { message => "ok" interval => 5 type => "heartbeat" } } output { if [type] == "heartbeat" { elasticsearch { h..