haejun IT

Elastic Stack Elastic stack의 전반적인 틀과 그 구성 요소들이 어떻게 적용하는지부터 알아보자. 이 툴에는 Elasticsearch, Kibana, Logstash/Beats, X-Pack이 있다. Lucene 오픈 소스 검색 구조의 확장 가능한 버전으로 시작되었으며, Lucene 인덱스를 수평 확장할 수 있는 기능이 추가되었다. Elasticsearch 안의 각 shard는 문서의 단일 lucene 역색인이다. 따라서 모든 shard는 Lucene의 것이다. 전체 텍스트 검색보다 훨씬 더 많은 것을 처리할 수 있으며, 구조 데이터 및 집계 데이터를 매우 빠르게 처리할 수 있다. 단순히 검색을 위한 것이 아닌 모든 유형의 구조 데이터를 처리한다. 주로 로그 집계 등에 자주 사용된다. ..

Elasticsearch 설치 ubuntu 로그인 wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - 입력 sudo apt-get install apt-transport-https 입력 echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list 입력 sudo apt-get update && sudo apt-get install elasticsearch 입력 Elasticsearch 구성 sudo vim /etc/elasticsearch/elastic..

개요 기술 분석: 분석 초기 데이터의 특징을 파악하기 위해 선택, 집계, 요약 등 양적 기술 분석을 수행한다. 탐색 분석: 업무 도메인 지식을 기반으로 대규모 데이터셋의 상관관계나 연관성을 파악한다. 추론 분석: 전통적인 통계분석 기법으로 문제에 대한 가설을 세우고 샘플링을 통해 가설을 검증한다. 인과 분석: 문제 해결을 위한 원인과 결과 변수를 도출하고 변수의 영향도를 분석한다. 예측 분석: 대규모 과거 데이터를 학습해 예측 모형을 만들고, 최근의 데이터로 미래를 예측한다. BigData 기반의 AI 예측 모델은 인간에 비해 객관적이며, 수백~수천개의 변수를 선정하여 이를 기반으로 예측 모델을 만들기 때문에 인간의 한계를 뛰어넘는 의사결정을 할 수 있게 되었다. 빅데이터 분석 프로세스 위의 빅데이터 분..

빅데이터 탐색 개요 처리/탐색 처리 데이터를 가공하는 단계 filtering, cleansing, 통합, 분리 등을 거쳐서 빅데이터 웨어하우스를 생성 탐색 데이터를 이해하는 단계 (EDA) 빅데이터 마트 빅데이터 웨어하우스를 탐색을 할 수 있게 되고, 탐색을 할 수 있게 되면 데이터를 이해하게 되었으니 데이터를 다시 한번 이해하기 쉽게 만드는 것. 빅데이터 처리/탐색의 최종 목표는 빅데이터 분석할 수 있는 빅데이터 마트를 만드는 것이다. Hive - 하이브 SQL과 유사한 방식으로 만들어 하둡에 접근성을 높인 오픈소스 프레임워크 단점 맵리듀스 코어를 그대로 사용함으로써 성능면에서 만족스럽지 못했다. 네트워크 I/O, 디스크 I/O가 너무 크기 때문에 반복적인 대화형 연산작업에 하이브가 적합하지 않다는 단..