haejun IT

개요 기술 분석: 분석 초기 데이터의 특징을 파악하기 위해 선택, 집계, 요약 등 양적 기술 분석을 수행한다. 탐색 분석: 업무 도메인 지식을 기반으로 대규모 데이터셋의 상관관계나 연관성을 파악한다. 추론 분석: 전통적인 통계분석 기법으로 문제에 대한 가설을 세우고 샘플링을 통해 가설을 검증한다. 인과 분석: 문제 해결을 위한 원인과 결과 변수를 도출하고 변수의 영향도를 분석한다. 예측 분석: 대규모 과거 데이터를 학습해 예측 모형을 만들고, 최근의 데이터로 미래를 예측한다. BigData 기반의 AI 예측 모델은 인간에 비해 객관적이며, 수백~수천개의 변수를 선정하여 이를 기반으로 예측 모델을 만들기 때문에 인간의 한계를 뛰어넘는 의사결정을 할 수 있게 되었다. 빅데이터 분석 프로세스 위의 빅데이터 분..

빅데이터 탐색 개요 처리/탐색 처리 데이터를 가공하는 단계 filtering, cleansing, 통합, 분리 등을 거쳐서 빅데이터 웨어하우스를 생성 탐색 데이터를 이해하는 단계 (EDA) 빅데이터 마트 빅데이터 웨어하우스를 탐색을 할 수 있게 되고, 탐색을 할 수 있게 되면 데이터를 이해하게 되었으니 데이터를 다시 한번 이해하기 쉽게 만드는 것. 빅데이터 처리/탐색의 최종 목표는 빅데이터 분석할 수 있는 빅데이터 마트를 만드는 것이다. Hive - 하이브 SQL과 유사한 방식으로 만들어 하둡에 접근성을 높인 오픈소스 프레임워크 단점 맵리듀스 코어를 그대로 사용함으로써 성능면에서 만족스럽지 못했다. 네트워크 I/O, 디스크 I/O가 너무 크기 때문에 반복적인 대화형 연산작업에 하이브가 적합하지 않다는 단..

빅데이터 실시간 적재 개요 원천에서 어떠한 데이터가 발생할 때, 데이터의 실시간이라는 것에는 여러가지 의미가 있다. 빠르게 데이터가 발생 오랜 시간 발생 대규모로 발생 만약 이런 실시간 데이터를 DB에 저장한다고 한다면 초당 수백, 수천건의 데이터를 RDBMS의 트랜잭션과, 영속성을 생각하며 저장할 수 있을지를 생각해줘야한다. 이 외에도 실시간 데이터는 실시간으로 분석을 할 수 있어야 하는데, 초당 수백, 수천, 수만건의 데이터가 발생하는 환경에서 이를 실시간으로 분석한다는 것은 큰 오버헤드를 발생시키는 일이다. 또한 장애가 발생했을 경우 데이터의 유실 문제를 피할 수 없으며, 장애가 복구됐다고 하더라도 그 시간동안의 데이터 또한 유실이 되는 것이다. 따라서 빅데이터의 실시간 적재라 함은 대규모로 발생되..

빅데이터 수집 개요 빅데이터의 수집은 내부 데이터로부터의 수집과 외부 데데이터로부터의 수집으로 나뉘어진다. 내부 데이터 정형 데이터. 따라서 RDBMS에서 주로 사용했던 데이터. 외부 데이터 비정형 데이터 반 정형 데이터 CSV 데이터의 구조처럼 delimeter 구조의 plain text 구조의 데이터. e.g) 뉴스/날씨, 기관 지표 완전 비정형 데이터 텍스트 그 자체로 데이터가 넘어옴. 구조가 없음. e.g) SNS, 포털/플로그 빅데이터의 수집 절차는 다음과 같다. 수집 대상 선정 수집 도메인 도출 수집 데이터셋 도출 수집 리스트 작성 수집 대상 부서 파악 수집 계획 수립 (중요!) 데이터 제공여부 협의 데이터 유형/속성 확인 수집 환경 및 표준 파악 수집 주기/용량 파악 수집 연동/포맷 파악 수..