'flume' 태그의 글 목록

빅데이터 수집 개요 빅데이터의 수집은 내부 데이터로부터의 수집과 외부 데데이터로부터의 수집으로 나뉘어진다. 내부 데이터 정형 데이터. 따라서 RDBMS에서 주로 사용했던 데이터. 외부 데이터 비정형 데이터 반 정형 데이터 CSV 데이터의 구조처럼 delimeter 구조의 plain text 구조의 데이터. e.g) 뉴스/날씨, 기관 지표 완전 비정형 데이터 텍스트 그 자체로 데이터가 넘어옴. 구조가 없음. e.g) SNS, 포털/플로그 빅데이터의 수집 절차는 다음과 같다. 수집 대상 선정 수집 도메인 도출 수집 데이터셋 도출 수집 리스트 작성 수집 대상 부서 파악 수집 계획 수립 (중요!) 데이터 제공여부 협의 데이터 유형/속성 확인 수집 환경 및 표준 파악 수집 주기/용량 파악 수집 연동/포맷 파악 수..