haejun IT

데이터 집계 -> 데이터 마트 -> 시각화 시스템 구성은 데이터 마트의 크기에 따라 결정된다. 데이터 마트의 크기가 작을수록 시각화는 간단 원래 데이터에 포함된 정보를 읽어버리게 됨. 시각화의 프로세스에서 할 수 있는것이 적어짐 데이터 마트 클수록 데이터 마트가 거대해져 좋은 시각화를 하기 힘듦. 데이터의 양을 수백만 건 정도까지 줄일 수 있다면 모든 데이터를 시각화 도구에 넣을 수 있기 때문에 특별한 시스템이 필요 없다. 이게 되지 않는다면 지연이 적은 데이터베이스를 사용하여 데이터 마트를 만들 수 있어야 한다. 열 지향 스토리지에 의한 고속화 메모리에 다 올라가지 않을 정도의 대용량 데이터를 신속하게 집계하려면 미리 데이터를 집계에 적합한 형태로 변환하는 것이 필요하다. 데이터베이스의 지연을 줄이기 ..

MapReduce 맵리듀스는 간단한 단위작업을 반복하여 처리할 때 사용하는 프로그래밍 모델이다. 간단한 단위작업을 처리하는 맵(Map) 작업과 맵 작업의 결과물을 모아서 집계하는 리듀스(Reduce) 단계로 구성된다. 하둡에서 분산처리를 담당하는 맵리듀스 작업은 맵과 리듀스로 나누어 처리된다. 맵, 리듀스 작업은 병렬로 처리가 가능한 작업이므로, 여러 컴퓨터에서 동시에 작업을 처리하여 속도를 높일 수 있다. MapReduce 작업 단위 하둡 v1의 작업 단위는 잡(job)이고, 하둡 v2의 작업 단위는 애플리케이션(application)이다. YARN 아키텍처가 도입되면서 이름은 변경되었지만 동일하게 관리된다. Job은 Map 과 Reduce 태스크로 나누어진다. 태스크는 attempt 단위로 실행된다...

1-1. 빅데이터의 정착 빅데이터라는 단어가 퍼질 때까지의 역사를 간단하게 되돌아본다. 분산 시스템에 의한 데이터 처리의 고속화 빅데이터의 취급이 어려운 이유는 크게 두 가지이다. 데이터의 분석 방법을 모른다. 데이터 처리에 수고와 시간이 걸린다. 빅데이터 기술의 요구 - Hadoop과 NoSQL의 대두 빅데이터 기술로 가장 먼저 예로 들 수 있는 것이 Hadoop과 NoSQL이다. 전통적인 관계형 데이터 베이스로는 취급할 수 없을만큼 대량의 데이터가 점차 쌓이게 되었다. 이를 처리하기 위해 기존과 다른 구조가 필요했다. Hadoop과 NoSQL은 각각 다른 요구를 충족하기 위해 태어났다. Hadoop - 다수의 컴퓨터에서 대량의 데이터 처리 하둡은 다수의 컴퓨터에서 대량의 데이터를 처리하기 위한 시스템..

프로그래머스 - 콜라 문제 문제 콜라 빈 병 2개를 가져다주면 콜라 1병을 주는 마트가 있다. 빈 병 20개를 가져다 주면 몇병을 받을 수 있는가? 단 보유 중인 빈 병이 2개 미만이면, 콜라를 받을 수 없다. 위의 문장이 콜라 문제의 전제이다. 콜라를 받기 위해 주어야하는 병 수 a, 빈 병을 받고 마트가 주는 콜라 병 수를 b, 빈 병의 개수를 n이라 하여 입력으로 주어졌을 때, 몇 병의 콜라를 받을 수 있는가? 코드 def solution(a, b, n): cnt = 0 while n >= a: d, m = divmod(n, a) n = d * b + m cnt += d * b return cnt 설명 문제를 일반화하여 규칙을 찾으니 쉽게 해결할 수 있었다. 문제의 해답은 몫과 나머지에 있다. 주어..