haejun IT

1-1. 빅데이터의 정착 빅데이터라는 단어가 퍼질 때까지의 역사를 간단하게 되돌아본다. 분산 시스템에 의한 데이터 처리의 고속화 빅데이터의 취급이 어려운 이유는 크게 두 가지이다. 데이터의 분석 방법을 모른다. 데이터 처리에 수고와 시간이 걸린다. 빅데이터 기술의 요구 - Hadoop과 NoSQL의 대두 빅데이터 기술로 가장 먼저 예로 들 수 있는 것이 Hadoop과 NoSQL이다. 전통적인 관계형 데이터 베이스로는 취급할 수 없을만큼 대량의 데이터가 점차 쌓이게 되었다. 이를 처리하기 위해 기존과 다른 구조가 필요했다. Hadoop과 NoSQL은 각각 다른 요구를 충족하기 위해 태어났다. Hadoop - 다수의 컴퓨터에서 대량의 데이터 처리 하둡은 다수의 컴퓨터에서 대량의 데이터를 처리하기 위한 시스템..

빅데이터 실시간 적재 개요 원천에서 어떠한 데이터가 발생할 때, 데이터의 실시간이라는 것에는 여러가지 의미가 있다. 빠르게 데이터가 발생 오랜 시간 발생 대규모로 발생 만약 이런 실시간 데이터를 DB에 저장한다고 한다면 초당 수백, 수천건의 데이터를 RDBMS의 트랜잭션과, 영속성을 생각하며 저장할 수 있을지를 생각해줘야한다. 이 외에도 실시간 데이터는 실시간으로 분석을 할 수 있어야 하는데, 초당 수백, 수천, 수만건의 데이터가 발생하는 환경에서 이를 실시간으로 분석한다는 것은 큰 오버헤드를 발생시키는 일이다. 또한 장애가 발생했을 경우 데이터의 유실 문제를 피할 수 없으며, 장애가 복구됐다고 하더라도 그 시간동안의 데이터 또한 유실이 되는 것이다. 따라서 빅데이터의 실시간 적재라 함은 대규모로 발생되..