[빅데이터 실시간 데이터 적재] HBase, Redis, Storm, Espher

빅데이터 실시간 적재 개요 원천에서 어떠한 데이터가 발생할 때, 데이터의 실시간이라는 것에는 여러가지 의미가 있다. 빠르게 데이터가 발생 오랜 시간 발생 대규모로 발생 만약 이런 실시간 데이터를 DB에 저장한다고 한다면 초당 수백, 수천건의 데이터를 RDBMS의 트랜잭션과, 영속성을 생각하며 저장할 수 있을지를 생각해줘야한다. 이 외에도 실시간 데이터는 실시간으로 분석을 할 수 있어야 하는데, 초당 수백, 수천, 수만건의 데이터가 발생하는 환경에서 이를 실시간으로 분석한다는 것은 큰 오버헤드를 발생시키는 일이다. 또한 장애가 발생했을 경우 데이터의 유실 문제를 피할 수 없으며, 장애가 복구됐다고 하더라도 그 시간동안의 데이터 또한 유실이 되는 것이다. 따라서 빅데이터의 실시간 적재라 함은 대규모로 발생되..
Data Engineering/Big Data 2022. 10. 26. 19:39
1
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG more
«   2024/11   »
일 월 화 수 목 금 토
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
글 보관함