스파크를활용한실시간처리1 스파크를 활용한 실시간 처리 - 한빛미디어 스파크를 활용한 실시간 처리 - 한빛미디어 ‘크기가 무한한 유형의 데이터 셋’, 이는 스트림의 정의이다. 이 책의 서두에서 스트림 처리는 무한한 데이터를 처리하는 규율 및 관련 기술의 집합이라고 설명한다. 경계가 없다는 뜻인 무한이라는 것을 이론적으로는 생각할 수 있지만, 현실적으로는 불가능하다. 그러나 공간의 개념에서 무한 데이터는 존재할 수 없지만, 시간 축에서 바라보는 데이터의 흐름은 무한의 개념이 가능해진다. 이 책을 보고 나서야 단순히 대량의 데이터 처리라고 생각했던 스트림에 대한 개념이 시간 개념의 데이터 스트림이라는 것을 알게 되었다. 경계가 명확한 대량의 데이터는 배치 처리로 처리하는 것이고, 경계가 불명확한 (Unbounded data 데이터는 스트림 처리라는 것 또한 이 책을 보고 나서.. 2021. 5. 23. 이전 1 다음
