맵리듀스와 비교했을 때 스파크가 반복 연산에서 빠른 핵심 이유는?

3. 단계마다 디스크에 쓰지 않고 중간 결과를 메모리에 올려 두고 이어서 계산해서

맵리듀스는 각 단계가 끝날 때마다 결과를 디스크에 쓰고 다음 단계가 다시 읽습니다. 스파크는 그 중간 결과를 메모리에 유지하므로, 같은 데이터를 여러 번 훑는 머신러닝 학습에서 차이가 크게 벌어집니다.