Spark引擎比MapReduce引擎快【30】倍左右

1、MapReduce的计算过程有连续的maptask和reduceTask，上一轮的reduceTask的中间结果落地磁盘，IO以及序列化，下一轮的maptask读取磁盘的数据，又要反序列化，耗时久。

2、Spark的计算链条有多个stage，上一轮stage的中间结果存储在内存中，不涉及频繁的IO序列化反序列化，速度比磁盘快。

3、MapReduce的maptask或reduceTask以进程形式存在，启动和销毁慢，Spark的task以线程形式存在，启动和销毁更快，更轻量级。