Spark是什么

官方直达电梯

Spark一种基于内存的通用的实时大数据计算框架(作为MapReduce的另一个更优秀的可选的方案)

• 通用：Spark Core 用于离线计算，Spark SQL 用于交互式查询，Spark Streaming 用于实时流式计算，Spark Mlib 用于机器学习，Spark GraphX 用于图计算
• 实时：Run programs up to 100x faster than Hadoop MapReduce in memory, or 10x faster on disk.

一、Spark和Storm的区别

Storm的计算模型（实时）

• Storm是针对每条数据的流式实时计算框架，由于每条数据过来就直接处理，每条数据都会带来大量的资源消耗（传输，通信，校验等）吞吐量不高
• storm可以动态调整并行度
• Storm保证了更高的实时性，毫秒级延迟

Spark Stream计算模型（准实时）

• 通过设置时间间隔 batch interval 一个时间间隔内的数据作为一个Batch收集起来给Spark Streaming Application处理(少了很多传输，校对开销)，保证了高吞吐量
• 秒级延迟
• 结合Spark生态圈可以发挥很大的威力

二、Spark Streaming和MapReduce的对比

Shuffle以及MapReduce的计算模型决定了MapReduce只适合对速度要求不敏感的离线批处理任务

• Spark的多进程任务可能在同一个物理机器的内存上完成（Spark shuffle也会使用磁盘）
• MapReduce死板的模型必须基于磁盘和大量的网络传输
• MapReduce的程度编写复杂，Spark更容易上手，支持（Scale JAVA[8支持函数式编程] Python）
• Spark 在缺少调优时，会出现OOM(Out Of Memory)的问题，导致程序无法执行，而MapReduce就算是慢也能执行

三、Spark SQL对比Hive

• Spark SQL实际上不能完全替代Hive，只是替代了Hive中的查询引擎，针对Hive数据仓库中的表进行SQL查询
• 由于Hive查询底层基于MapReduce决定了Hive的查询慢
• Hive中的一部分高级特性在Spark SQL 中未得到支持
• Spark SQL除了Hive还支持其他数据源（json parquet jdbc等），同时支持直接针对HDFS执行SQL查询