【Spark】---- Spark 硬件配置

存储系统

Spark任务需要从一些外部的存储系统加载数据（如：HDFS 或者 HBase），重要的是存储系统要接近Spark系统，我们有如下推荐：

 

（1）如果可能，运行Spark在相同的HDFS节点，最简单的方法是建立一个引发相同的节点上的集群独立模式（http://spark.apache.org/docs/latest/spark-standalone.html），和配置Spark的Configure和Hadoop的内存和CPU使用避免干扰（对于Hadoop，） 或者 你能够运行Hadoop和Spark在一个相同的cluster manager 像 Mesos或者Hadoop YARN

（2）如果能，运行Spark在不同的节点上，需要使用相同局域网内部的HDFS节点。

（3）对于低延迟数据存储如同HBase，使用不同的节点上的数据比使用本地存储系统数据 干扰更小（但是HBase存储比本地存储避免干扰性方面表现的更好）

 

本地硬盘

虽然Spark能够在内存中执行大量的计算，它仍然需要本地硬盘作为数据的存储，不适合把数据存储在RAM中，以及保护中间的输出阶段，我们推荐每个节点有4-8个硬盘，没有配置RAID（就如同不同的挂载点） 在Linux中挂载硬盘 使用noatime option（http://www.centos.org/docs/5/html/Global_File_System/s2-manage-mountnoatime.html） 减少不必要的写操作，在Spark里面，配置 

spark.local.dir 变量以一个"，"号隔开（http://spark.apache.org/docs/latest/configuration.html），如果你正在运行着HDFS，它正好和HDFS放在一个相同的硬盘上。

 

内存

一般而言，Spark能够运行在任意的 8G to hundreds of gigabytes 的内存的机器上，所有情况下，我们推荐最多给Spark配置 75%的内存容量，其他的容量是系统和buffer缓存使用。

你的内存需要多大是依靠你的Application决定的，确定你的应用使用多少内存特定大小，你需要加载一部分特定的数据到Spark RDD 并使用 UI的存储选项卡（http://<driver-node>:4040）观测内存使用量。注意,内存使用量大大影响存储水平和序列化格式，看调度指南如何优化（http://spark.apache.org/docs/latest/tuning.html）。

最后，注意,Java VM在超过200 GB的RAM上并不总是表现良好。如果你这这样的RAM机器，你可以在上面多跑几个Worker，在Spark的独立模式中，你能够在每个节点上设置多个Workers ，设置 conf/spark-env.sh 中的SPARK_WORKER_INSTANCES变量，并且设置SPARK_WORKER_CORES 的核数

 

网络

 

根据经验，当数据在内存中， 使用万兆网卡程序将运行的更快，特别是“distributed reduce” application 例如 group-bys 减少，reduce-bys 和SQL的join ，在一个任何给定的application ，你能够通过UI查看Spark的shuffles的过程及多大的数据执行shuffles。

 

 

CPU 核数

 

Spark 每个每个集群要启动成千上万的线程，每个集群的核数至少是8-16 核。你的工作的负载是依靠CPU ，你也需要更多的：一旦数据在内存中，更多应用取决CPU或者带宽