03_Spark集群部署

【安装前的环境准备】

Hadoop：2.6.1
Java：jdk-1.7.0
Spark: spark-1.6.0-bin-hadoop2.6.tgz
Scala: scala-2.11.4.tgz
虚拟机：host01,host02,host03; 其中host01是spark集群的主节点master, 其余两台是slave节点

【每台机器上安装Scala】

原因：每台机器上执行Scala代码，Python代码编写的Spark Application，默认Spark也是使用Scala语言

1）拷贝Scala到所有节点，修改文件权限、属主、解压、简化文件夹名称

# chmod  scala-2.11..tgz
# chown root:root scala-2.11..tgz
# tar -xzvf scala-2.11..tgz
# rm -rf scala-2.11..tgz

2) 修改/etc/profile环境变量文件

export SCALA_HOME=/usr/local/src/scala-2.11./
export PATH=$PATH:$SCALA_HOME/bin

3）生效环境变量

# source /etc/profile

4）检查Scala是否安装成功

5）在其他节点上同样安装scala

【每台机器上安装Spark】

1、节点一 Host01
1) 拷贝spark安装包到该节点，修改文件权限、属主、解压、简化文件夹名称

# chmod  spark-1.6.-bin-hadoop2..tgz
# chown root:root spark-1.6.-bin-hadoop2..tgz
# tar -xzvf spark-1.6.-bin-hadoop2..tgz
# mv spark-1.6.-bin-hadoop2. spark-1.6.

2) 配置/etc/profile环境变量

# SPARK_HOME
export SPARK_HOME=/usr/local/src/spark-1.6./
export PATH=$PATH:$SPARK_HOME/bin

3）环境变量生效

# source /etc/profile

4）配置spark-env.sh
路径：/usr/local/src/spark-1.6.0/conf/

# cp spark-env.sh.template spark-env.sh
# vim spark-env.sh

添加如下配置：

export JAVA_HOME=/usr/local/src/jdk1.7.0/
export SCALA_HOME=/usr/local/src/scala-2.11./
export SPARK_MASTER_IP=host01
export SPARK_DRIVER_MEMORY=1G
export HADOOP_HOME=/usr/local/src/hadoop-2.6./
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop/           # 通过该路径，确定yarn
export SPARK_LOCAL_DIRS=/usr/local/src/spark-1.6./tmp/   # spark进行shuffle,或者RDD持久化时的本地目录

5）配置slaves文件
路径：/usr/local/src/spark-1.6.0/conf/

# cp slaves.template slaves
# vim slaves

修改为如下：

# A Spark Worker will be started on each of the machines listed below.
host02     # 将worker节点，spark集群中的slave角色，写入即可
host03

6）将节点1上的spark目录复制到其他两个节点（host02,host03)

# scp -rp spark-1.6. root@host02:/usr/local/src/
# scp -rp spark-1.6. root@host03:/usr/local/src/

2、节点host02
1）修改/etc/profile, 增加spark环境变量

# SPARK_HOME
export SPARK_HOME=/usr/local/src/spark-1.6./
export PATH=$PATH:$SPARK_HOME/bin

2）环境变量生效

# source /etc/profile

3、节点host03
1）修改/etc/profile, 增加spark环境变量

# SPARK_HOME
export SPARK_HOME=/usr/local/src/spark-1.6./
export PATH=$PATH:$SPARK_HOME/bin

2）环境变量生效

# source /etc/profile

4、启动spark集群，并查看各个节点的Spark进程

【先启动haoop集群】
1) Spark主节点，启动整个集群
路径：/usr/local/src/spark-1.6.0/sbin

# ./start-all.sh

2）Spark主节点进程 Master

# jps

3)Spark从节点进程 Worker

# jps

4)Spark UI (http://主节点:8080)
Spark UI: 8080, 运行在Master
Standalone模式下的运行的Spark Application，会在Spark UI显示

Spark集群验证（不同方式提交Spark Application，查看运行情况）

1、本地模式提交自带的示例Spark Application

# ./bin/run-example SparkPi  --master local[]   //2个线程，本地模式运行，run-example会调用spark-submit进行提交

结果：结果和日志会直接打印到终端

也可以通过Driver上的Application运行期间，提供的WEB UI http://<driver-node>:4040 查看

2、Standalone集群模式提交

# ./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://host01:7077 \
lib/spark-examples-1.6.-hadoop2.6.0.jar \

监控：1）提交作业的终端会打印信息
          2）Spark UI会出现该Application, Application Detail则会跳转到Driver Programme Web UI(4040)

Spark UI(8080)查看Spark Application

Driver Programme Web UI(4040)