Spark-1.2.2部署

1.安装Scala

1.1解压和安装

在Scala官网http://www.scala-lang.org/download/下载Scala安装包，然后解压。（注：JDK的版本最好是1.7及以上，否则Scala版本要选择较低的。换言之，JDK版本影响Scala版本的选择。）

执行命令：

tar -zxvf scala-2.11.6.tgz

1.2配置环境变量

#Scala
export SCALA_HOME=/root/install/scala-2.11.6
export PATH=$PATH:$SCALA_HOME/bin

1.3验证安装

执行命令：scala，并且出现下图表示安装成功：

2.部署Spark

2.1解压和安装

在Spark官网http://spark.apache.org/downloads.html下载spark安装包spark-1.2.2-bin-hadoop2.4.tgz，直接解压安装。

执行命令：

tar -zxvf spark-1.2.2-bin-hadoop2.4.tgz

2.2修改配置文件

第一个文件：slaves文件

master
slave-1
slave-2

注：这里master是否写入slaves，①直接影响Spark启动后，用jps是否有worker进程启动；②直接影响web页面是否能够监测到master的状态。

第二个文件：spark-env.sh

首先把spark-env.sh.template文件重命名问spark-env.sh；然后写入以下参数：

export JAVA_HOME=/root/install/jdk1.7.0_76
export SCALA_HOME=/root/install/scala-2.11.6
export HADOOP_HOME=/root/install/hadoop-2.4.1
export HADOOP_CONF_DIR=/root/install/hadoop-2.4.1/etc/hadoop
export SPARK_MASTER_IP=192.168.253.10
export SPARK_MASTER_PORT=7077
export MASTER=spark://192.168.253.10:7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=4g

2.3启动Spark集群

执行命令：

./sbin/start-all.sh

2.4检查是否部署成功

方式一：执行jps命令



方式二：查看Web页面

输入地址：192.168.253.10:8080

PS：以上安装是在JDK，Hadoop安装成功之后进行的安装。关于Hadoop-2.x的安装可以参看这个链接Hadoop-2.x部署，因为Hadoop部署网上很容易找到，我就没有写在博客上，但我个人觉得这个链接讲的很不错。

版权声明：本文为博主原创文章，未经博主允许不得转载。