第一步:安装spark

将官网下载好的spark-2.0.0-bin-hadoop2.6.tgz上传到/usr/spark目录下。这里需注意的是spark和hadoop有对应版本关系

[root@spark1 spark]# chmod u+x spark-2.0.0-bin-hadoop2.6.tgz
[root@spark1 spark]# tar -zxvf spark-2.0.0-bin-hadoop2.6.tgz
[root@spark1 spark]# mv spark-2.0.0-bin-hadoop2.6 spark-2.0 #重命名 [root@spark1 spark-2.0]# vi /etc/profile
export SPARK_HOME=/usr/spark/spark-2.0
export PATH=$SPARK_HOME/bin
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
[root@spark1 spark-2.0]# source /etc/profile

第二步:修改配置文件

[root@spark1 spark-2.0]# cd conf
[root@spark1 conf]# mv spark-env.sh.template spark-env.sh
[root@spark1 conf]# vi spark-env.sh #增加如下内容
# environment variables
export JAVA_HOME=/usr/java/jdk #jdk安装目录
export SCALA_HOME=/usr/scala/scala-2.11 #Scala安装目录
export SPARK_MASTER_IP=192.168.220.144 ##spark集群节点的master的ip ,spark1
export SPARK_WORKER_MEMORY=1g #指定work节点能够最大分配给Excutors的内存大小
export HADOOP_CONF_DIR=/usr/hadoop/hadoop-2.6.0/etc/hadoop #hadoop集群的配置文件目录 [root@spark1 conf]# mv slaves.template slaves
[root@spark1 conf]# vi slaves #
# A Spark Worker will be started on each of the machines listed below.
spark1 #由于spark比较吃内存,可以不放主节点spark1
spark2
spark3

第三步:在spark2和spark3节点上也安装spark

传spark
[root@spark1 usr]# scp -r /usr/spark/ root@spark2:/usr/
[root@spark1 usr]# scp -r /usr/spark/ root@spark3:/usr/ 传配置文件
[root@spark1 ~]# scp /etc/profile root@spark2:/etc/
[root@spark1 ~]# scp /etc/profile root@spark3:/etc/
使配置文件生效
[root@spark2 ~]# source /etc/profile
[root@spark3 ~]# source /etc/profile [root@spark1 sbin]# start-all.sh #启动spark
[root@spark1 sbin]# jps
5555 ResourceManager
6019 Jps
5651 NodeManager
5351 SecondaryNameNode
5224 DataNode
5134 NameNode

第四步:验证spark以及进入spark-shell

[root@spark1 sbin]# spark-shell #进入spark环境



spark学习7(spark2.0集群搭建)的更多相关文章

  1. spark学习1(hadoop集群搭建)

    把原先搭建的集群环境给删除了,自己重新搭建了一次,将笔记整理在这里,方便自己以后查看 第一步:安装主节点spark1 第一个节点:centos虚拟机安装,全名spark1,用户名hadoop,密码12 ...

  2. spark学习5(hbase集群搭建)

    第一步:Hbase安装 hadoop,zookeeper前面都安装好了 将hbase-1.1.3-bin.tar.gz上传到/usr/HBase目录下 [root@spark1 HBase]# chm ...

  3. [spark]-Spark2.x集群搭建与参数详解

    在前面的Spark发展历程和基本概念中介绍了Spark的一些基本概念,熟悉了这些基本概念对于集群的搭建是很有必要的.我们可以了解到每个参数配置的作用是什么.这里将详细介绍Spark集群搭建以及xml参 ...

  4. ZooKeeper学习笔记一:集群搭建

    作者:Grey 原文地址:ZooKeeper学习笔记一:集群搭建 说明 单机版的zk安装和运行参考:https://zookeeper.apache.org/doc/r3.6.3/zookeeperS ...

  5. Redis 3.0 集群搭建

    Redis 3.0 集群搭建 开启两个虚拟机 分别在两个虚拟机上开启3个Redis实例 3主3从两个虚拟机里的实例互为主备 下面分别在两个虚拟机上安装,网络设置参照codis集群的前两个主机 分别关闭 ...

  6. Redis 5.0 集群搭建

    Redis 5.0 集群搭建 单机版的 Redis 搭建 https://www.jianshu.com/p/b68e68bbd725 /usr/local/目录 mkdir redis-cluste ...

  7. Ubuntu 12.04下Hadoop 2.2.0 集群搭建(原创)

    现在大家可以跟我一起来实现Ubuntu 12.04下Hadoop 2.2.0 集群搭建,在这里我使用了两台服务器,一台作为master即namenode主机,另一台作为slave即datanode主机 ...

  8. hadoop2.6.0集群搭建

    p.MsoNormal { margin: 0pt; margin-bottom: .0001pt; text-align: justify; font-family: Calibri; font-s ...

  9. centos下hadoop2.6.0集群搭建详细过程

    一 .centos集群环境配置 1.创建一个namenode节点,5个datanode节点 主机名 IP namenodezsw 192.168.129.158 datanode1zsw 192.16 ...

随机推荐

  1. delphi连接sql server数据库,并根据sql语句查询出数据显示--初级

    需要用到四个组件,分别为: 1.ADOConnection1 设置Connectionstring属性(连接串),loginPrompt属性控制是否连接记住了密码: 2.ADOQuery1 设置Con ...

  2. 智力大冲浪(洛谷P1230)

    题目描述 小伟报名参加中央电视台的智力大冲浪节目.本次挑战赛吸引了众多参赛者,主持人为了表彰大家的勇气,先奖励每个参赛者m元.先不要太高兴!因为这些钱还不一定都是你的?!接下来主持人宣布了比赛规则: ...

  3. My97DatePicker日历控件在iframe提示没有权限的问

    修改 WdatePicker.js 文件 $crossFrame:false, 值设成 false,原来的值是 true

  4. vmware key

    VMware vRealize Suite 2017 Enterprise   N04CL-09H9H-J89DJ-0KCH6-90N0J VMware vRealize Operations Man ...

  5. mysql_表内容_操作

    1.增 语法:insert into 表 (列名,列名...) values (值,值...) # 插入单条数据 insert into 表 (列名,列名...) values (值,值...) # ...

  6. IE11 Enterprise Mode Template missing from GPMC

    IE11 Enterprise Mode Template missing from GPMC     Reason:You have not copied the new IE11 Enterpri ...

  7. contos7 mongodb安装教程

    通过yum安装mongodb 1.创建文件mongodb.repo文件, cd /etc/yum.repos.d/ vi mongodb.repo 复制如下代码: [mongodb-org-3.4] ...

  8. python基础之类的isinstance与issubclass、反射

    一 isinstance(obj,cls)和issubclass(sub,super) isinstance(obj,cls)检查是否obj是否是类 cls 的对象 class Foo: pass o ...

  9. 我的Android进阶之旅------>解决:Execution failed for task ':app:transformResourcesWithMergeJavaResForDebug'.

    错误描述 今天在Android Studio项目中加入了jackson的开发包,编译运行时候,引发了如下的错误: Error:Execution failed for task ':app:trans ...

  10. java正则匹配

    java正则提取需要用到Matcher类,下面给出案例示例供参考 需要提取车牌号中最后一个数字,比如说:苏A7865提取5,苏A876X提取6import java.util.regex.Matche ...