spark1.3.1安装和集群的搭建
由于越来越多的人开始使用spark计算框架了,而且spark计算框架也是可以运行在yarn的平台上,因此可以利用单个集群,运行多个计算框架。这是一些大公司都是这么干的。好了,下面讲一下spark1.3.1是如何安装到集群上去的。
1、由于spark的计算框架依赖于scala,因此在安装spark之前,必须安装scala,于是通过网上下载scala-2.10.5.tgz软件包
(1)解压
tar -zxvf scala-2.10.5.tgz
(2)配置环境变量
SCALA_HOME=/home/grid/spark/scala-2.10.5
path=$path:$SCALA_HOME\bin
(3)测试安装是否成功
scala -version
或者通过scala shell命令行界面来验证:
输入scala 进入:
输入 8*8 ,可以计算出结果
2、安装spark
(1)首先从网 http://spark.apache.org/downloads.html 上下载spark-1.3.1-bin-hadoop2.4.tar
(2)解压
tar -zxvf spark-1.3.1-bin-hadoop2.4.tar
(3)配置环境变量
SPARK_HOME=/home/grid/spark/spark-1.3.1
path=$path:$SPARK_HOME/bin
(4)修改配置文件
1)cd spark-1.3.1\conf
2)mv spark-env.sh.template spark-env.sh
3)vi spark-env.sh
添加以下内容:
export SCALA_HOME=/home/grid/spark/scala-2.10.5
export JAVA_HOME=/usr/java/jdk-1.7
export SPARK_MASTER_IP=192.168.1.21
export SPARK_WORKER_MEMORY=1024m
export master=spark://192.168.1.21:7070
4)修改slaves文件
mv slaves.template slaves
vi slaves
添加一下内容:
hadoop2
hadoop3
hadoop4
(5)启动spark
pwd
/home/grid/spark/spark-1.3.1/sbin
执行 ./start-all.sh 命令。
注意,hadoop也有start-all.sh脚本,因此必须进入具体目录执行脚本,启动界面如下:
对应的关闭spark也是在sbin目录下,执行
./stop-all.sh 即可。
(6)验证
1)在master节点上执行jps
30859 Jps
30172 Master
2)在slaves节点上执行jps
30302 Worker
30859 Jps
(7)验证安装情况
1)运行自带示例
进入/spark-1.3.1/bin目录下,执行
./run-example org.apache.spark.examples.SparkLR
2)查看集群环境
http://hadoop1:8080/
3)进入spark-shell
$spark-shell
4)查看jobs等信息
http://hadoop1:4040/jobs/
spark1.3.1安装和集群的搭建的更多相关文章
- 大数据平台搭建-zookeeper集群的搭建
本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容: 基础环境安装 zookeeper集群的搭建 kafka集群的搭建 hadoop/hbase集群的搭建 spark集群的搭建 flink集 ...
- 大数据平台搭建-kafka集群的搭建
本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容: 基础环境安装 zookeeper集群的搭建 kafka集群的搭建 hadoop/hbase集群的搭建 spark集群的搭建 flink集 ...
- CentOS6.5 安装Spark集群
一.安装依赖软件Scala(所有节点) 1.下载Scala:http://www.scala-lang.org/files/archive/scala-2.10.4.tgz 2.解压: [root@H ...
- Windows安装RabbitMQ集群的几个注意点
记录一下RabbitMQ在windows平台下安装的几个注意点- -,好记性不如烂笔头 安装过程与Linux安装一致,教程参照官网集群配置:此处只列举出几个注意点: 1. erlang的版本需要一致, ...
- centos7.0 安装redis集群
生产环境下redis基本上都是用的集群,毕竟单机版随时都可能挂掉,风险太大.这里我就来搭建一个基本的redis集群,功能够用但是还需要完善,当然如果有钱可以去阿里云买云数据库Redis版的,那个还是很 ...
- 安装ClouderaManager以及使用ClouderaManager安装分布式集群的若干细节
目录 前言 整体介绍 分步安装介绍 总结 一.前言 周末干了近四十个小时中间只休息了五个小时终于成功安装了ClouderaManager以及分布式集群,其中各种辛酸无以言表,唯有泪两行. ...
- 安装hadoop集群服务器(hadoop1.2.1)
摘要:hadoop,一个分布式系统基础架构,可以充分利用集群的威力进行高速运算和存储.本文主要介绍hadoop的安装与集群服务器的配置. 准备文件: ▪ VMware11.0.0 ▪ Cen ...
- CentOS 6.5 安装HDFS集群(Hadoop-2.7.3)
安装真实集群,而不是但节点或者伪分布式,以3个节点为例,node1为NameNode和SecondNameNode,node2和node3为DataNode. 1.3台机器的配置必须要一模一样,只需要 ...
- Centos安装Kafka集群
kafka是LinkedIn开发并开源的一个分布式MQ系统,现在是Apache的一个孵化项目.在它的主页描述kafka为一个高吞吐量的分布式(能 将消息分散到不同的节点上)MQ.在这片博文中,作者简单 ...
随机推荐
- A7600官方ROM_VIBEUI_V2.5_1537联通版使用体验
A7600官方ROM_VIBEUI_V2.5_1537联通版使用体验 A7600我原来的ROM是西关少爷精简的VIBEUI1521,已经root,后来不小心恢复了出厂设置,然后就出现异常了,用twrp ...
- PC上安装多个操作系统
目 录 第1章 绪论 1 1.1 目标 1 1.2 适宜的读者 1 第2章 制作启动U盘 2 2.1 初级安装 2 2.2 启动分析 3 2.3 高级安装 1 ...
- css清除默认样式和设置公共样式
/*公共样式--开始*/ html, body, div, ul, li, h1, h2, h3, h4, h5, h6, p, dl, dt, dd, ol, form, input, textar ...
- java synchronized静态同步方法与非静态同步方法,同步语句块
摘自:http://topmanopensource.iteye.com/blog/1738178 进行多线程编程,同步控制是非常重要的,而同步控制就涉及到了锁. 对代码进行同步控制我们可以选择同步方 ...
- java版本的学生管理系统
import java.awt.BorderLayout; import java.awt.Color; import java.awt.Frame; import java.awt.event.Ac ...
- OC 继承子类对象调用方法机制 子类对象访问父类中的实例变量
在继承中,子类对象如何调用到正确方法的机制 每一个Objective - C对象都有一个隐藏的指针指向类的代码,当向一个对象发送消息的时候,当前的对象会首先在当前类里去查找相应的方法,如果找到的话,直 ...
- 串口调试,提示the given port name does not start with COM/com异常解决办法,,发现是打印机在搞怪
串口测试时,用到串口,把打印机的拔下来,换上测试的,程序一打开就提示错误:the given port name does not start with COM/com or does not res ...
- Ext.data.Store动态修改url
store.proxy = new Ext.data.HttpProxy({url:path}); 示例: var ad_store = new Ext.data.JsonStore({ fields ...
- ThinkPHP中数据库操作返回值总结
转自:http://www.baiwar.com/post/thinkphp-database-operations-in-the-return-value.html Thinkphp中的Think\ ...
- 陈朱兴-js写法【案例】:
ajax请求: 一.从服务器端请求数据: var url = '';url = 'https://api.weixin.qq.com/sns/oauth2/access_token?appid='+ ...