Spark1.5.1的安装与部署 每一步详细测试截图
转载或借鉴请注明转自 http://www.cnblogs.com/FG123/p/5101733.html 谢谢!
1.安装Spark之前需要先安装Java,Scala及Python(个人喜欢用pyspark,当然你也可以用原生的Scala)
首先安装Java jdk:
我们可以在Oracle的官网下载Java SE JDK,下载链接:http://www.oracle.com/technetwork/java/javase/downloads/index.html。
最好是下载最新版本,下载完解压,配置环境变量等,可以查看是否安装好
然后安装Scala:
这里我们下载最新版本2.11.7
的Scala安装 Scala官网下载地址:http://www.scala-lang.org/download/
然后我们执行:
tar zxvf scala-2.11.7.tgz
sudo mv scala-2.11.7 /opt/
解压后测试scala命令,并查看版本:
然后安装Python及IPython:
sudo apt-get install python ipython
查看他们的版本信息:
安装spark:
Spark官方下载链接:http://spark.apache.org/downloads.html 我下的是Spark 1.5.1
下载后解压并拷贝到/opt/
目录:
tar zxvf spark-1.5.1-bin-hadoop2.6.tgz
sudo mv spark-1.5.1-bin-hadoop2.6 /opt/source ~/.zshrc
配置路径到PATH
环境变量中:
echo "export PATH=$PATH:/opt/spark-1.5.1-bin-hadoop2.6/bin" >> ~/.bashrc
source ~/.bashrc
测试下spark-shell的位置是否可以找到 :
进入spark配置目录进行配置:
cd /opt/spark-1.5.1-bin-hadoop2.6/conf
cp log4j.properties.template log4j.properties
修改 log4j.rootCategory=WARN, console
sudo cp spark-env.sh.template spark-env.sh
设置spark的环境变量,进入spark-env.sh文件添加:
export SPARK_HOME=/opt/spark-1.5.1-bin-hadoop2.6
export SCALA_HOME=/opt/scala-2.11.7
至此,Spark就已经安装好了
运行spark:
Spark-Shell命令可以进入spark,
可以使用Ctrl D
组合键退出Shell:
我们可以看到进入的是Scala状态下的spark
如果习惯用python 我们可以运行pyspark:
或者直接使用IPython,执行命令:IPYTHON=1 pyspark:
启动spark服务:
这里我们启动了主结点
如果主节点启动成功,master默认可以通过web访问http://localhost:8080:
上述的spark://ubuntu:7077 就是从结点启动的参数 我的是Ubuntu 你们的可能是不一样的
启动slave:
./sbin/start-slave.sh spark://ubuntu:7077
我们可以再次刷新浏览器页面,可以看到worker Id多了一行:
停止服务:
./sbin/stop-all.sh 输入密码即可停止
Spark1.5.1的安装与部署 每一步详细测试截图的更多相关文章
- 安装ESXi部署OVF详细步骤
整个安装部署过程均在个人环境进行.欧克,我们现在开始. 一.安装ESXi 1.Enter回车 2.Enter回车继续 3.F11,接受继续 4.Enter,回车继续(选择安装ESXi的设备) 5.默认 ...
- Windows Server 2012 虚拟化实战:SCVMM的安装和部署
本篇大概介绍一下在Windows Server 2012 R2上安装和部署SCVMM的过程及其注意事项.下图是我们数据中心SCVMM的基本架构,其中 SCVMM Database 是用于存储了所有配置 ...
- Linux下Redis的安装和部署
一.Redis介绍 Redis是当前比较热门的NOSQL系统之一,它是一个key-value存储系统.和Memcache类似,但很大程度补偿了Memcache的不足,它支持存储的value类型相对更多 ...
- 他山之石——vs2013 安装与部署及程序打包
C#打包需要这个:InstallShield 2013 Limited Edition for Visual Studio .下载地址: InstallShield 2013 Limited Edi ...
- 阿里云服务器Linux CentOS安装配置(六)resin多端口配置、安装、部署
阿里云服务器Linux CentOS安装配置(六)resin多端口配置.安装.部署 1.下载resin包 http://125.39.66.162/files/2183000003E08525/cau ...
- Kafka的安装和部署及测试
1.简介 大数据分析处理平台包括数据的接入,数据的存储,数据的处理,以及后面的展示或者应用.今天我们连说一下数据的接入,数据的接入目前比较普遍的是采用kafka将前面的数据通过消息的方式,以数据流的形 ...
- Redis的安装与部署
为了解决公司产品数据增长过快,初始化太耗费时间的问题,决定使用redis作为缓存服务器. Windows下的安装与部署: 可以直接参考这个文章,我也是实验了一遍:http://www.runoob.c ...
- Office web app server2013详细的安装和部署
转自:http://blog.csdn.net/u011355311/article/details/9360293 SharePoint 2013集成Office web apps server20 ...
- Lucene/Solr搜索引擎开发笔记 - 第2章 Solr安装与部署(Tomcat篇)
一.安装环境 图1-1 Tomcat和Solr的版本 我本机目前使用的Java版本为JDK 1.8,因为Solr 4.9要求Java版本为1.7+,请注意. 二.Solr部署到Tomcat流程 图1- ...
随机推荐
- Html 小插件7 新闻免费代码
http://rss.cnfol.com/freecode/ 定制方法图:
- Kate Spade_百度百科
Kate Spade_百度百科 Kate Spade
- 关于webroot与web-inf
struts.xml中配置redirect重定向路径的问题,要把转发的页面放到WebRoot下才能访问到,要是放在WEB-INF下面就访问不到.
- [置顶] jsp中c标签的使用
jsp中c标签的使用 核心标签库 它是JSTL中的核心库,为日常任务提供通用支持,如显示和设置变量.重复使用一组项目.测试条件和其他操作(如导入和重定向Web内容).Core标签按功能可分为4种类型: ...
- HDU 1976 prime path
题意:给你2个数n m.从n变成m最少须要改变多少次. 当中: 1.n m 都是4位数 2.每次仅仅能改变n的一个位数(个位.十位.百位.千位),且每次改变后后的新数为素数 思路:搜索的变形题,这 ...
- struts2入门
好久没有动博客了.今天看了一下慕课网的视频,简单了解一下struts2. 首先是在项目中引入struts2的文件,有一个比较简单的方法就是可以直接右键项目MyEclipse->Project f ...
- Linux新手笔记 sudo
centos 6.4 32bit 你是也像我一样,厌烦了在root用户和个人用户之间来回切换.或者干脆直接用root用户.可以这样设置,然后在命令前加sudo 即可使用自己到密码,临时用root身份执 ...
- js 中日期 转换成时间戳 例如2013-08-30 转换为时间戳
//时间格式2014-02-02 14:10:00改成时间戳 //此时构造出来的时间是:2013/03/08 00:00:00. //这样得到的是一个数值,表示的是从1970年1月1日0点0分0秒到d ...
- centos7安装mysql5.6
1.更新yum源 wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm rpm -ivh mysql-communit ...
- 帝国cms分页样式修改文件-注意事项
帝国cms分页样式主要有:内容页分页样式.列表页分页样式以及默认搜索模板使用的搜索样式等几种. 要改这些样式其实也很简单,在网站目录中找到相应的.css文件修改empages属性就行了,但是这样比较麻 ...