centos+scala2.11.4+hadoop2.3+spark1.3.1环境搭建
一、Java安装
1、安装包准备:
首先到官网下载jdk,http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html,我下载jdk-7u79-linux-x64.tar.gz,下载到主目录
2、解压安装包
通过终端在/usr/local目录下新建java文件夹,命令行:
sudo mkdir /usr/local/java
然后将下载到压缩包拷贝到java文件夹中,命令行:
进入jdk压缩包所在目录
cp jdk-7u79-linux-x64.tar.gz /usr/local/java
然后进入java目录,命令行:
cd /usr/local/java
解压压缩包,命令行:
sudo tar xvf jdk-7u79-linux-x64.tar.gz
然后可以把压缩包删除,命令行:
sudo rm jdk-7u79-linux-x64.tar.gz
3、设置jdk环境变量
这里采用全局设置方法,就是修改etc/profile,它是是所有用户的共用的环境变量
sudo vi /etc/profile
打开之后在末尾添加
export JAVA_HOME=/usr/local/java/jdk1.7.0_79
export JRE_HOME=/usr/local/java/jdk1.7.0_79/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin: $PATH
使profile生效
source /etc/profile
4、检验是否安装成功
在终端
java -version
显示如下
java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)
PS:后来发现直接rpm包jdk-7u79-linux-x64.rpm桌面双击安装也OK,^_^
二、scala2.11.4安装
1、安装包准备:
首先到官网下载scala,http://www.scala-lang.org/,下载scala-2.11.4.tgz,并复制到/usr/bib
2、解压安装包
tar -zxf scala-2.11.4.tgz
3、设置scala环境变量
这里采用全局设置方法,就是修改etc/profile,它是是所有用户的共用的环境变量
sudo vi /etc/profile
打开之后在末尾添加
export SCALA_HOME=/usr/lib/scala-2.11.4
export PATH=$SCALA_HOME/bin:$PATH
使profile生效
source /etc/profile
4、检验是否安装成功
在终端
scala -version
显示如下
Scala code runner version 2.11.4 -- Copyright 2002-2013, LAMP/EPFL
三、hadoop2.3安装
1、安装包准备:
hadoop版本有点混乱,除了http://hadoop.apache.org/有众多版本之外,还有Cloudera公司的CDH版本,请从观望下载hadoop-2.3.0.tar.gz或者下载CDH版本hadoop-2.3.0-cdh5.0.0.tar.gz,本文环境是在hadoop-2.3.0-cdh5.0.0.tar.gz之上建立。
2、解压安装包
下载安装包之后复制到/usr目录。
tar -zxf hadoop-2.3.0-cdh5.0.0.tar.gz
解压后生成hadoop-2.3.0-cdh5.0.0,重命名为hadoop-2.3.0。
3、配置环境
这里采用全局设置方法,就是修改etc/profile,它是是所有用户的共用的环境变量
sudo vi /etc/profile
打开之后在末尾添加
export HADOOP_HOME=/home/zero/hadoop/hadoop-2.3.0
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
使profile生效
source /etc/profile
3、建立hadoop用户
useradd hadoop
passwd hadoop
3、配置SSH免登录
su hadoop //切换到hadoop用户目录下
ssh-keygen-t rsa(一路回车 生成密钥)
cd/home/hadoop/.ssh/
scp id_rsa.pub hadoop@slave1:/home/hadoop/.ssh/
mv id_rsa.pub authorized_keys
四、spark1.3.1安装
1、安装包准备:
spark官网下载spark-1.3.1-bin-hadoop2.3.tgz。
2、解压安装包
下载安装包之后复制到/usr目录。
tar -zxf spark-1.3.1-bin-hadoop2.3.tgz
解压后生成spark-1.3.1-bin-hadoop2.3,重命名为spark-1.3.1-hadoop2.3。
3、配置环境
这里采用全局设置方法,就是修改etc/profile,它是是所有用户的共用的环境变量
sudo vi /etc/profile
打开之后在末尾添加
export SPARK_HOME=/usr/spark-1.3.1-hadoop2.3
export PATH=$SPARK_HOME/bin:$PATH
使profile生效
source /etc/profile
4、配置环境
这里采用全局设置方法,就是修改etc/profile,它是是所有用户的共用的环境变量
sudo vi /etc/profile
打开之后在末尾添加
export SPARK_HOME=/usr/spark-1.3.1-hadoop2.3
export PATH=$SPARK_HOME/bin:$PATH
使profile生效
source /etc/profile
配置Spark环境变量
cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh
vi spark-env.sh 添加以下内容:
export JAVA_HOME=/usr/local/java-1.7.0_79
export HADOOP_HOME=/usr/hadoop-2.3.0
export HADOOP_CONF_DIR=/etc/hadoop/conf
export SCALA_HOME=/usr/lib/scala-2.11.4
export SPARK_HOME=/usr/spark-1.3.1-hadoop2.3
export SPARK_MASTER_IP=127.0.0.1
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8099
export SPARK_WORKER_CORES=3 //每个Worker使用的CPU核数
export SPARK_WORKER_INSTANCES=1 //每个Slave中启动几个Worker实例
export SPARK_WORKER_MEMORY=10G //每个Worker使用多大的内存
export SPARK_WORKER_WEBUI_PORT=8081 //Worker的WebUI端口号
export SPARK_EXECUTOR_CORES=1 //每个Executor使用使用的核数
export SPARK_EXECUTOR_MEMORY=1G //每个Executor使用的内存
export SPARK_CLASSPATH=/usr/spark-1.3.1-hadoop2.3/lib/sequoiadb-driver-1.12.jar:/usr/spark-1.3.1-hadoop2.3/lib/spark-sequoiadb_2.11.2-1.12.jar //使用巨衫数据库
export SPARK_CLASSPATH=$SPARK_CLASSPATH:$CLASSPATH
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/nativ
配置Slave
cp slaves.template slaves
vi slaves 添加以下内容:
localhost
5、启动Spark Master
cd $SPARK_HOME/sbin/
./start-master.sh
6、启动Spark Slave
cd $SPARK_HOME/sbin/
./start-slaves.sh
centos+scala2.11.4+hadoop2.3+spark1.3.1环境搭建的更多相关文章
- Hadoop-2.4.1完全分布式环境搭建
Hadoop-2.4.1完全分布式环境搭建 Hadoop-2.4.1完全分布式环境搭建 一.配置步骤如下: 主机环境搭建,这里是使用了5台虚拟机,在ubuntu 13系统上进行搭建hadoop ...
- Hadoop2.5.0伪分布式环境搭建
本章主要介绍下在Linux系统下的Hadoop2.5.0伪分布式环境搭建步骤.首先要搭建Hadoop伪分布式环境,需要完成一些前置依赖工作,包括创建用户.安装JDK.关闭防火墙等. 一.创建hadoo ...
- spark1.5.1环境搭建
今天一个小伙伴找我搞spark,搞了一个中午都没搭建好.心里痒痒的.索性自己重来了一遍. 本来很简单的事情,被这小子搞的老复杂了.究其原因,有以下几点: 下载的软件不对,我用的是这两个软件 spark ...
- 分享一份关于Hadoop2.2.0集群环境搭建文档
目录 一,准备环境 三,克隆VM 四,搭建集群 五,Hadoop启动与测试 六,安装过程中遇到的问题及其解决方案 一,准备环境 PC基本配置如下: 处理器:Intel(R) Core(TM) i5-3 ...
- hadoop-2.7.1伪分布环境搭建
1.准备Linux环境 1.0 点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet i ...
- Hadoop-2.7.1集群环境搭建
摘自:http://blog.csdn.net/u014039577/article/details/49813531 由于日志数据量越来越大,数据处理的逻辑越来越复杂,同时还涉及到大量日志需要批处理 ...
- Hadoop2.6.0伪分布环境搭建
用到的软件: 一.安装jdk: 1.要安装的jdk,我把它拷在了共享文件夹里面. (用优盘拷也可以) 2.我把jdk拷在了用户文件夹下面. (其他地方也可以,不过路径要相应改变) 3.执行复制安装 ...
- hadoop2.7.2完全分布式环境搭建
1.先使用groupadd hadoop 建立hadoop用户组 2.新建用户,useradd -d /usr/hadoop -g hadoop -m hadoop (新建用户hadoop指定用户 ...
- CentOS下安装和配置MySQL-JDK-Tomcat-Nginx(个人官网环境搭建手冊)
今天,又一次弄我的个人云主机的环境.准备运营自己用Java写的个人官网等站点. 服务器环境:阿里云CentOS 6.4位 包含以下脚本在内的绝大部分命令和脚本,都是我亲自运行过,靠谱的. 完整的&qu ...
随机推荐
- Nodejs事件引擎libuv源码剖析之:请求(request)结构的设计剖析
声明:本文为原创博文,转载请注明出处. 在libuv中,请求(request)代表一个用户向libuv发出的指令,比如uv_connect_s就表示一个tcp的连接请求.uv_work ...
- 美团HD(2)-设置导航栏内容
DJHomeViewController.m #import "DJHomeViewController.h" #import "DJConstantValue.h&qu ...
- Altium Designer 的entry sheet ,offsheet和port作用(转载)
1.图纸结构 图纸包括两种结构关系: 一种是层次式图纸,该连接关系是纵向的,也就是某一层次的图纸只能和相邻的上级或下级有关系: 另一种是扁平式图纸,该连接关系是横向的,任何两张图纸之间都可以建立信号连 ...
- ps命令
Linux中的ps命令是Process Status的缩写.ps命令用来列出系统中当前运行的那些进程.ps命令列出的是当前那些进程的快照,就是执行ps命令的那个时刻的那些进程,如果想要动态的显示进程信 ...
- php中的高危函数
phpinfo() 功能描述:输出 PHP 环境信息以及相关的模块.WEB 环境等信息. 危险等级:中 passthru() 功能描述:允许执行一个外部程序并回显输出,类似于 exec(). 危险等级 ...
- tp中ueditor编辑器的使用
1/引入三个文件 <script type="text/javascript" charset="utf-8" src="{$Think.con ...
- 常用ubuntu命令
解压缩.7z sudo apt-get install p7zip-full 7z x PACKAGE.7z 查看图片 eog A.png 关闭打开触摸板(触点) sudo rmmod psmouse ...
- MySQL 优化MySQL Server
一.使用show variables 和show status 命令查看MySQL的服务器静态参数值和动态运行状态信息. 二.可以使用 mysqld --verbose --help|more 查看某 ...
- Django Restful Framework (一): Serializer
Serializer 允许复杂数据(比如 querysets 和 model 实例)转换成python数据类型,然后可以更容易的转换成 json 或 xml 等.同时,Serializer也提供了反序 ...
- ms08-067漏洞--初识渗透测试--想必很多初学者都会遇到我文中提及的各种问题
最近读了一本书--<<渗透测试实践指南>>,测试了书中的一些例子后,开始拿ms08-067这个经典的严重漏洞练手,实践当中遇到诸多问题,好在一一解决了,获益匪浅. 在谷歌搜索的 ...