一、Java安装

1、安装包准备:

首先到官网下载jdk,http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html,我下载jdk-7u79-linux-x64.tar.gz,下载到主目录

2、解压安装包

通过终端在/usr/local目录下新建java文件夹,命令行:

sudo mkdir /usr/local/java

然后将下载到压缩包拷贝到java文件夹中,命令行:

进入jdk压缩包所在目录

cp jdk-7u79-linux-x64.tar.gz /usr/local/java

然后进入java目录,命令行:

cd /usr/local/java

解压压缩包,命令行:

sudo tar xvf jdk-7u79-linux-x64.tar.gz

然后可以把压缩包删除,命令行:

sudo rm jdk-7u79-linux-x64.tar.gz

3、设置jdk环境变量

这里采用全局设置方法,就是修改etc/profile,它是是所有用户的共用的环境变量

sudo vi /etc/profile

打开之后在末尾添加

export JAVA_HOME=/usr/local/java/jdk1.7.0_79
export JRE_HOME=/usr/local/java/jdk1.7.0_79/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin: $PATH

使profile生效

source /etc/profile

4、检验是否安装成功

在终端

java -version

显示如下

java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)

PS:后来发现直接rpm包jdk-7u79-linux-x64.rpm桌面双击安装也OK,^_^

二、scala2.11.4安装

1、安装包准备:

首先到官网下载scala,http://www.scala-lang.org/,下载scala-2.11.4.tgz,并复制到/usr/bib

2、解压安装包

tar -zxf scala-2.11.4.tgz

3、设置scala环境变量

这里采用全局设置方法,就是修改etc/profile,它是是所有用户的共用的环境变量

sudo vi /etc/profile

打开之后在末尾添加

export SCALA_HOME=/usr/lib/scala-2.11.4
export PATH=$SCALA_HOME/bin:$PATH

使profile生效

source /etc/profile

4、检验是否安装成功

在终端

scala -version

显示如下

Scala code runner version 2.11.4 -- Copyright 2002-2013, LAMP/EPFL

三、hadoop2.3安装

1、安装包准备:

hadoop版本有点混乱,除了http://hadoop.apache.org/有众多版本之外,还有Cloudera公司的CDH版本,请从观望下载hadoop-2.3.0.tar.gz或者下载CDH版本hadoop-2.3.0-cdh5.0.0.tar.gz,本文环境是在hadoop-2.3.0-cdh5.0.0.tar.gz之上建立。

2、解压安装包

下载安装包之后复制到/usr目录。

tar -zxf hadoop-2.3.0-cdh5.0.0.tar.gz
解压后生成hadoop-2.3.0-cdh5.0.0,重命名为hadoop-2.3.0。

3、配置环境

这里采用全局设置方法,就是修改etc/profile,它是是所有用户的共用的环境变量

sudo vi /etc/profile

打开之后在末尾添加

export HADOOP_HOME=/home/zero/hadoop/hadoop-2.3.0
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

使profile生效

source /etc/profile

3、建立hadoop用户

useradd hadoop

passwd hadoop

3、配置SSH免登录

su  hadoop  //切换到hadoop用户目录下

ssh-keygen-t rsa(一路回车 生成密钥)

cd/home/hadoop/.ssh/

scp  id_rsa.pub hadoop@slave1:/home/hadoop/.ssh/

mv id_rsa.pub authorized_keys

四、spark1.3.1安装

1、安装包准备:

spark官网下载spark-1.3.1-bin-hadoop2.3.tgz。

2、解压安装包

下载安装包之后复制到/usr目录。

tar -zxf spark-1.3.1-bin-hadoop2.3.tgz
解压后生成spark-1.3.1-bin-hadoop2.3,重命名为spark-1.3.1-hadoop2.3。

3、配置环境

这里采用全局设置方法,就是修改etc/profile,它是是所有用户的共用的环境变量

sudo vi /etc/profile

打开之后在末尾添加

export SPARK_HOME=/usr/spark-1.3.1-hadoop2.3
export PATH=$SPARK_HOME/bin:$PATH


使profile生效

source /etc/profile

4、配置环境

这里采用全局设置方法,就是修改etc/profile,它是是所有用户的共用的环境变量

sudo vi /etc/profile

打开之后在末尾添加

export SPARK_HOME=/usr/spark-1.3.1-hadoop2.3
export PATH=$SPARK_HOME/bin:$PATH


使profile生效

source /etc/profile

配置Spark环境变量

cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh

vi spark-env.sh 添加以下内容:

export JAVA_HOME=/usr/local/java-1.7.0_79
export HADOOP_HOME=/usr/hadoop-2.3.0
export HADOOP_CONF_DIR=/etc/hadoop/conf
export SCALA_HOME=/usr/lib/scala-2.11.4
export SPARK_HOME=/usr/spark-1.3.1-hadoop2.3
export SPARK_MASTER_IP=127.0.0.1
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8099 export SPARK_WORKER_CORES=3 //每个Worker使用的CPU核数
export SPARK_WORKER_INSTANCES=1 //每个Slave中启动几个Worker实例
export SPARK_WORKER_MEMORY=10G //每个Worker使用多大的内存
export SPARK_WORKER_WEBUI_PORT=8081 //Worker的WebUI端口号
export SPARK_EXECUTOR_CORES=1 //每个Executor使用使用的核数
export SPARK_EXECUTOR_MEMORY=1G //每个Executor使用的内存

export SPARK_CLASSPATH=/usr/spark-1.3.1-hadoop2.3/lib/sequoiadb-driver-1.12.jar:/usr/spark-1.3.1-hadoop2.3/lib/spark-sequoiadb_2.11.2-1.12.jar  //使用巨衫数据库
export SPARK_CLASSPATH=$SPARK_CLASSPATH:$CLASSPATH
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/nativ

配置Slave

cp slaves.template slaves
vi slaves 添加以下内容:
localhost

5、启动Spark  Master

cd $SPARK_HOME/sbin/
./start-master.sh

6、启动Spark  Slave

cd $SPARK_HOME/sbin/
./start-slaves.sh

centos+scala2.11.4+hadoop2.3+spark1.3.1环境搭建的更多相关文章

  1. Hadoop-2.4.1完全分布式环境搭建

      Hadoop-2.4.1完全分布式环境搭建   Hadoop-2.4.1完全分布式环境搭建 一.配置步骤如下: 主机环境搭建,这里是使用了5台虚拟机,在ubuntu 13系统上进行搭建hadoop ...

  2. Hadoop2.5.0伪分布式环境搭建

    本章主要介绍下在Linux系统下的Hadoop2.5.0伪分布式环境搭建步骤.首先要搭建Hadoop伪分布式环境,需要完成一些前置依赖工作,包括创建用户.安装JDK.关闭防火墙等. 一.创建hadoo ...

  3. spark1.5.1环境搭建

    今天一个小伙伴找我搞spark,搞了一个中午都没搭建好.心里痒痒的.索性自己重来了一遍. 本来很简单的事情,被这小子搞的老复杂了.究其原因,有以下几点: 下载的软件不对,我用的是这两个软件 spark ...

  4. 分享一份关于Hadoop2.2.0集群环境搭建文档

    目录 一,准备环境 三,克隆VM 四,搭建集群 五,Hadoop启动与测试 六,安装过程中遇到的问题及其解决方案 一,准备环境 PC基本配置如下: 处理器:Intel(R) Core(TM) i5-3 ...

  5. hadoop-2.7.1伪分布环境搭建

    1.准备Linux环境  1.0 点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet i ...

  6. Hadoop-2.7.1集群环境搭建

    摘自:http://blog.csdn.net/u014039577/article/details/49813531 由于日志数据量越来越大,数据处理的逻辑越来越复杂,同时还涉及到大量日志需要批处理 ...

  7. Hadoop2.6.0伪分布环境搭建

    用到的软件: 一.安装jdk: 1.要安装的jdk,我把它拷在了共享文件夹里面.   (用优盘拷也可以) 2.我把jdk拷在了用户文件夹下面. (其他地方也可以,不过路径要相应改变) 3.执行复制安装 ...

  8. hadoop2.7.2完全分布式环境搭建

      1.先使用groupadd hadoop 建立hadoop用户组 2.新建用户,useradd -d /usr/hadoop -g hadoop -m hadoop (新建用户hadoop指定用户 ...

  9. CentOS下安装和配置MySQL-JDK-Tomcat-Nginx(个人官网环境搭建手冊)

    今天,又一次弄我的个人云主机的环境.准备运营自己用Java写的个人官网等站点. 服务器环境:阿里云CentOS 6.4位 包含以下脚本在内的绝大部分命令和脚本,都是我亲自运行过,靠谱的. 完整的&qu ...

随机推荐

  1. Nodejs事件引擎libuv源码剖析之:请求(request)结构的设计剖析

    声明:本文为原创博文,转载请注明出处.         在libuv中,请求(request)代表一个用户向libuv发出的指令,比如uv_connect_s就表示一个tcp的连接请求.uv_work ...

  2. 美团HD(2)-设置导航栏内容

    DJHomeViewController.m #import "DJHomeViewController.h" #import "DJConstantValue.h&qu ...

  3. Altium Designer 的entry sheet ,offsheet和port作用(转载)

    1.图纸结构 图纸包括两种结构关系: 一种是层次式图纸,该连接关系是纵向的,也就是某一层次的图纸只能和相邻的上级或下级有关系: 另一种是扁平式图纸,该连接关系是横向的,任何两张图纸之间都可以建立信号连 ...

  4. ps命令

    Linux中的ps命令是Process Status的缩写.ps命令用来列出系统中当前运行的那些进程.ps命令列出的是当前那些进程的快照,就是执行ps命令的那个时刻的那些进程,如果想要动态的显示进程信 ...

  5. php中的高危函数

    phpinfo() 功能描述:输出 PHP 环境信息以及相关的模块.WEB 环境等信息. 危险等级:中 passthru() 功能描述:允许执行一个外部程序并回显输出,类似于 exec(). 危险等级 ...

  6. tp中ueditor编辑器的使用

    1/引入三个文件 <script type="text/javascript" charset="utf-8" src="{$Think.con ...

  7. 常用ubuntu命令

    解压缩.7z sudo apt-get install p7zip-full 7z x PACKAGE.7z 查看图片 eog A.png 关闭打开触摸板(触点) sudo rmmod psmouse ...

  8. MySQL 优化MySQL Server

    一.使用show variables 和show status 命令查看MySQL的服务器静态参数值和动态运行状态信息. 二.可以使用 mysqld --verbose --help|more 查看某 ...

  9. Django Restful Framework (一): Serializer

    Serializer 允许复杂数据(比如 querysets 和 model 实例)转换成python数据类型,然后可以更容易的转换成 json 或 xml 等.同时,Serializer也提供了反序 ...

  10. ms08-067漏洞--初识渗透测试--想必很多初学者都会遇到我文中提及的各种问题

    最近读了一本书--<<渗透测试实践指南>>,测试了书中的一些例子后,开始拿ms08-067这个经典的严重漏洞练手,实践当中遇到诸多问题,好在一一解决了,获益匪浅. 在谷歌搜索的 ...