一、JDK环境构建

在指定用户的根目录下编辑.bashrc文件,添加如下部分:

# .bashrc
# Source global definitions
if [ -f /etc/bashrc ]; then
. /etc/bashrc
fi
# User specific aliases and functions
JAVA_HOME=/data01/java/jdk1.8.0_121
PATH=$JAVA_HOME/bin:$PATH
export PATH JAVA_HOME

运行source .bashrc命令让环境变量生效

二、Scala环境构建

http://www.scala-lang.org/download/2.10.4.html上下载Scala正确版本进行安装,本文以scala-2.12.2.tgz版本为例进行说明:

编辑.bashrc文件,设置scala环境变量

# .bashrc
# Source global definitions
if [ -f /etc/bashrc ]; then
. /etc/bashrc
fi
# User specific aliases and functions
JAVA_HOME=/data01/java/jdk1.8.0_121
PATH=$JAVA_HOME/bin:$PATH #scala variables
SCALA_HOME=/data01/spark/scala-2.12.2
PATH=$PATH:$SCALA_HOME/bin export PATH JAVA_HOME
export SCALA_HOME PATH

我们还可以直接进入scala的环境进行测试,具体操作如下:

三、Hadoop环境构建

Hadoop安装包可以通过搜索hadoop-2.7.3.tar.gz来查找对应的安装包,

单机版hadoop安装方式请参见:http://www.zhongtiancai.com/post-143.html

伪分布模式安装方式请参见:http://www.jianshu.com/p/1e5ba77eb471http://blog.csdn.net/zhu_xun/article/details/42077311

# .bashrc
# Source global definitions
if [ -f /etc/bashrc ]; then
. /etc/bashrc
fi
# User specific aliases and functions
JAVA_HOME=/data01/java/jdk1.8.0_121
PATH=$JAVA_HOME/bin:$PATH #scala variables
SCALA_HOME=/data01/spark/scala-2.12.2
PATH=$PATH:$SCALA_HOME/bin export PATH JAVA_HOME
export SCALA_HOME PATH #Hadoop Env
export HADOOP_HOME=/data01/spark/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

 http://IP:8099   Hadoop集群管理界面

http://IP:50070 HDFS管理界面

四、Spark环境构建

修改配置文件vi bashrc,最后一行添加以下代码

export SPARK_HOME=/home/spark
export PATH=$PATH:$SPARK_HOME/bin

 运行source bashrc使文件立即生效

运行spark-shell 命令,即可启动spark单机模式.

spark-shell启动时会出现太多的info信息,可以通过修改conf下面的log4j.properties.template=>log4j.properties,然后将其中的log.rootCategory=WARN,console修改成warn,世界也就清净了.

配置spark-env.sh,进入spark/conf

#以下添加在末尾
export SPARK_MASTER_IP=192.168.232.130
export SPARK_LOCAL_IP=192.168.232.130

注意:192.168.232.130为本机的ip

运行spark/sbin/start-all.sh 命令,即可启动伪分布式模式;

运行spark/sbin/stop-all.sh 命令,即可停止运行

另:spark集群的web端口默认为8080,安装成功后可以通过检查WebUI:http://IP:8080

如果需要修改Spark的默认端口号,那么可以将sbin/start-master.sh中的SPARK_MASTER_WEBUI_PORT修改为任意端口号

if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then
SPARK_MASTER_WEBUI_PORT=8888
fi

测试Spark是否安装成功:可以通过spark/bin/run-example  org.apache.spark.examples.SparkPi来检测

Pi is roughly 3.14716

spark的安装可以参考:http://www.cnblogs.com/ivictor/p/5135792.html

scala+hadoop+spark环境搭建的更多相关文章

  1. 大数据学习系列之六 ----- Hadoop+Spark环境搭建

    引言 在上一篇中 大数据学习系列之五 ----- Hive整合HBase图文详解 : http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合 ...

  2. Hadoop SPARK 环境搭建

    http://www.linuxidc.com/Linux/2015-02/113486.htm http://www.cnblogs.com/lijingchn/p/5574476.html htt ...

  3. Scala进阶之路-为什么要学习Scala以及开发环境搭建

    Scala进阶之路-为什么要学习Scala以及开发环境搭建 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 最近人工智能和大数据那是相当的火呀,人工智能带动了Python的流行,区块 ...

  4. 分布式计算框架-Spark(spark环境搭建、生态环境、运行架构)

    Spark涉及的几个概念:RDD:Resilient Distributed Dataset(弹性分布数据集).DAG:Direct Acyclic Graph(有向无环图).SparkContext ...

  5. Spark学习进度-Spark环境搭建&Spark shell

    Spark环境搭建 下载包 所需Spark包:我选择的是2.2.0的对应Hadoop2.7版本的,下载地址:https://archive.apache.org/dist/spark/spark-2. ...

  6. Hive On Spark环境搭建

    Spark源码编译与环境搭建 Note that you must have a version of Spark which does not include the Hive jars; Spar ...

  7. Scala & IntelliJ IDEA环境搭建升级版:在JAVA中调用Scala的helloworld

    --------------------- 前言 --------------------- 项目关系,希望用Spark GraphX做数据分析及图像展示,但前提是得会spark:spark是基于sc ...

  8. 攻城狮在路上(陆)-- hadoop分布式环境搭建(HA模式)

    一.环境说明: 操作系统:Centos6.5 Linux node1 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 ...

  9. Hadoop之环境搭建

    初学Hadoop之环境搭建   阅读目录 1.安装CentOS7 2.安装JDK1.7.0 3.安装Hadoop2.6.0 4.SSH无密码登陆 本文仅作为学习笔记,供大家初学Hadoop时学习参考. ...

随机推荐

  1. 互联网公司linux运维生产场景常用软件工具一览

    linux的世界真的很精彩,还没入门的朋友赶紧进来吧! 操作系统:Centos※,Freebsd,Ubuntu,Redhat linux,suse linux网站服务:apache※,nginx※,l ...

  2. 一起talk C栗子吧(第一百三十三回:C语言实例--创建进程时的内存细节)

    各位看官们.大家好,上一回中咱们说的是从内存角度看进程和线程的样例.这一回咱们说的样例是:创建进程时的内存细节.闲话休提,言归正转.让我们一起talk C栗子吧! 看官们.我们都知道使用fork函数能 ...

  3. ASP.NET匿名对象与集合的使用

    一.关于匿名类型的特性 1.匿名类型 定义:匿名对象 var vobj = new { id = "编号", title = "标题", content = & ...

  4. Python取得系统进程列表

    一.上代码 import psutil for proc in psutil.process_iter(): try: pinfo = proc.as_dict(attrs=['pid', 'name ...

  5. Linux开机自动启动某一程序

    Linux开机启动程序详解我们假设大家已经熟悉其它操作系统的引导过程,了解硬件的自检引导步骤,就只从Linux操作系统的引导加载程序(对个人电脑而言通常是LILO)开始,介绍Linux开机引导的步骤. ...

  6. SpringMVC,Ehcache

    来自:http://blog.csdn.net/jadyer/article/details/12257865 http://jinnianshilongnian.iteye.com/blog/200 ...

  7. python 解析top文件格式

    top - 16:14:35 up 2 days, 3:04, 7 users, load average: 2.22, 1.84, 1.77 Tasks: 512 total, 2 running, ...

  8. APP注册邀请码

      小火箭:MrZOpba685OMLSpanBKFtkxcQf5eGOY   文章来源:刘俊涛的博客 欢迎关注,有问题一起学习欢迎留言.评论

  9. llvm code call graph

    https://www.ics.usi.ch/images/stories/ICS/slides/llvm-graphs.pdf

  10. JVM中java实例对象在内存中的布局

    普通的Java对象实例 和  Java数组实例.Java数组实例的对象头多了一个数组的长度.Java虚拟机可以通过普通java对象的元数据来确定java对象的大小,但是从数组的元数据中却无法确定数组的 ...