scala+hadoop+spark环境搭建
一、JDK环境构建
在指定用户的根目录下编辑.bashrc文件,添加如下部分:
# .bashrc
# Source global definitions
if [ -f /etc/bashrc ]; then
. /etc/bashrc
fi
# User specific aliases and functions
JAVA_HOME=/data01/java/jdk1.8.0_121
PATH=$JAVA_HOME/bin:$PATH
export PATH JAVA_HOME
运行source .bashrc命令让环境变量生效
二、Scala环境构建
从http://www.scala-lang.org/download/2.10.4.html上下载Scala正确版本进行安装,本文以scala-2.12.2.tgz版本为例进行说明:
编辑.bashrc文件,设置scala环境变量
# .bashrc
# Source global definitions
if [ -f /etc/bashrc ]; then
. /etc/bashrc
fi
# User specific aliases and functions
JAVA_HOME=/data01/java/jdk1.8.0_121
PATH=$JAVA_HOME/bin:$PATH #scala variables
SCALA_HOME=/data01/spark/scala-2.12.2
PATH=$PATH:$SCALA_HOME/bin export PATH JAVA_HOME
export SCALA_HOME PATH
我们还可以直接进入scala的环境进行测试,具体操作如下:
三、Hadoop环境构建
Hadoop安装包可以通过搜索hadoop-2.7.3.tar.gz来查找对应的安装包,
单机版hadoop安装方式请参见:http://www.zhongtiancai.com/post-143.html
伪分布模式安装方式请参见:http://www.jianshu.com/p/1e5ba77eb471和http://blog.csdn.net/zhu_xun/article/details/42077311
# .bashrc
# Source global definitions
if [ -f /etc/bashrc ]; then
. /etc/bashrc
fi
# User specific aliases and functions
JAVA_HOME=/data01/java/jdk1.8.0_121
PATH=$JAVA_HOME/bin:$PATH #scala variables
SCALA_HOME=/data01/spark/scala-2.12.2
PATH=$PATH:$SCALA_HOME/bin export PATH JAVA_HOME
export SCALA_HOME PATH #Hadoop Env
export HADOOP_HOME=/data01/spark/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
http://IP:8099 Hadoop集群管理界面
http://IP:50070 HDFS管理界面
四、Spark环境构建
修改配置文件vi bashrc,最后一行添加以下代码
export SPARK_HOME=/home/spark
export PATH=$PATH:$SPARK_HOME/bin
运行source bashrc使文件立即生效
运行spark-shell
命令,即可启动spark单机模式.
spark-shell启动时会出现太多的info信息,可以通过修改conf下面的log4j.properties.template=>log4j.properties,然后将其中的log.rootCategory=WARN,console修改成warn,世界也就清净了.
配置spark-env.sh,进入spark/conf
#以下添加在末尾
export SPARK_MASTER_IP=192.168.232.130
export SPARK_LOCAL_IP=192.168.232.130
注意:192.168.232.130
为本机的ip
运行spark/sbin/start-all.sh
命令,即可启动伪分布式模式;
运行spark/sbin/stop-all.sh
命令,即可停止运行
另:spark集群的web端口默认为8080,安装成功后可以通过检查WebUI:http://IP:8080
如果需要修改Spark的默认端口号,那么可以将sbin/start-master.sh中的SPARK_MASTER_WEBUI_PORT修改为任意端口号
if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then
SPARK_MASTER_WEBUI_PORT=8888
fi
测试Spark是否安装成功:可以通过spark/bin/run-example org.apache.spark.examples.SparkPi
来检测
Pi is roughly 3.14716
spark的安装可以参考:http://www.cnblogs.com/ivictor/p/5135792.html
scala+hadoop+spark环境搭建的更多相关文章
- 大数据学习系列之六 ----- Hadoop+Spark环境搭建
引言 在上一篇中 大数据学习系列之五 ----- Hive整合HBase图文详解 : http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合 ...
- Hadoop SPARK 环境搭建
http://www.linuxidc.com/Linux/2015-02/113486.htm http://www.cnblogs.com/lijingchn/p/5574476.html htt ...
- Scala进阶之路-为什么要学习Scala以及开发环境搭建
Scala进阶之路-为什么要学习Scala以及开发环境搭建 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 最近人工智能和大数据那是相当的火呀,人工智能带动了Python的流行,区块 ...
- 分布式计算框架-Spark(spark环境搭建、生态环境、运行架构)
Spark涉及的几个概念:RDD:Resilient Distributed Dataset(弹性分布数据集).DAG:Direct Acyclic Graph(有向无环图).SparkContext ...
- Spark学习进度-Spark环境搭建&Spark shell
Spark环境搭建 下载包 所需Spark包:我选择的是2.2.0的对应Hadoop2.7版本的,下载地址:https://archive.apache.org/dist/spark/spark-2. ...
- Hive On Spark环境搭建
Spark源码编译与环境搭建 Note that you must have a version of Spark which does not include the Hive jars; Spar ...
- Scala & IntelliJ IDEA环境搭建升级版:在JAVA中调用Scala的helloworld
--------------------- 前言 --------------------- 项目关系,希望用Spark GraphX做数据分析及图像展示,但前提是得会spark:spark是基于sc ...
- 攻城狮在路上(陆)-- hadoop分布式环境搭建(HA模式)
一.环境说明: 操作系统:Centos6.5 Linux node1 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 ...
- Hadoop之环境搭建
初学Hadoop之环境搭建 阅读目录 1.安装CentOS7 2.安装JDK1.7.0 3.安装Hadoop2.6.0 4.SSH无密码登陆 本文仅作为学习笔记,供大家初学Hadoop时学习参考. ...
随机推荐
- thrift系列 - 快速入门
1.简介 Thrift是当前流行的RPC框架之一,它有强大的代码生成引擎,可以跨语言,轻松解决程序间的通信问题. 本文旨在帮助大家快速入门,若想深入原理,请参见thrift官网:h ...
- jquery效果 窗口弹出案例
效果 ①基本效果:show().hide().toggle() ②滑动 slideDown().slideUp().slideToggle() 划上:$("p").slideUp( ...
- jQuery的md5加密插件及其它js md5加密代码
/** * jQuery MD5 hash algorithm function * * <code> * Calculate the md5 hash of a String * Str ...
- jQuery开发技巧
jQuery 事件 - submit() 方法 $("form").submit(function(e){}); 当提交表单时,会发生 submit 事件. 该事件只适用于表单元素 ...
- AfterAddJS
protected override string AfterAddJS() { return CanDoo.FineUI.Utility.AfterSaveJS_ReloadData(EntityI ...
- PetaPoco使用
<?xml version="1.0" encoding="utf-8" ?> <configuration> <connecti ...
- Communication API
Stingray WIKI Stingray javascript Communication 主要的三个方法: Communication.LinkRequest - 页面跳转,调用比较简单,直接参 ...
- 系统安装-007 CentOS7yum源添加、删除及其yum优化(转)
一.配置阿里云源为主源mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bakwget -O /et ...
- Error:Failed to resolve: android.arch.core:common:1.1.0
build. gradle(project)中 allprojects { repositories { jcenter() maven { url 'https://jitpack.io' } ma ...
- 【转发】PHP连接MSSQL数据库案例,PHPWAMP多个PHP版本连接SQL Server数据库
转发自:http://blog.csdn.net/lccee/article/details/54289076 课前小知识普及:MSSQL和SQL Server是同一个软件,叫法不同而已,MSSQL全 ...