大数据平台搭建-spark集群安装
版本要求
java
版本:1.8.*(1.8.0_60)
下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
scala
版本:2.11.*(2.11.8)
下载地址:http://www.scala-lang.org/download/2.11.8.html
zookeeper
版本:3.4.*(zookeeper-3.4.8)
下载地址:http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.8/
spark
版本:2.0.*(spark-2.1.0-bin-hadoop2.7)
下载地址:http://spark.apache.org/downloads.html
spark安装
前置条件
java安装
见链接http://www.cnblogs.com/molyeo/p/7007917.html
scala安装
见链接http://www.cnblogs.com/molyeo/p/7007917.html
zookeeper安装
见链接http://www.cnblogs.com/molyeo/p/7048867.html
压缩解压
tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz
mv spark-2.1.0-bin-hadoop2.7 spark
环境变量
vi ~/.bash_profile
export JAVA_HOME=/wls/oracle/jdk
export SCALA_HOME=/wls/oracle/scala
export ZOOKEEPER_HOME=/wls/oracle/zookeeper
export HADOOP_HOME=/wls/oracle/hadoop
export HBASE_HOME=/wls/oracle/hbase
export SPARK_HOME=/wls/oracle/spark
export PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar
export JAVA_HOME SCALA_HOME ZOOKEEPER_HOME HADOOP_HOME SPARK_HOME
配置更改
spark集群主要涉及到如下配置文件的变更
spark-default.conf
spark-env.sh
slaves
spark-default.conf
spark.master spark://SZB-L0045546:7077
spark.executor.memory 4g
spark.eventLog.enabled true
spark.serializer org.apache.spark.serializer.KryoSerializer
spark.cores.max 10
spark.scheduler.mode FIFO
spark.shuffle.compress true
spark.ui.port 4040
spark.eventLog.enabled true
spark.eventLog.dir /wls/oracle/bigdata/spark/sparkeventlog
spark.kryoserializer.buffer 512m
spark.rpc.numRetries 5
spark.port.maxRetries 16
spark.rpc.askTimeout 120s
spark.network.timeout 120s
spark.rpc.lookupTimeout 120s
spark.executor.extraJavaOptions -XX:+UseG1GC -XX:InitiatingHeapOccupancyPercent=40 -XX:G1ReservePercent=10 -XX:G1HeapRegionSize=8M -XX:MaxPermSize=300M -XX:+PrintReferenceGC -XX:+PrintAdaptiveSizePolicy -XX:+UnlockDiagnosticVMOptions -XX:+G1SummarizeConcMark -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps
spark-env.sh
export JAVA_HOME=/wls/oracle/jdk
export SCALA_HOME=/wls/oracle/scala
export SPARK_HOME=/wls/oracle/spark
export HADOOP_HOME=/wls/oracle/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin
export SPARK_WORKER_MEMORY=28g
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_CORES=8
export SPARK_PID_DIR=/wls/oracle/bigdata/spark/sparkpids
export SPARK_LOCAL_DIRS=/wls/oracle/bigdata/spark/sparkdata
export SPARK_WORKER_DIR=/wls/oracle/bigdata/spark/sparkwork
export SPARK_WORKER_OPTS="-Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.interval=300"
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=SZB-L0045546,SZB-L0045551,SZB-L0045552 -Dspark.deploy.zookeeper.dir=/spark"
export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/native
export SPARK_CLASSPATH="$SPARK_CLASSPATH:$SPARK_HOME/lib/*:$SPARK_CLASSPATH
:SCALA_HOME/lib/*:$SPARK_CLASSPATH:$SPARK_HOME/jars/*"
其中$SPARK_HOME/jars/为spark系统自带的jar包,而$SPARK_HOME/lib/为我们自定义的外部jar包,如kafka,mongo等应用相关jar包
slaves
列出所有worker节点的主机名
SZB-L0045551
SZB-L0045552
SZB-L0047815
SZB-L0047816
运维命令
启动集群
/wls/oracle/spark/sbin/start_all.sh
停止集群
/wls/oracle/spark/sbin/start_all.sh
大数据平台搭建-spark集群安装的更多相关文章
- 大数据平台搭建-zookeeper集群的搭建
本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容: 基础环境安装 zookeeper集群的搭建 kafka集群的搭建 hadoop/hbase集群的搭建 spark集群的搭建 flink集 ...
- 大数据平台搭建-kafka集群的搭建
本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容: 基础环境安装 zookeeper集群的搭建 kafka集群的搭建 hadoop/hbase集群的搭建 spark集群的搭建 flink集 ...
- product of大数据平台搭建------CM 和CDH安装
一.安装说明 CM是由cloudera公司提供的大数据组件自动部署和监控管理工具,相应的和CDH是cloudera公司在开源的hadoop社区版的基础上做了商业化的封装的大数据平台. 采用离线安装模式 ...
- 大数据学习之hdfs集群安装部署04
1-> 集群的准备工作 1)关闭防火墙(进行远程连接) systemctl stop firewalld systemctl -disable firewalld 2)永久修改设置主机名 vi ...
- 大数据技术之_19_Spark学习_01_Spark 基础解析 + Spark 概述 + Spark 集群安装 + 执行 Spark 程序
第1章 Spark 概述1.1 什么是 Spark1.2 Spark 特点1.3 Spark 的用户和用途第2章 Spark 集群安装2.1 集群角色2.2 机器准备2.3 下载 Spark 安装包2 ...
- CentOS6安装各种大数据软件 第十章:Spark集群安装和部署
相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...
- 大数据平台搭建(hadoop+spark)
大数据平台搭建(hadoop+spark) 一.基本信息 1. 服务器基本信息 主机名 ip地址 安装服务 spark-master 172.16.200.81 jdk.hadoop.spark.sc ...
- 大数据【一】集群配置及ssh免密认证
八月迷情,这个月会对大数据进行一个快速的了解学习. 一.所需工具简介 首先我是在大数据实验一体机上进行集群管理学习,管理五台实验机,分别为master,slave1,slave2,slave3,cli ...
- 实验室中搭建Spark集群和PyCUDA开发环境
1.安装CUDA 1.1安装前工作 1.1.1选取实验器材 实验中的每台计算机均装有双系统.选择其中一台计算机作为master节点,配置有GeForce GTX 650显卡,拥有384个CUDA核心. ...
随机推荐
- (转)上传jar包到nexus私服
场景:在使用私服Nexus时候经常需要上传jar包,但是对上传jar包的方式不是很熟悉,所以很有必要学习下. 1 通过网页上传 GAV Definition:选择GAV Parameters 输入JA ...
- 【TOP】top命令的load average的意义
一. 怎么查看机器负载 uptime 命令: $uptime 14:32:32 up 108 days, 23:04, 17 users, load average: 0.06, 0.08, 0.0 ...
- 6.RDD持久性
RDD持久性 1 Why Apache Spark 2 关于Apache Spark 3 如何安装Apache Spark 4 Apache Spark的工作原理 5 spark弹性分布式数据集 6 ...
- [PS相关]DAS,NAS,SAN三种存储技术比较
随着数据量一直在快速增长,存储技术也在快速的更新以满足需求和推动创新.当存储被提到的时候,它不仅仅局限于存储容量,还有其他的需求比如数据保护,数据备份,数据访问速度等等. NAS-网络存储设备(Net ...
- Android学习笔记- Fragment实例 底部导航栏的实现
1.要实现的效果图以及工程目录结构: 先看看效果图吧: 接着看看我们的工程的目录结构: 2.实现流程: Step 1:写下底部选项的一些资源文件 我们从图上可以看到,我们底部的每一项点击的时候都有不同 ...
- 37. leetcode 108. Convert Sorted Array to Binary Search Tree
108. Convert Sorted Array to Binary Search Tree 思路:利用一个有序数组构建一个平衡二叉排序树.直接递归构建,取中间的元素为根节点,然后分别构建左子树和右 ...
- Struts2漏洞解决
如果你也正在使用Struts2作为web层框架做开发或者做公司的送检产品,然后被告知有各种各样的Struts2漏洞,那本篇博客值得你花时间来喽上一两眼. 前端时间抽空为公司做了新一代的送检产品,为了方 ...
- Restful接口调用方法超详细总结
由于在实际项目中碰到的restful服务,参数都以json为准.这里我获取的接口和传入的参数都是json字符串类型.发布restful服务可参照文章http://www.cnblogs.com/jav ...
- vue指令v-text示例解析
<div id="app"> <!--两种方式都是插值,输出结果一样--> <p v-text="msg"></p&g ...
- JS数组去重的十种方法
一.前言: 我们在实际工作中,或者在面试找工作时,都会用到或者被问到一个问题,那就是"数组如何去重".是的,这个问题有很多种解决方案,看看下面的十种方式吧! 二.数组去重方式大汇总 ...