注:图片如果损坏,点击文章链接:https://www.toutiao.com/i6815920501530034696/

承接上一篇文档《Spark词频前十的统计练习

Spark on standalone

类似于yarn的一个集群资源管理框架,spark自带的

yarn

ResourceManager(进程)

管理和调度集群资源,主要包括:申请、调度、监控

NodeManager(进程)

管理当前节点的资源,以及启动container资源:CPU和内存(CPU决定快慢,内存决定生死)

注意:一台机器只允许有一个NodeManager

standalone

Master:(进程)

管理集群资源,主要包括:申请、调度、监控

Worker:(进程)

当前进程允许分配的资源进行管理,包括资源的管理以及executor的启动资源:CPU和内存(CPU决定快慢,内存决定生死)

注意:一台机器允许有多个Worker进程

Standalone集群的配置

前提:spark的本地执行环境已经配置好了

  1. 修改${SPARK_HOME}/conf/spark-env.sh
SPARK_MASTER_HOST=域名和ip
SPARK_MASTER_PORT=7070
SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=2//指定当前机器上的每个worker进程允许分配的逻辑CPU核数
SPARK_WORKER_MEMORY=2g//指定当前机器上的每个worker允许分配的内存大小(可以认为是逻辑内存)
SPARK_WORKER_PORT=7071
SPARK_WORKER_WEBUI_PORT=8081
SPARK_WORKER_INSTANCES=2//指定当前机器上的Worker的数量

2. 配置Worker节点所在机器,在conf目录中

cp slaves.template slaves

修改slaves

备注:一行一个机器的主机名(Worker进程所在的机器的hostname)

3. 额外:完全分布式配置(此处可不配置了解即可)

只需要在slaves文件中添加slave从节点的hostname即可(前提是ssh、hostname和ip映射等hadoop的依赖环境均已完成),然后将修改好的spark的安装包copy到其他的slave机器上即可完成分布式的安装

4. 启动服务

4.1 启动主节点

./sbin/start-master.sh
访问WEBUI:http://master:8080/

4.2 启动从节点(Worker)

./sbin/start-slave.sh spark://master:7070

4.3 关闭所有服务

./sbin/stop-all.sh

4.5 启动所有服务

./sbin/start-all.sh

注意:启动和关闭所有服务的前提是由ssh免秘钥登录

5. 简单查看/测试

5.1 jps查看Master和Worker进程

5.2 查看WEBUI界面:http://master:8080/

5.3 ./bin/spark-shell --help--》查看帮助命令

./bin/spark-shell --master spark://master:7070
val result1 = sc.textFile("file:///opt/modules/spark/README.md").flatMap(_.split(" ")).filter(_.nonEmpty).map((_,1)).reduceByKey(_+_).collect

如果看到collect有结果,表示我们的standalone搭建完成

Spark StandAlone集群的HA配置

1. Single-Node Recovery with Local File System --基于文件系统的单节点恢复

在spark-env.sh配置

SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=FILESYSTEM -Dspark.deploy.recoveryDirectory=/user/spark/tmp"
spark.deploy.recoveryDirectory --> 保存恢复状态的一个目录

2. Standby Masters with ZooKeeper --基于Zookeeper的Master的HA机制

SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop01:2181,hadoop02:2181,hadoop03:2181 -Dspark.deploy.zookeeper.dir=/spark-ha"

假设有三台机器

hadoop01MasterSPARK_MASTER_HOST=hadoop01
hadoop02Master(standby) SPARK_MASTER_HOST=hadoop02
hadoop03SPARK_MASTER_HOST=hadoop02

启动Master,在hadoop01上用 start-all.sh(hadoop01:8080)

再在hadoop02上面单独启动Master start-master.sh (自动成为StandBy的状态hadoop02:8080)

Spark应用的监控

如果运行

页面就会变化

如果关掉shell,页面就不存在了

官网:http://spark.apache.org/docs/2.0.2/monitoring.html

给了监控方法

  1. 针对我们正在运行的Spark应用,可以通过WEB界面监控,默认端口号是4040,如果4040被占用,就会依次进行端口递增(也是有次数限制的),
spark.ui.port=4050 --4051 4052

2. 如果应用已经执行完成了,那可以spark的job history server服务来看

MapReduce的job history server

(1). 开启日志聚集功能

(2). 日志上传到HDFS的文件夹路径

(3). 启动mr的job history服务(读取HDFS的日志文件,并进行展示)

Spark的job history server

(1). 在HDFS上创建spark应用日志存储路径

./bin/hdfs dfs -mkdir -p /spark/history

(2). 修改配置文件spark-default.conf

spark.eventLog.enabled true
spark.eventLog.dir hdfs://master:8020/spark /history

(3). 配置Spark的job history server

spark-env.sh

SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://master:8020/spark/history-Dspark.history.ui.port=18080"

(4). 启动spark的job history server

http:/master:18080/api/v1/applications

查看Jps

Web的地址查看,注意18080

这里出现了一个错误18080可以访问但没有内容

先检查Hadoop是否创建了这个目录

检查路径是否有问题

检查配置文件发现问题所在

经测试后发现:

spark.eventLog.dir:Application在运行过程中所有的信息均记录在该属性指定的路径下;

spark.history.fs.logDirectory:Spark History Server页面只展示该指定路径下的信息;

比如:spark.eventLog.dir刚开始时指定的是hdfs://hadoop000:8020/directory,而后修改成hdfs://hadoop000:8020/directory2

那么spark.history.fs.logDirectory如果指定的是hdfs://hadoop000:8020/directory,就只能显示出该目录下的所有Application运行的日志信息;反之亦然。

所有这里修改spark.eventLog.dir为

重启服务即可访问

在页面里可以查看很多信息,比如日志配置路径,未完成的应用等等

Api查询应用

RESTAPI:

http://master:18080/api/v1/applications/local-1533452143143/jobs/0

Standalone集群搭建和Spark应用监控的更多相关文章

  1. 04、Spark Standalone集群搭建

    04.Spark Standalone集群搭建 4.1 集群概述 独立模式是Spark集群模式之一,需要在多台节点上安装spark软件包,并分别启动master节点和worker节点.master节点 ...

  2. Spark集群搭建【Spark+Hadoop+Scala+Zookeeper】

    1.安装Linux 需要:3台CentOS7虚拟机 IP:192.168.245.130,192.168.245.131,192.168.245.132(类似,尽量保持连续,方便记忆) 注意: 3台虚 ...

  3. 【原创 Hadoop&Spark 动手实践 5】Spark 基础入门,集群搭建以及Spark Shell

    Spark 基础入门,集群搭建以及Spark Shell 主要借助Spark基础的PPT,再加上实际的动手操作来加强概念的理解和实践. Spark 安装部署 理论已经了解的差不多了,接下来是实际动手实 ...

  4. ubuntu18.04 flink-1.9.0 Standalone集群搭建

    集群规划 Master JobManager Standby JobManager Task Manager Zookeeper flink01 √ √ flink02 √ √ flink03 √ √ ...

  5. hadoop 集群搭建 配置 spark yarn 对效率的提升永无止境

    [手动验证:任意2个节点间是否实现 双向 ssh免密登录] 弄懂通信原理和集群的容错性 任意2个节点间实现双向 ssh免密登录,默认在~目录下 [实现上步后,在其中任一节点安装\配置hadoop后,可 ...

  6. hadoop 集群搭建 配置 spark yarn 对效率的提升永无止境 Hadoop Volume 配置

    [手动验证:任意2个节点间是否实现 双向 ssh免密登录] 弄懂通信原理和集群的容错性 任意2个节点间实现双向 ssh免密登录,默认在~目录下 [实现上步后,在其中任一节点安装\配置hadoop后,可 ...

  7. 集群搭建之Spark配置要点解析

    注意点: 安装Spark前先要配置好Scala运行环境. Spark和Scala需要在各个机器上配置. 环境变量配置 在~/.bashrc中添加如下的配置信息. #scala conf export ...

  8. Spark集群搭建简要

    Spark集群搭建 1 Spark编译 1.1 下载源代码 git clone git://github.com/apache/spark.git -b branch-1.6 1.2 修改pom文件 ...

  9. Spark集群搭建(local、standalone、yarn)

    Spark集群搭建 local本地模式 下载安装包解压即可使用,测试(2.2版本)./bin/spark-submit --class org.apache.spark.examples.SparkP ...

随机推荐

  1. C++内存管理:简易内存池的实现

    什么是内存池? 在上一篇 C++内存管理:new / delete 和 cookie中谈到,频繁的调用 malloc 会影响运行效率以及产生额外的 cookie, 而内存池的思想是预先申请一大块内存, ...

  2. Mongodb集群调研

    目录 一.高可用集群的解决方案 二.MongoDB的高可用集群配置 三.Mongo集群实现高可用方式详解 四.Sharding分片技术 一.高可用集群的解决方案 高可用性即HA(High Availa ...

  3. 什么是mysql innodb cluster?

    目录 一.简介 二.特性 一.简介 MySQL InnoDB集群提供了一个集成的,本地的,HA解决方案.MySQL InnoDB集群由以下几部分组成: MySQL Servers with Group ...

  4. Nginx区分内部与外部

    目录 一.简介 二.配置 一.简介 场景: 当网站需要维护时,访问任何连接都显示维护页面 原理: 将任何访问都重定向到维护页面. 二.配置 server { listen 80; index inde ...

  5. [BUUCTF]REVERSE——[FlareOn4]login

    [FlareOn4]login 附件 步骤: 是个网页,直接打开,查看网页源码 百度了几个函数 charCodeAt(0)是返回当前字符的Unicode 编码 String.fromCharCode返 ...

  6. Spring5 AOP编程:关于org.springframework.beans.factory.BeanNotOfRequiredTypeException报错

    Spring5 AOP编程:关于org.springframework.beans.factory.BeanNotOfRequiredTypeException报错 先上错误详细信息: org.spr ...

  7. java 8 启动脚本优化

    1 #!/bin/bash 2 3 JAVA_HOME=/usr/java/default 4 5 #java虚拟机启动参数 6 JAVA_OPTS="-server -Xms1366m - ...

  8. 55 道MySQL基础题

    1.一张表,里面有 ID 自增主键,当 insert 了 17 条记录之后, 删除了第 15, 16, 17 条记录,再把 Mysql 重启,再 insert 一条记 录,这条记录的 ID 是 18 ...

  9. java 常用类库:String ; StringBuilder和StringBuffer类

    1. String 1.String对象是不可变的 String类的value属性是用来存放字符串里面的值的.这个属性是被final修饰的.final修饰的变量不能够被第二次赋值,所以字符串是不可变的 ...

  10. 使用.NET 6开发TodoList应用(6)——使用MediatR实现POST请求

    需求 需求很简单:如何创建新的TodoList和TodoItem并持久化. 初学者按照教程去实现的话,应该分成以下几步:创建Controller并实现POST方法:实用传入的请求参数new一个数据库实 ...