07、Spark集群的进程管理

07、Spark集群的进程管理

7.1 概述

Spark standalone集群模式涉及master和worker两个守护进程。master进程是管理节点，worker进程是工作节点。spark提供了很多方便启动或停止进程的脚本，风格和hadoop相似。

7.2 启动脚本

#启动所有spark进程包括master和worker，该命令在maste节点执行
$>start-all.sh

#启动Master进程，该命令需要在master节点执行
$>start-master.sh

#启动所有worker节点，该命令在master节点执行
$>start-slaves.sh

#单独启动worker节点，该命令在worker节点上执行
$>start-slave.sh spark://s101:7077

7.3 停止脚本

#停止所有spark进程包括master和worker，该命令在maste节点执行
$>stop-all.sh

#停止Master进程，该命令需要在master节点执行
$>stop-master.sh

#停止所有worker节点，该命令在master节点执行
$>stop-slaves.sh

#单独停止worker节点，该命令在worker节点上执行
$>stop-slave.sh spark://s101:7077