spark Master是spark集群的首脑,负责资源调度,任务分配,负载平衡等功能 以下是master启动流程概述 通过shell进行对master进行启动 首先看一下启动脚本more start-master.sh 此时我们知道最终调用的是org.apache.spark.deploy.master.Master 这是Master源码: private[spark] object Master extends Logging { val systemName = "sparkMaster&…

Spark start-all>> """Master启动流程""" Master类 class Master( host: String, port: Int, webUiPort: Int, val securityMgr: SecurityManager, val conf: SparkConf) extends Actor with ActorLogReceive with Logging with LeaderElectab…

SaltStack源码阅读 前面理了下salt-master的启动流程, 这次来看看salt-minion的启动流程. 启动salt-minion方法: /etc/init.d/salt-minion start 看看/etc/init.d/salt-master逻辑: $ cat /etc/init.d/salt-master SALTMINION=/usr/bin/salt-minion PYTHON=/usr/bin/python MINION_ARGS="" start() {…

SaltStack源码阅读 做salt有一段时间了, 一直没从源码层面去理解, 好吧, 开始读读源码 -_- 那就从salt-master的启动开始吧. 启动salt-master方法: /etc/init.d/salt-master start 看看/etc/init.d/salt-master逻辑: $ cat /etc/init.d/salt-master SALTMASTER=/usr/bin/salt-master PYTHON=/usr/bin/python MASTER_ARGS=…

Master源码 package org.apache.spark.deploy.master //伴生类 private[deploy] class Master( override val rpcEnv: RpcEnv, address: RpcAddress, webUiPort: Int, val securityMgr: SecurityManager, val conf: SparkConf) extends ThreadSafeRpcEndpoint with Logging wi…

salt-master的配置文件位于/etc/salt/master,可用选项如下: #######################主配置 interface默认值:0.0.0.0(所有的网络地址接口)绑定到本地的某个网络地址接口 1 interface: 192.168.0.1 publish_port默认值:4505设置master与minion的认证通信端口 1 publish_port: 4505 user默认值:root运行salt进程的用户 1 user: root max_open…

首先得先安装epel的yum源: rpm -ivh http://mirrors.skyshe.cn/epel/6/x86_64/epel-release-6-8.noarch.rpm 1.SaltStack服务端(salt-master)安装: 1.安装Master: yum install salt-master -y 2.启动salt-master服务 service salt-master start 至此SaltStack的服务端就安装和启动完成了. 2.SaltStack客户端(sa…

#目标文件位置/usr/lib/python2.6/site-packages/salt/config.py#这个文件加载配置文件的模块．master和minion的配置文件加载都是在这个模块里面完成的#master的启动在这模块里面只涉及到方法和属性只有几个 master和minion的默认配置属性也在这个文件里面定义 DEFAULT_MASTER_OPTS = { 'interface': '0.0.0.0', ', 'pub_hwm': 1000, 'auth_mode': 1, 'use…

SLS(代表SaLt State文件)是Salt State系统的核心.SLS描述了系统的目标状态,由格式简单的数据构成.这经常被称作配置管理 首先,在master上面定义salt的主目录,默认是在/srv/salt/下面,vim /etc/salt/master: file_roots: base: - /srv/salt dev: - /srv/salt-dev 然后,在/srv/salt下面创建top.sls文件(如果有的话,就不用创建了,直接编辑好了) vim top.sls base:…

storm启动流程          storm是一个流行的开源的,分布式实时处理框架,关于storm的基本介绍可以参加这篇官方文档.大致的拓扑结构如图所示:        其中Nimbus是一个后台管理进程,运行在master node上.Supervisor也是后台进程,运行在work node上.依据上图,Nimbus和Supervisor不直接通信,通过zookeeper进行通信.在Master Node上,可以通过storm nimbus命令来启动nimbus进程,同时通过storm…