Spark监控官方文档学习笔记

【Spark监控官方文档学习笔记】的更多相关文章

Spark监控官方文档学习笔记

任务的监控和使用有几种方式监控spark应用:Web UI,指标和外部方法 Web接口每个SparkContext都会启动一个web UI,默认是4040端口,用来展示一些信息: 一系列调度的stage和task RDD大小和内存的使用概况环境变量信息 excutors的相关信息可以通过http://<driver-node>:4040访问,如果有多个sparkcontext运行在同一个节点,那么端口会依次为4040.4041.4042. 注意这些信息只有在应用执行期间才能看到.如果想…

Spark Streaming官方文档学习--上

官方文档地址:http://spark.apache.org/docs/latest/streaming-programming-guide.html Spark Streaming是spark api的扩展能实现可扩展,高吞吐,可容错,的流式处理从外接数据源接受数据流,处理数据流使用的是复杂的高度抽象的算法函数map reduce join window等输出的数据可以存储到文件系统和数据库甚至是直接展示在命令行也可以应用ml 和graph processing在这些数据流上 spar…

pm2 官方文档学习笔记

一.安装 1.安装 npm install pm2 -g 2.更新 npm install pm2 -g && pm2 update pm2 update 是为了刷新 PM2 的守护进程二.使用 js 配置文件启动 1.生成配置文件 pm2 ecosystem 会自动生成 ecosystem.config.js 文件 (下文的 "五.配置文件实例" 会详细说到如何配置) 2.启动配置文件 pm2 start /path/ecosystem.config.js pm2…

vue.js 2.0 官方文档学习笔记 —— 01. vue 介绍

这是我的vue.js 2.0的学习笔记,采取了将官方文档中的代码集中到一个文件的形式.目的是保存下来,方便自己查阅. !官方文档:https://cn.vuejs.org/v2/guide/ 01. vue 介绍 <html> <head> <meta charset="utf-8"/> <title>vue 介绍</title> <!-- <script src="js/vue.min.js"…

Vue2.0 官方文档学习笔记

VUE2.0官方文档基础部分: 1.VUE简介 Vue是一个基于MVVM的框架,其中M代表数据处理层,V代表视图层即我们在Vue组件中的html部分,VM即M和V的结合层,处理M层相应的逻辑数据,在V层实现渲染.Vue让我们把精力更多的放在VM层上,即更多的关注业务逻辑,把DOM操作交给系统. 1)声明式渲染:在vue实例对象中进行数据声明,在V层响应式的进行DOM渲染. 2)条件与循环:v-if.v-for 3)处理用户输入:v-model 4)构建组件化应用:在大型应用中将应用程序划分为小…

Spark Streaming官方文档学习--下

Accumulators and Broadcast Variables 这些不能从checkpoint重新恢复如果想启动检查点的时候使用这两个变量,就需要创建这写变量的懒惰的singleton实例. 下面是一个例子: def getWordBlacklist(sparkContext): if ('wordBlacklist' not in globals()): globals()['wordBlacklist'] = sparkContext.broadcast(["a", &…

Vue.js官方文档学习笔记(一)起步篇

Vue.js起步 Vue.js介绍 Vue (读音 /vjuː/,类似于 view) 是一套用于构建用户界面的渐进式框架.与其它大型框架不同的是,Vue 被设计为可以自底向上逐层应用.Vue 的核心库只关注视图层,不仅易于上手,还便于与第三方库或既有项目整合.另一方面,当与现代化的工具链以及各种支持类库结合使用时,Vue 也完全能够为复杂的单页应用提供驱动. 起步导入  <script src="https://cdn.…

Less 官方文档学习笔记

LESS 是css的一种扩展,它的编辑器是基于node.js 的less.js,将less文件编译成css文件(可压缩). 其中的概念: 变量:定义变量来代替某个值,只能编译一次,本质是“常量”.例如: @color:#ffddee; body { background-color:@color; } 输出的结果为: body { background-color:#ffddee; } 变量是延时加载的,只有用到的时候才会加载.变量的查找顺序是从下到上,最近优先. 混合(Mixin): 在一个选…

Vue.js官方文档学习笔记(三)创建Vue实例

创建Vue实例每个 Vue 应用都是通过用 Vue 函数创建一个新的 Vue 实例开始的: var vm=new Vue({ //选项 }) Vue的设计受到了mvvm的启发当创建一个 Vue 实例时,你可以传入一个选项对象一个 Vue 应用由一个通过 new Vue 创建的根 Vue 实例,以及可选的嵌套的.可复用的组件树组成. 一个 todo 应用的组件树可以是这样的根实例 └─ TodoList ├─ TodoItem │ ├─ DeleteTodoButton │ └─ Edit…

Vue.js官方文档学习笔记(二)组件化应用的构建

组件化应用的构建组件化应用允许我们使用小型.独立和通常可复用的组件构建大型应用. Vue注册组件 Vue.component('todo-item',{template:'<li>这是个待办项</li>'}) 根据其构建另一个模板 <ol> <todo-item></todo-item> </ol> 但是这样只能渲染出同样的文字,我们应当将父作用域的值传到子组件中去 Vue.component('todo-item', { // t…