原文来自我的个人网站:http://www.itrensheng.com/archives/Spark_basic_knowledge 一. Spark出现的背景 在Spark出现之前,大数据计算引擎主要是MapReduce.HDFS + MapReduce的组合几乎可以实现所有的大数据应用场景.MR框架抽象程度比较高,需要我们编写Map和Reduce两个步骤(MapReduce 框架其实包含5 个步骤:Map.Sort.Combine.Shuffle以及Reduce) 每个Map和Reduce…

第1章 Spark GraphX 概述1.1 什么是 Spark GraphX1.2 弹性分布式属性图1.3 运行图计算程序第2章 Spark GraphX 解析2.1 存储模式2.1.1 图存储模式2.1.2 GraphX 存储模式2.2 vertices.edges 以及 triplets2.2.1 vertices2.2.2 edges2.2.3 triplets2.3 图的构建2.3.1 构建图的方法2.3.2 构建图的过程2.4 计算模式2.4.1 BSP 计算模式2.4.2 图操作一…

1 Spark原理分析 -- RDD的Partitioner原理分析 2 Spark原理分析 -- RDD的shuffle简介 3 Spark原理分析 -- RDD的shuffle框架的实现概要分析 4 Spark原理分析 -- RDD的依赖(Dependencies)原理分析 5 Spark原理分析 -- RDD的checkepointing原理分析 6 Spark原理分析 -- RDD的caching和persistence原理分析 7 Spark原理分析 -- Job执行框架概述 8 Sp…

linux软中断与硬中断实现原理概述. 1.软中断通过open_softirq注册一个软中断处理函数,即在软中断向量表softirq_vec数组中添加新的软中断处理action函数. 2.调用raised_softirq软中断触发函数,即把软中断标记为挂起状态. 内核会在一些位置检查是否有挂起状态的软中断,如果有的话会调用do_softirq函数来执行软中断处理函数. 3.do_softirq函数做的一个重要的工作是切换到软中断请求栈.切换到软中断请求栈就代表了此时已经处于了软中断上下文中了.…

第1章 Spark SQL 概述1.1 什么是 Spark SQL1.2 RDD vs DataFrames vs DataSet1.2.1 RDD1.2.2 DataFrame1.2.3 DataSet1.2.4 三者的共性1.2.5 三者的区别第2章 执行 Spark SQL 查询2.1 命令行查询流程2.2 IDEA 创建 Spark SQL 程序第3章 Spark SQL 解析3.1 新的起始点 SparkSession3.2 创建 DataFrames3.3 DataFrame 常用操…

第1章 Spark Streaming 概述1.1 什么是 Spark Streaming1.2 为什么要学习 Spark Streaming1.3 Spark 与 Storm 的对比第2章 运行 Spark Streaming第3章 架构与抽象第4章 Spark Streaming 解析4.1 初始化 StreamingContext4.2 什么是 DStreams4.3 DStream 的输入4.3.1 基本数据源4.3.2 高级数据源4.4 DStream 的转换4.4.1 无状态转化操作…

在Git上查看 InspectIT 实现原理概述: 实现原理详解:  1.jsAgent如何注入到浏览器 通过ASM框架修改HttpService.service()方法,加入相关逻辑,对每一个Http请求进行过滤: A:如果是自身上报采集到数据的Http请求,将将请求转到自身数据处理的方法. B:如果是自身的获取jsAgent资源文件的Http请求,则将请求转发到对应的处理逻辑中,根据请求信息,动态的生成对应js文件,并写入到浏览器中. C:对于其它的正常的业务请求,则在正常响应的基础上,加上…

很多人一个误区,Spark SQL重点不是在SQL啊,而是在结构化数据处理! Spark SQL结构化数据处理 概要: 01 Spark SQL概述 02 Spark SQL基本原理 03 Spark SQL编程 04 分布式SQL引擎 05 用户自定义函数 06 性能调优   Spark SQL概述 Spark SQL是什么? Spark SQL is a Spark module for structured data processing 特别注意:.3.0 及后续版本中,SchemaRD…

编译原理概述 什么是编译程序 编译程序指:把某一种高级语言程序等价地转换成另一张低级语言程序(如汇编语言或机器代码)的程序. 高级语言程序-翻译->机器语言程序-运行->结果. 其中编译程序又可以分为: 诊断编译程序(Diagnostic Compiler)--专门用于帮助程序员开发和调试,对于目标代码的效率不关注. 优化编译程序(Optimizing Compiler)--侧重于提高目标代码的执行效率,能够生成高效的目标代码. 交叉编译程序(Cross Compiler)--运行编译程序的机…

第1章 Spark SQL概述 1.1 什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用. Hive是将Hive SQL转换成MapReduce然后提交到集群上执行,大大简化了编写MapReduce的程序的复杂性,由于MapReduce这种计算模型执行效率比较慢. 所以Spark SQL的应运而生,它是将Spark SQL转换成RDD,然后提交到集群执行,执行效率非常快! 1)易整合…

nvGRAPH原理概述 nvGRAPH的API参考分析. 简介 数据分析是高性能计算的不断增长的应用.许多高级数据分析问题可以称为图形问题.反过来,当今许多常见的图形问题也可以称为稀疏线性代数.这是NVIDIACUDA8.0中新增的nvGRAPH的动机,该功能利用GPU的线性代数功能来处理最大的图形分析和大数据分析问题. 此版本提供了图形构造和操作原语,以及针对GPU优化的一组有用的图形算法.核心功能是SPMV(稀疏矩阵矢量乘积),该模型使用半环模型并针对任何稀疏模式自动进行负载平衡.有关半环及…

Shuffle简介 Shuffle的本意是洗牌.混洗的意思,把一组有规则的数据尽量打乱成无规则的数据.而在MapReduce中,Shuffle更像是洗牌的逆过程,指的是将map端的无规则输出按指定的规则"打乱"成具有一定规则的数据,以便reduce端接收处理.其在MapReduce中所处的工作阶段是map输出后到reduce接收前,具体可以分为map端和reduce端前后两个部分. 在shuffle之前,也就是在map阶段,MapReduce会对要处理的数据进行分片(split)操作,…

kvo概述 kvo,全称Key-Value Observing,它提供了一种方法,当对象某个属性发生改变时,允许监听该属性值变化的对象可以接受到通知,然后通过kvo的方法响应一些操作. kvo实现原理 kvo是如何实现通知对象的呢,其实这是通过Objective-C强大的runtime运行时机制实现的.当你第一次观察某个对象时,runtime会创建一个新的继承被监听类的子类.在这个新的类中,它会重写所有被观察的key,然后将对象的isa指针指向新创建的类.所以对象神奇的变成了新的子类的实例.这些…

Spark:快速的通用的分布式计算框架 概述和特点: 1) Speed,(开发和执行)速度快.基于内存的计算:DAG(有向无环图)的计算引擎:基于线程模型: 2)Easy of use,易用 . 多语言(Java,python,scala,R); 多种计算API可调用:可在交互式模式下运行: 3)Generality  通用.可以一站式解决多个不同场景的应用业务 Spark Streaming :用来做流处理 MLlib : 用于机器学习 GraphX:用来做图形计算的 4) Runs Ever…

    回到目录,完整代码请查看(https://github.com/cjw0511/NDF.Infrastructure)中的目录:      src\ NDF.Data.EntityFramework\MasterSlaves       在本上的上一篇博文中(基于 EntityFramework 的数据库主从读写分离服务插 件,http://www.cnblogs.com/cjw0511/p/4391092.html),概述性的介绍了自己基于 EF6 写的一个用于数据库主从读写分离服务的…

TaskScheduler 原理: 1. DAGScheduler 在提交Taskset给底层调度器的时候是面向接口TaskScheduler的, 这符合面向对象中依赖抽象原则,带来底层资源调度器的可插拔性, 导致Spark可以运行在众多的资源高度器模式上.例如: Standalone, Yarn, Mesos, local. EC2 及其它自定义的资源调度器 2. 在SparkContext实例化的时候通过createTaskScheduler来创建 TaskSchedulerImpl和Sta…

Spark Executor 工作原理: 1. 在CoarseGrainedExecutorBackend启动时向Driver注册Executor,其实质是注册ExecutorBackend实例,和Executor实例之间没有直接关系 2. CoarseGrainedExecutorBackend 是 Executor 运行所在的进程名称,Executor才是真正处理Task的对象.Executor内部是通过线程池的方式来完成Task的计算的 3. CoarseGrainedExecutorBa…

提交Spark程序的机器一般一定和Spark集群在同样的网络环境中(Driver频繁和Executors通信),且其配置和普通的Worker一致 1. Driver: 具有main方法的,初始化 SparkContext 的程序.Driver运行在提交Spark任务的机器上. Driver 部分的代码: SparkConf + SparkContext SparkContext: 创建DAGScheduler, TaskScheduler, SchedulerBackend, 在实例化的过程中R…

1.spark是什么? 快速,通用,可扩展的分布式计算引擎 2.弹性分布式数据集RDD RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变.可分区.里面的元素可并行计算的集合.RDD具有数据流模型的特点:自动容错.位置感知性调度和可伸缩性.RDD允许用户在执行多个查询时显式地将工作集缓存在内存中,后续的查询能够重用工作集,这极大地提升了查询速度. RDD的属性 1)一组分片(Partition),即数据集的基本组…

如何判断宽窄依赖: =================================== 6. Spark 底层逻辑 导读 从部署图了解 Spark 部署了什么, 有什么组件运行在集群中 通过对 WordCount 案例的解剖, 来理解执行逻辑计划的生成 通过对逻辑执行计划的细化, 理解如何生成物理计划   如无特殊说明, 以下部分均针对于 Spark Standalone 进行介绍 部署情况 在 Spark 部分的底层执行逻辑开始之前, 还是要先认识一下 Spark 的部署情况, 根据部署情…

大数据数据处理模型: 1.Google的MapReduce是一个简单通用和自动容错的批处理计算模型.但,不适合交互式和流式计算! 2.Storm 3.Impala 4.GraphLab 5.Spark Spark: 伯克利大学提出, RDD概念(一种新的抽象的弹性数据集),MapReduce的一种扩展. RDD本质:在并行计算的各个阶段进行有效的数据共享. Spark兼容hadoop,使用Scala语言编写,支持Java和Python接口.可实现图计算,交互查询,流计算,批处理.…

1.spark是一个基于内存计算的开源的集群计算系统,目的是让数据分析更加快速.因此运行spark的机器应该尽量的大内存,如96G以上. 2.spark所有操作均基于RDD,操作主要分成2大类:transformation与action. 3.spark提供了交互处理接口,类似于shell的使用. 4.spark可以优化迭代工作负载,因为中间数据均保存于内存中. 5.spark 是在 Scala 语言中实现的,它可以使用scala.python进行交互式操作,还可以使用scala.python.…

一. 什么是GTID ( Global transaction identifiers ):MySQL-5.6.2开始支持,MySQL-5.6.10后完善,GTID 分成两部分,一部分是服务的UUid,UUID保存在mysql数据目录的auto.cnf文件中,这是一个非常重要的文件,不能删除,这一部分是不会变的.另外一部分就是事务ID了,随着事务的增加,值一次递增,如下图+---------------+----------+--------------+------------------+-…

SparkContext将应用程序代码分发到各Executors,最后将任务(Task)分配给executors执行 Application: Appliction都是指用户编写的Spark应用程序,其中包括一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码 Driver:  Spark中的Driver即运行上述Application的main函数并创建SparkContext,创建SparkContext的目的是为了准备Spark应用程序的运行环境,在Spark中有S…

0. 说明 Spark Streaming 介绍 && 在 IDEA 中编写 Spark Streaming 程序 1. Spark Streaming 介绍 Spark Streaming 是 Spark Core API 的扩展,针对实时数据流计算,具有可伸缩性.高吞吐量.自动容错机制的特点. 数据源可以来自于多种方式,例如 Kafka.Flume 等等. 使用类似于 RDD 的高级算子进行复杂计算,像 map .reduce .join 和 window 等等. 最后,处理的数据推送…

MySQL凭借着出色的性能.低廉的成本.丰富的资源,已经成为绝大多数互联网公司的首选关系型数据库.虽然性能出色,但所谓“好马配好鞍”,如何能够更好的使用它,已经成为开发工程师的必修课,我们经常会从职位描述上看到诸如“精通MySQL”.“SQL语句优化”.“了解数据库原理”等要求.我们知道一般的应用系统,读写比例在10:1左右,而且插入操作和一般的更新操作很少出现性能问题,遇到最多的,也是最容易出问题的,还是一些复杂的查询操作,所以查询语句的优化显然是重中之重. 本人从13年7月份起,一直在美团核…

Android LCD(5)  平台信息:内核:linux2.6/linux3.0系统:android/android4.0 平台:samsung exynos 4210.exynos 4412 .exynos 5250 TFT-lCD常用的接口,TTL(RGB).LVDS.EDP.MIPI,这篇我们大致说一下这些接口的信号组成已经基本原理. 一.TTL 1.TTL接口概述 TTL(Transistor Transistor Logic)即晶体管-晶体管逻辑,TTL电平信号由TTL器件产生.TT…

批处理 & 流处理 像这个是批处理 像这样就是流处理 为什么需要流处理--更多场景需要 Spark Core & RDD 本质上是离线运算 Spark Streaming是什么(分布式的流处理系统) Spark Streaming是什么 Spark Streaming的竞争对手(两都是apache的) Strom Spark Streaming vs Storm…

Spark SQL是什么? 何为结构化数据 sparkSQL与spark Core的关系 Spark SQL的前世今生:由Shark发展而来 Spark SQL的前世今生:可以追溯到Hive Spark SQL的前世今生:Hive 到Shark(在Hive上做改进) Spark SQL的前世今生:Shark 到Spark SQL(彻底摆脱但是兼容Hive) Spark SQL的前世今生:Hive 到Hive on Spark…

所谓运行级别,简单点来说,运行级别就是操作系统当前正在运行的功能级别.级别是从0到6,具有不同的功能.这些级别定义在/ect/inittab文件中.这个文件是init程序寻找的主要文件,最先运行的服务是那些放在/ect/rc.d目录下的文件. 一.Linux的运行级别: Linux下的7个运行级别: 0:系统停机状态,系统默认运行级别不能设置为0,否则不能正常启动,机器关闭. 1:单用户工作状态,root权限,用于系统维护,禁止远程登陆,就像Windows下的安全模式登录. 2:多用户状态,没有…