spark应用涉及的一些基本概念: 1.mater:主要是控制.管理和监督整个spark集群 2.client:客户端,将用应用程序提交,记录着要业务运行逻辑和master通讯. 3.sparkContext:spark应用程序的入口,负责调度各个运算资源,协调各个work node上的Executor.主要是一些记录信息,记录谁运行的,运行的情况如何等.这也是为什么编程的时候必须要创建一个sparkContext的原因了. 4.Driver Program:每个应用的主要管理者,每个应用的老大…

数据结构 核心之数据集RDD 俗称为弹性分布式数据集.Resilient Distributed Datasets,意为容错的.并行的数据结构,可以让用户显式地将数据存储到磁盘和内存中,并能控制数据的分区.同时,RDD还提供了一组丰富的操作来操作这些数据. RDD的特点 它是在集群节点上的不可变的.已分区的集合对象. 通过并行转换的方式来创建如(map, filter, join, etc). 失败自动重建. 可以控制存储级别(内存.磁盘等)来进行重用. 必须是可序列化的. 是静态类型的. 优点…

一.Spark集群基础概念 将DAG划分为多个stage阶段,遵循以下原则: 1.将尽可能多的窄依赖关系的RDD划为同一个stage阶段. 2.当遇到shuffle操作,就意味着上一个stage阶段结束,下一个stage阶段开始 关于RDD中的分区,在默认情况下(也就是未指明分区数的情况) 1.如果从HDFS中读取数据创建RDD,在默认情况下 二.spark架构原理 1.Spark架构原理 Driver 进程                    编写的Spark程序就在Driver上, 由Dr…

说到Spark就不得不提MapReduce/Hadoop, 当前越来越多的公司已经把大数据计算引擎从MapReduce升级到了Spark. 至于原因当然是MapReduce的一些局限性了, 我们一起先来看下Mapreduce的局限性和Spark如何做的改进. Spark概述 MapReduce局限性 1 仅支持Map和Reduce两种操作 2 处理效率极低 Map中间结果写磁盘,Reduce写HDFS,多个MR之间通过HDFS交换数据; 任务调度和启动开销大 无法充分利用内存 Map端和Redu…

前文 Kubernetes笔记(一):十分钟部署一套K8s环境 介绍了如何快速搭建一个k8s系统.为了继续使用k8s来部署我们的应用,需要先对k8s中的一些基本组件与概念有个了解. Kubernetes是什么 Kubernetes是Google于2014年基于其内部Brog系统开源的一个容器编排管理系统,可使用声明式的配置(以yaml文件的形式)自动地执行容器化应用程序的管理,包括部署.伸缩.负载均衡.回滚等. kubernetes提供的功能: 自动发布与伸缩:可以通过声明式的配置文件定义想要部…

摘要: 随着大数据技术的发展,实时流计算.机器学习.图计算等领域成为较热的研究方向,而Spark作为大数据处理的“利器”有着较为成熟的生态圈,能够一站式解决类似场景的问题.那你知道Spark生态系统有哪些组件吗?下面让我们跟着本文一同了解下这些不可或缺的组件.本文选自<图解Spark:核心技术与案例实战> Spark 生态系统以Spark Core 为核心,能够读取传统文件(如文本文件).HDFS.Amazon S3.Alluxio 和NoSQL 等数据源,利用Standalone.YARN…

最近工作用到Spark,这里记一些自己接触到的Spark基本概念和知识. 本文链接:https://www.cnblogs.com/hhelibeb/p/10288915.html 名词 RDD:在高层,每个Spark应用包含一个driver程序,它运行用户的主函数,在集群上执行不同的并行作业.Spark中提供的主要抽象是弹性分布式数据集(resilient distributed dataset, RDD),它是分布在集群节点中的已分区的元素集合,可以被并行处理.RDD从Hadoop文件系统中…

----本节内容------- 1.Spark背景介绍 2.Spark是什么 3.Spark有什么 4.Spark部署 4.1.Spark部署的2方面 4.2.Spark编译 4.3.Spark Standalone部署 4.4.Standalone HA配置 4.5.伪分布式部署 5.Spark任务提交 5.1.Spark-shell 5.2.Spark-submit 6.参考资料 --------------------- 1.Spark背景介绍 Spark是AMLab实验室贡献出的代码,是…

0. 说明 RDD 概述 && 创建 RDD 的方式 && RDD 编程 API(Transformation 和 Action Operations) && RDD 的依赖关系 1. RDD 概述 Spark 围绕弹性分布式数据集(RDD)的概念展开,RDD 是可以并行操作的容错的容错集合. resilient distributed dataset,弹性分布式数据集. 不可变集合,可以进行并行操作的分区化数据集合. 该类包含了 RDD 常见操作,比如 m…

Application application和Hadoop MapReduce类似,都是指用户编写的spark应用程序,其中包含了一个driver功能的代码和分布在集群中多个节点运行的executor代码. Driver 使用driver这一概念的分布式框架很多,比如hive.spark中的driver即运行上述application的main()函数并创建sparkcontext,创建sparkcontext的目的是为了准备spark应用程序的运行环境.在spark中,由sparkconte…