SPARK-AM-TrackURL-UI-500

spark on yarn UI界面详解

参考: spark on yarn图形化任务监控利器:History-server帮你理解spark的任务执行过程 spark内存分配原理 yarn运行原理详解 task,executor,core等数目的关系 streaming优化记录…

spark on yarn 的执行过程在 yarn RM 上无法直接查看,即 http://192.168.10.10:8088,这对于调试程序很不方便,所以需要手动配置配置方法 1. 配置 spark-defaults.conf cp spark-defaults.conf.template spark-defaults.conf 添加如下配置 spark.eventLog.enabled true spark.eventLog.dir hdfs://hadoop10:9000//user…

Spark排错与优化

一. 运维 1. Master挂掉,standby重启也失效 Master默认使用512M内存,当集群中运行的任务特别多时,就会挂掉,原因是master会读取每个task的event log日志去生成spark ui,内存不足自然会OOM,可以在master的运行日志中看到,通过HA启动的master自然也会因为这个原因失败. 解决增加Master的内存占用,在Master节点spark-env.sh 中设置: export SPARK_DAEMON_MEMORY 10g # 根据你的实际情况…

Spark RDD概念学习系列之rdd持久化、广播、累加器（十八）

1.rdd持久化 2.广播 3.累加器 1.rdd持久化通过spark-shell,可以快速的验证我们的想法和操作! 启动hdfs集群 spark@SparkSingleNode:/usr/local/hadoop/hadoop-2.6.0$ sbin/start-dfs.sh 启动spark集群 spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6$ sbin/start-all.sh 启动spark-shell s…

zhihu spark集群,书籍,论文

spark集群中的节点可以只处理自身独立数据库里的数据,然后汇总吗? 修改我将spark搭建在两台机器上,其中一台既是master又是slave,另一台是slave,两台机器上均装有独立的mongodb数据库.我是否可以让它们只统计自身数据库的内容,然后将结果汇总到一台服务器上的数据库里?目前我的代码如下,但是最终只统计了master里的数据,另一个worker没有统计上. val config = new Configuration() //以下代码表示只统计本机数据库上的数据,猜测问题可能…

[转] - Spark排错与优化

Spark排错与优化 http://blog.csdn.net/lsshlsw/article/details/49155087 一. 运维 1. Master挂掉,standby重启也失效 Master默认使用512M内存,当集群中运行的任务特别多时,就会挂掉,原因是master会读取每个task的event log日志去生成Sparkui,内存不足自然会OOM,可以在master的运行日志中看到,通过HA启动的master自然也会因为这个原因失败. 解决增加Master的内存占用,在Mas…

Spark2.x学习笔记：Spark SQL的SQL

Spark SQL所支持的SQL语法 select [distinct] [column names]|[wildcard] from tableName [join clause tableName on join condition] [where condition] [group by column name] [having conditions] [order by column names [asc|desc]] 如果只用join进行查询,则支持的语法为: select state…

Spark跑在Yarn上出现错误，原因是jdk的版本问题

./bin/spark-shell --master yarn 2019-07-01 12:20:13 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Setting default log level to "WARN". To adjust logging level use…

利用动态资源分配优化Spark应用资源利用率

背景在某地市开展项目的时候,发现数据采集,数据探索,预处理,数据统计,训练预测都需要很多资源,现场资源不够用. 目前该项目的资源3台旧的服务器,每台的资源内存为128G,cores 为24 (core可暂时忽略,以下仅考虑内存即可) . 案例分析我们先对任务分别分析,然后分类. 数据采集基于DC,接的是Kafka的源,属于流式,常驻任务.kafka来新数据时才需要资源,空闲时可释放.目前占用的资源情况为:28( topic数)*2(线程数)*1G = 56G,且该值会随着带采集增量表数量的…

（四）Spark集群搭建-Java&Python版Spark

Spark集群搭建视频教程 1.优酷 2.YouTube 安装scala环境下载地址http://www.scala-lang.org/download/ 上传scala-2.10.5.tgz到master和slave机器的hadoop用户installer目录下两台机器都要做 [hadoop@master installer]$ ls hadoop2 hadoop-2.6.0.tar.gz scala-2.10.5.tgz 解压 [hadoop@master installer]$…

spark的standlone模式安装和application 提交

spark的standlone模式安装安装一个standlone模式的spark集群,这里是最基本的安装,并测试一下如何进行任务提交. require:提前安装好jdk 1.7.0_80 :scala 2.11.8 可以参考官网的说明:http://spark.apache.org/docs/latest/spark-standalone.html 1. 到spark的官网下载spark的安装包 http://spark.apache.org/downloads.html spark-2.0.…

spark 部署问题

spark的web UI 端口设置:spark-env.sh 中设置SPARK_MASTER_WEBUI_PORT 为自己想设置的端口号. 其他worker 的web UI 端口默认:8081 master 的默认监听端口:7077 spark 运行在yarn 集群上,在提交job 时要注明--master yarn-cluster…

Why Apache Spark is a Crossover Hit for Data Scientists [FWD]

Spark is a compelling multi-purpose platform for use cases that span investigative, as well as operational, analytics. Data science is a broad church. I am a data scientist — or so I’ve been told — but what I do is actually quite different from what…

【Spark】----Spark on Yarn

最近从Hadoop 1.x 转到Hadoop 2.x 同时将一些java 程序转为Scala的程序将平台上的代码减少了很多,在实施的过程中,开到一些Spark相关的YARN的部署上都是基于之前的Hadoop 1.x的部分方式,在Hadoop2.2 +版本之上基本上就不用这么部署了.其原因就是Hadoop YARN 统一资源管理. 在Spark官网上 Spark应用在集群上以独立的进程集合运行,在你的主程序(称为驱动程序)中以SparkContext对象来调节. 特别的,为了在集群上运行, Sp…

Spark on Yarn

Spark on Yarn 1. Spark on Yarn模式优点与其他计算框架共享集群资源(eg.Spark框架与MapReduce框架同时运行,如果不用Yarn进行资源分配,MapReduce分到的内存资源会很少,效率低下):资源按需分配,进而提高集群资源利用率等. 相较于Spark自带的Standalone模式,Yarn的资源分配更加细致 Application部署简化,例如Spark,Storm等多种框架的应用由客户端提交后,由Yarn负责资源的管理和调度,利用Container作为…

【原】Spark on YARN

在YARN上运行Spark 在Spark0.6.0版本开始支持YARN模式,随后的版本在逐渐地完善. 在YARN上启动Spark 确保HADOOP_CONF_DIR或YARN_CONF_DIR属性的值已经指向了Hadoop集群的配置文件.Spark通常使用这些配置信息来向HDFS写入数据和连接到YARN资源管理器.这个目录下所有的文件将会被分发到YARN集群中,所以所有应用使用的容器都使用同样的配置.如果Java的系统属性或YARN没有管理的环境变量等配置,它们应该在Spark 的应用配置项中配…

Spark踩坑记——从RDD看集群调度

[TOC] 前言在Spark的使用中,性能的调优配置过程中,查阅了很多资料,之前自己总结过两篇小博文Spark踩坑记--初试和Spark踩坑记--数据库(Hbase+Mysql),第一篇概况的归纳了自己对spark的初步尝试,第二篇更多是局部在spark对于数据库的操作,而本文的思路是从spark最细节的本质,即核心的数据结构RDD出发,到整个Spark集群宏观的调度过程做一个整理归纳,从微观到宏观两方面总结,方便自己在调优过程中找寻问题,理清思路,也加深自己对于分布式程序开发的理解.(有任何…

Running Spark on YARN

Running Spark on YARN 对 YARN (Hadoop NextGen) 的支持是从Spark-0.6.0开始的,后续的版本也一直持续在改进. Launching Spark on YARN 确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群的(客户端)配置文件的目录.这些配置用于写入HDFS并连接到YARN ResourceManager.此目录中包含的配置将分发到YARN群集,以便应用程序使用的所有容器都使用相同的配置.如果配置引用了不受…

Spark Scheduler模块源码分析之TaskScheduler和SchedulerBackend

本文是Scheduler模块源码分析的第二篇,第一篇Spark Scheduler模块源码分析之DAGScheduler主要分析了DAGScheduler.本文接下来结合Spark-1.6.0的源码继续分析TaskScheduler和SchedulerBackend. 一.TaskScheduler和SchedulerBackend类结构和继承关系之所以把这部分放在最前面,是想让大家在阅读后续文章时对TaskScheduler和SchedulerBackend是什么有一个概念.因为有些方法是从…

Apache Spark 章节1

作者:jiangzz 电话:15652034180 微信:jiangzz_wx 微信公众账号:jiangzz_wy 背景介绍 Spark是一个快如闪电的统一分析引擎(计算框架)用于大规模数据集的处理.Spark在做数据的批处理计算,计算性能大约是Hadoop MapReduce的10~100倍,因为Spark使用比较先进的基于DAG 任务调度,可以将一个任务拆分成若干个阶段,然后将这些阶段分批次交给集群计算节点处理. MapReduce VS Spark MapReduce作为第一代大数据处理框…

Spark安装部署| 运行模式

Spark 一种基于内存的快速.通用.可扩展的大数据分析引擎: 内置模块: Spark Core(封装了rdd.任务调度.内存管理.错误恢复.与存储系统交互): Spark SQL(处理结构化数据).Spark Streaming(对实时数据进行流式计算) . Spark Mlib(机器学习程序库包括分类.回归.聚合.协同过滤等).Spark GraghX(图计算):独立调度器.Yarn.Mesos 特点: 快( 基于内存(而MR是基于磁盘).多线程模型(而mapReduce是基于多进程的,每个…

Spark参数详解一（Spark1.6）

Spark参数详解 (Spark1.6) 参考文档:Spark官网在Spark的web UI在"Environment"选项卡中列出Spark属性.这是一个很有用的地方,可以检查以确保属性设置正确.注意,只有通过spark-defaults.conf, SparkConf, 或者 command line配置过的属性才会出现 .对于所有其他配置属性,控制内部设置的大多数属性具有合理的默认值,在没有额外配置的额情况下,可以假定使用默认值. 应用级别的参数参数名称默认值释义注释…

执行Spark运行在yarn上的命令报错 spark-shell --master yarn-client

1.执行Spark运行在yarn上的命令报错 spark-shell --master yarn-client,错误如下所示: // :: ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application…

Spark SQL configuration

# export by: spark.sql("SET -v").show(n=200, truncate=False) key value meaning spark.sql.adaptive.enabled false When true, enable adaptive query execution. spark.sql.adaptive.shuffle.targetPostShuffleInputSize 67108864b The target post-shuffle i…

Spark程序运行常见错误解决方法以及优化

转载自:http://bigdata.51cto.com/art/201704/536499.htm Spark程序运行常见错误解决方法以及优化 task倾斜原因比较多,网络io,cpu,mem都有可能造成这个节点上的任务执行缓慢,可以去看该节点的性能监控来分析原因.以前遇到过同事在spark的一台worker上跑R的任务导致该节点spark task运行缓慢. 作者:佚名来源:数据为王|2017-04-07 09:02 一.org.apache.spark.shuffle.FetchFai…

【慕课网实战】Spark Streaming实时流处理项目实战笔记十三之铭文升级版

铭文一级: 第10章 Spark Streaming整合Kafka spark-submit \--class com.imooc.spark.KafkaReceiverWordCount \--master local[2] \--name KafkaReceiverWordCount \--packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.2.0 \/home/hadoop/lib/sparktrain-1.0.jar ha…