Spark案例练习-打包提交
关注公众号:分享电脑学习
回复"百度云盘" 可以免费获取所有学习文档的代码(不定期更新)
云盘目录说明:
tools目录是安装包
res 目录是每一个课件对应的代码和资源等
doc 目录是一些第三方的文档工具
承接上一篇文档《Spark案例练习-PV的统计》
打开端口18080的历史服务,会发现没有历史日志,现在我们想要显示历史日志。
采取以下的方式
一:
//1. 构建SparkContext上下文对象
val conf = new SparkConf()
.setMaster("local") // 指定应用在哪儿执行,可以是local、或者stadnalone、yarn、mesos集群
.setAppName("logpvuv") //指定应用的名字
.set("spark.eventLog.enabled","true")
.set("spark.eventLog.dir","hdfs://master:8020/spark/history")
可以看到日志信息
二:
Spark应用参数可以配置的地方
1. 在spark-default.conf里面配置
2. ${SPARK_HOME}/bin/spark-submit脚本
添加参数 --conf "spark.ui.port=4050"
3. 可以在代码中构建SparkConf的时候通过相关API指定参数
如果上面三个都配置的话,我们配置不同的端口的话,会运行那种呢?
比如:
(1) spark-default.conf 配置 4055
(2) 添加参数 --conf "spark.ui.port=4051
(3) .set("spark.ui.port","4050")"
结果会运行4050
运行一个spark应用的时候,先去加载spark-default.conf里面的配置文件,第二个回去加载运行spark-submit命令的配置参数,最后代码中的配置会覆盖前面的配置
优先级:3 》 2 》 1
现在我们准备将代码打包提交到集群上运行,先将一部分代码去掉,保留下面的部分
保存到数据库的部分也注释掉,不往数据库保存
基于maven进行打包(clean install即可)
(1)clean:删除target文件
(2)package:打包
(3)install: 打包,并且会jar包安装到本地的maven仓库中
使用spark-submit提交应用
将jar上传后
1. 在local运行
./bin/spark-submit \
--class 全包路径.类名 \
--master local \
Jar包的位置
可以省略--master local \ 因为默认就是在local运行
./bin/spark-submit \
--class 全包路径..LogPVAndUVCount \
/opt/modules/jar/logpvuv.jar
2. 在standalone集群运行
./bin/spark-submit \
--class 全包路径.类名 \
--master spark://bigdata.ibeifeng.com:7070 \
Jar包的位置
8080页面可以找到
可以查看历史服务中也是有的
有一个参数
deploy-mode 部署模式 :决定driver运行在哪里
client:客户端,driver运行客户端(指提交SparkSubmit应用的这台机器)
cluster:集群,driver运行在集群中任意一台Worker节点上
如果不指定的话默认是在客户端 我们现在指定
./bin/spark-submit \
--class 全包路径.LogPVAndUVCount \
--master spark://master:7070 \
--deploy-mode cluster \
/opt/modules/jar/logpvuv.jar
可以在客户端模式下面查看8080页面
不过这个地方端口常用的6060作为集群模式 而客户端模式使用7070的
./bin/spark-submit \
--class 全包路径.LogPVAndUVCount \
--master spark://master:6066 \
--deploy-mode cluster \
--name logpvuv1 \
/opt/modules/jar/logpvuv.jar
Spark案例练习-打包提交的更多相关文章
- sbt打包Scala写的Spark程序,打包正常,提交运行时提示找不到对应的类
sbt打包Scala写的Spark程序,打包正常,提交运行时提示找不到对应的类 详述 使用sbt对写的Spark程序打包,过程中没有问题 spark-submit提交jar包运行提示找不到对应的类 解 ...
- Storm系列(三):创建Maven项目打包提交wordcount到Storm集群
在上一篇博客中,我们通过Storm.Net.Adapter创建了一个使用Csharp编写的Storm Topology - wordcount.本文将介绍如何编写Java端的程序以及如何发布到测试的S ...
- iOS开发之 xcode6 APP 打包提交审核详细步骤
一. 在xcode6.1和ios10.10.1环境下实现app发布 http://blog.csdn.net/mad1989/article/details/8167529 http://jingya ...
- Spark On Yarn:提交Spark应用程序到Yarn
转载自:http://lxw1234.com/archives/2015/07/416.htm 关键字:Spark On Yarn.Spark Yarn Cluster.Spark Yarn Clie ...
- 【原】 Spark中Task的提交源码解读
版权声明:本文为原创文章,未经允许不得转载. 复习内容: Spark中Stage的提交 http://www.cnblogs.com/yourarebest/p/5356769.html Spark中 ...
- 【原】Spark中Stage的提交源码解读
版权声明:本文为原创文章,未经允许不得转载. 复习内容: Spark中Job如何划分为Stage http://www.cnblogs.com/yourarebest/p/5342424.html 1 ...
- 【原】Spark中Job的提交源码解读
版权声明:本文为原创文章,未经允许不得转载. Spark程序程序job的运行是通过actions算子触发的,每一个action算子其实是一个runJob方法的运行,详见文章 SparkContex源码 ...
- spark下使用submit提交任务后报jar包已存在错误
使用spark submit进行任务提交,离线跑数据,提交后的一段时间内可以application可以正常运行.过了一段时间后,就抛出以下错误: org.apache.spark.SparkExcep ...
- iOS利用Application Loader打包提交到App Store时遇到错误The filename 未命名.ipa in the package contains an invalid character(s). The valid characters are:A-Z ,a-z,0-9,dash,period,underscore,but the name cannot start w
iOS利用Application Loader打包提交到App Store时遇到错误: The filename 未命名.ipa in the package contains an invalid ...
随机推荐
- 【CentOS】检查系统是否安装OpenSSH
CentOS7 远程联机 哔哩哔哩 萌狼蓝天 博客:https://mllt.cc 微信公众号:萌狼蓝天 检查与安装配置OpenSSH [CentOS7]检查系统是否安装OpenSSH yum -q ...
- Hadoop分布式文件系统(HDFS)设计
Hadoop分布式文件系统是设计初衷是可靠的存储大数据集,并且使应用程序高带宽的流式处理存储的大数据集.在一个成千个server的大集群中,每个server不仅要管理存储的这些数据,而且可以执行应用程 ...
- Wireshark(三):应用Wireshark IO图形工具分析数据流
原文出处: EMC中文支持论坛 基本IO Graphs: IO graphs是一个非常好用的工具.基本的Wireshark IO graph会显示抓包文件中的整体流量情况,通常是以每秒为单位(报文数或 ...
- CF60A Where Are My Flakes? 题解
Content 有人发现他的麦片不见了,原来是室友把它藏在了 \(n\) 个盒子中的一个,另外还有 \(m\) 个提示,有两种: \(\texttt{To the left of }x\):麦片在第 ...
- CF507A Amr and Music 题解
Content 有一个容量为 \(k\) 的背包.有 \(n\) 个物品,第 \(i\) 个物品的体积为 \(c_i\).请求出背包最多能够装下的物品的个数,并输出任意一个方案. 数据范围:\(1\l ...
- JAVA连接redis报错 :stop-writes-on-bgsave-error option
(error) MISCONF Redis is configured to save RDB snapshots, but it is currently not able to persist o ...
- UDP&串口调试助手用法(1)
一览 UDP 串口 常用 功能概述 概览 支持UDP通信协议: 广播.单播.组播 支持串口通信 配置了常用的配置,常用的进制转化: 2进制,8进制,10进制,和16进制之间的转换 配置了 计算器,加减 ...
- c++之一个方便的日志库
概述 本文演示环境: win10 + vs2017 日志,我用的很少,通常是用作动态库调试使用. 日志记录下来,基本就没看过,除非模块出现了问题. 使用cmake管理的项目 使用C++封装了C语言读写 ...
- 【LeetCode】1180. Count Substrings with Only One Distinct Letter 解题报告(C++)
作者: 负雪明烛 id: fuxuemingzhu 个人博客:http://fuxuemingzhu.cn/ 目录 题目描述 题目大意 解题方法 组合数 日期 题目地址:https://leetcod ...
- 如何在 Go 中将 []byte 转换为 io.Reader?
原文链接: 如何在 Go 中将 []byte 转换为 io.Reader? 在 stackoverflow 上看到一个问题,题主进行了一个网络请求,接口返回的是 []byte.如果想要将其转换成 io ...