关注公众号:分享电脑学习
回复"百度云盘" 可以免费获取所有学习文档的代码(不定期更新)
云盘目录说明:
tools目录是安装包
res 目录是每一个课件对应的代码和资源等
doc 目录是一些第三方的文档工具

承接上一篇文档《Spark案例练习-PV的统计

打开端口18080的历史服务,会发现没有历史日志,现在我们想要显示历史日志。

采取以下的方式

一:

//1. 构建SparkContext上下文对象

val conf = new SparkConf()
.setMaster("local") // 指定应用在哪儿执行,可以是local、或者stadnalone、yarn、mesos集群
.setAppName("logpvuv") //指定应用的名字
.set("spark.eventLog.enabled","true")
.set("spark.eventLog.dir","hdfs://master:8020/spark/history")

可以看到日志信息

二:

Spark应用参数可以配置的地方

1. 在spark-default.conf里面配置

2. ${SPARK_HOME}/bin/spark-submit脚本

添加参数 --conf "spark.ui.port=4050"

3. 可以在代码中构建SparkConf的时候通过相关API指定参数

如果上面三个都配置的话,我们配置不同的端口的话,会运行那种呢?

比如:

(1) spark-default.conf 配置 4055

(2) 添加参数 --conf "spark.ui.port=4051

(3) .set("spark.ui.port","4050")"

结果会运行4050

运行一个spark应用的时候,先去加载spark-default.conf里面的配置文件,第二个回去加载运行spark-submit命令的配置参数,最后代码中的配置会覆盖前面的配置

优先级:3 》 2 》 1

现在我们准备将代码打包提交到集群上运行,先将一部分代码去掉,保留下面的部分

保存到数据库的部分也注释掉,不往数据库保存

基于maven进行打包(clean install即可)

(1)clean:删除target文件

(2)package:打包

(3)install: 打包,并且会jar包安装到本地的maven仓库中

使用spark-submit提交应用

将jar上传后

1. 在local运行

./bin/spark-submit \
--class 全包路径.类名 \
--master local \
Jar包的位置

可以省略--master local \ 因为默认就是在local运行

./bin/spark-submit \
--class 全包路径..LogPVAndUVCount \
/opt/modules/jar/logpvuv.jar

2. 在standalone集群运行

./bin/spark-submit \
--class 全包路径.类名 \
--master spark://bigdata.ibeifeng.com:7070 \
Jar包的位置

8080页面可以找到

可以查看历史服务中也是有的

有一个参数

deploy-mode 部署模式 :决定driver运行在哪里

client:客户端,driver运行客户端(指提交SparkSubmit应用的这台机器)

cluster:集群,driver运行在集群中任意一台Worker节点上

如果不指定的话默认是在客户端 我们现在指定

./bin/spark-submit \
--class 全包路径.LogPVAndUVCount \
--master spark://master:7070 \
--deploy-mode cluster \
/opt/modules/jar/logpvuv.jar

可以在客户端模式下面查看8080页面

不过这个地方端口常用的6060作为集群模式 而客户端模式使用7070的

./bin/spark-submit \
--class 全包路径.LogPVAndUVCount \
--master spark://master:6066 \
--deploy-mode cluster \
--name logpvuv1 \
/opt/modules/jar/logpvuv.jar

Spark案例练习-打包提交的更多相关文章

  1. sbt打包Scala写的Spark程序,打包正常,提交运行时提示找不到对应的类

    sbt打包Scala写的Spark程序,打包正常,提交运行时提示找不到对应的类 详述 使用sbt对写的Spark程序打包,过程中没有问题 spark-submit提交jar包运行提示找不到对应的类 解 ...

  2. Storm系列(三):创建Maven项目打包提交wordcount到Storm集群

    在上一篇博客中,我们通过Storm.Net.Adapter创建了一个使用Csharp编写的Storm Topology - wordcount.本文将介绍如何编写Java端的程序以及如何发布到测试的S ...

  3. iOS开发之 xcode6 APP 打包提交审核详细步骤

    一. 在xcode6.1和ios10.10.1环境下实现app发布 http://blog.csdn.net/mad1989/article/details/8167529 http://jingya ...

  4. Spark On Yarn:提交Spark应用程序到Yarn

    转载自:http://lxw1234.com/archives/2015/07/416.htm 关键字:Spark On Yarn.Spark Yarn Cluster.Spark Yarn Clie ...

  5. 【原】 Spark中Task的提交源码解读

    版权声明:本文为原创文章,未经允许不得转载. 复习内容: Spark中Stage的提交 http://www.cnblogs.com/yourarebest/p/5356769.html Spark中 ...

  6. 【原】Spark中Stage的提交源码解读

    版权声明:本文为原创文章,未经允许不得转载. 复习内容: Spark中Job如何划分为Stage http://www.cnblogs.com/yourarebest/p/5342424.html 1 ...

  7. 【原】Spark中Job的提交源码解读

    版权声明:本文为原创文章,未经允许不得转载. Spark程序程序job的运行是通过actions算子触发的,每一个action算子其实是一个runJob方法的运行,详见文章 SparkContex源码 ...

  8. spark下使用submit提交任务后报jar包已存在错误

    使用spark submit进行任务提交,离线跑数据,提交后的一段时间内可以application可以正常运行.过了一段时间后,就抛出以下错误: org.apache.spark.SparkExcep ...

  9. iOS利用Application Loader打包提交到App Store时遇到错误The filename 未命名.ipa in the package contains an invalid character(s). The valid characters are:A-Z ,a-z,0-9,dash,period,underscore,but the name cannot start w

    iOS利用Application Loader打包提交到App Store时遇到错误: The filename 未命名.ipa in the package contains an invalid ...

随机推荐

  1. [BUUCTF]PWN7——[OGeek2019]babyrop

    [BUUCTF]PWN7--[OGeek2019]babyrop 题目网址:https://buuoj.cn/challenges#[OGeek2019]babyrop 步骤: 例行检查,32位,开启 ...

  2. 联盛德 HLK-W806 (十): 在 CDK IDE开发环境中使用WM-SDK-W806

    目录 联盛德 HLK-W806 (一): Ubuntu20.04下的开发环境配置, 编译和烧录说明 联盛德 HLK-W806 (二): Win10下的开发环境配置, 编译和烧录说明 联盛德 HLK-W ...

  3. 搭建ELK日志平台(单机)

    系统版本:Ubuntu 16.04.7 LTS 软件架构:Filebeat+Kafka+Logstash+Elasticsearch+Kibana+Nginx 软件版本:Filebeat-7.16.0 ...

  4. M-SOLUTIONS Programming Contest 2020 题解

    M-SOLUTIONS Programming Contest 2020 题解 目录 M-SOLUTIONS Programming Contest 2020 题解 A - Kyu in AtCode ...

  5. Spring5 概述及Spring IOC学习

    Spring Framework 5 1. Spring框架 1.1 Spring框架概述 1.2 主要内容 Spring框架是一个开源的JavaEE的应用程序 主要核心是 IOC(控制反转)和AOP ...

  6. 常用DBhelper封装方法

    using System;using System.Collections.Generic;using System.Linq;using System.Text;using System.Threa ...

  7. JAVA执行cmd命令方法

    package com.cmd; import java.io.BufferedReader; import java.io.InputStream; import java.io.InputStre ...

  8. Qt之QListView和QStandardItemModel用法

    note 个人理解, QListView 用于 显示数据,而数据的逻辑维护则由 QStandardItemModel 完成. QStandardItemModel 创建 if (nullptr == ...

  9. 【LeetCode】1464. 数组中两元素的最大乘积 Maximum Product of Two Elements in an Array (Python)

    作者: 负雪明烛 id: fuxuemingzhu 个人博客:http://fuxuemingzhu.cn/ 目录 题目描述 题目大意 解题方法 暴力 找最大次大 日期 题目地址:https://le ...

  10. 【LeetCode】280. Wiggle Sort 解题报告 (C++)

    作者: 负雪明烛 id: fuxuemingzhu 个人博客:http://fuxuemingzhu.cn/ 目录 题目描述 题目大意 解题方法 排序后交换相邻元素 日期 题目地址:https://l ...