最近学习Spark,看了一个视频,里面有提到启动spark后,一般都会启动Spark History Server。视频里把 spark.history.fs.logDirectory 设置成了Hadoop上一个目录。配置的是hdfs://ubuntu1:9000/spark 啥的。我原来搭建的Hadoop是HA的,肯定不能这么写。我心血来潮,把hadoop HA改回了集群模式。这下可好,恶梦开始。启动Spark History Server,报连不上hadoop,但是我在浏览器中是能打开的。开始怀疑是Spark哪里配置错了,搞了半天,还是连接hadoop时报connection refuse。刚开始学Spark,对它也不熟,所以索性就从简单点的开始。从最简单local模式开始。这种模式下,程序运行完,就什么都看不到了,需要启动Spark History Server,这样就能查看运行完的程序的信息了。只是Spark History Server还是一直连不上hadoop。郁闷至极,后来才发现我也HA Hadoop改成集群时,在core-site.xml 中配置如下,NNDX,没有加9000端口号!!!

<property>
                <name>fs.defaultFS</name>
                <value>hdfs://ubuntu1</value>
        </property>

加上端口号后,发现Spark History Server能连上Hadoop了,真TMD高兴。可是跑完一个程序后,在Spark History Server的UI界面上还是没有信息。搞了半天,才发现datanode没有启动起来。清了一遍namenode和datanode的目录,又格式化了一下namenode。Hadoop终于是正确地跑起来了。

崩溃了,Spark History Server的UI界面上,还是啥都没有。又是半天,才发现是 spark.history.fs.logDirectory 配置错了,应该和 spark.eventLog.dir 配置成同一个目录的, 我当时犯贱了一下,没有配成同一个目录。改成同一个目录后,终于把问题解决了。

虽然走了不少弯路,但是在解决问题的过程中,学到了蛮多东西的。

Spark history server 遇到的一些问题的更多相关文章

  1. Spark History Server配置使用

    Spark history Server产生背景 以standalone运行模式为例,在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息:但该WEB ...

  2. Spark学习笔记-使用Spark History Server

    在运行Spark应用程序的时候,driver会提供一个webUI给出应用程序的运行信息,但是该webUI随着应用程序的完成而关闭端口,也就是 说,Spark应用程序运行完后,将无法查看应用程序的历史记 ...

  3. Spark History Server产生背景

    以standalone运行模式为例,在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息:但该WEBUI随着Application的完成(成功/失败) ...

  4. Spark集群之Spark history server额外配置

     Note: driver在SparkContext使用stop()方法后才将完整的信息提交到指定的目录,如果不使用stop()方法,即使在指定目录中产生该应用程序的目录,history server ...

  5. Spark history Server配置实用

    Spark history Server产生背景 以standalone运行模式为例,在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息:但该WEB ...

  6. spark history server

    参考:http://blog.csdn.net/lsshlsw/article/details/44786575 为什么需要historyServer? 在运行Spark Application的时候 ...

  7. 【转】Spark History Server 架构原理介绍

    [From]https://blog.csdn.net/u013332124/article/details/88350345 Spark History Server 是spark内置的一个http ...

  8. Spark 学习笔记之 Spark history Server 搭建

    在hdfs上建立文件夹/directory hadoop fs -mkdir /directory 进入conf目录  spark-env.sh 增加以下配置 export SPARK_HISTORY ...

  9. 一次解决spark history server日志不见

    通过cloudera的旧版VM(centos6版本)跑spark,之后,想看一下日志研究一下job,stage以及task,压力很大的发现完全没有日志,180088页面打开后: Event log d ...

随机推荐

  1. linux日志系统介绍 —— syslog(),openlog(),closelog()

    函数使用介绍 这里面的三个函数openlog, syslog.closelog是一套系统日志写入接口.另外那个vsyslog和syslog功能一样,仅仅是參数格式不同.         通常.sysl ...

  2. CALL FUNCTION 'BAPI_PO_CREATE1' 相关报错

    *&---------------------------------------------------------------------**& Report  ZQJ06*&am ...

  3. Scipy.sparse矩阵的存储,读取和转化为稠密矩阵

    import numpy as np import scipy.sparse as sp m = sp.lil_matrix((7329,7329)) np.save(path,m) #用numpy的 ...

  4. 算法(Algorithms)第4版 练习 1.3.21

    方法实现: //1.3.21 /** * find if some node in the list has key as its item field * * @param list the lin ...

  5. ES索引瘦身 禁用_source后需要设置field store才能获取数据 否则无法显示搜索结果

    在默认情况下,开启_all和_source 这样索引下来,占用空间很大. 根据我们单位的情况,我觉得可以将需要的字段保存在_all中,然后使用IK分词以备查询,其余的字段,则不存储. 并且禁用_sou ...

  6. elasticsearch ——id字段说明,内部是_uid

    _id field Each document indexed is associated with a _type (see the section called “Mapping Typesedi ...

  7. unable to create new native thread 问题

    ulimit -a ulimit -a core file size (blocks, -c) 0 data seg size (kbytes, -d) unlimited scheduling pr ...

  8. BZOJ1146:[CTSC2008]网络管理

    浅谈树状数组与线段树:https://www.cnblogs.com/AKMer/p/9946944.html 题目传送门:https://www.lydsy.com/JudgeOnline/prob ...

  9. POJ3264(线段树入门题)

    Balanced LineupCrawling in process... Crawling failed Time Limit:5000MS     Memory Limit:65536KB     ...

  10. qt 安装编译

    项目编译的时候提示 cannot find -lGL sudo apt-get install libgl1-mesa-dev