1、执行过程失败,报 Container killed on request. Exit code is 143

如下图:

分析:造成这种原因是由于总内存不多,而容器在jvm中占比过高,修改tez-site.xml文件,添加如下配置:

<property>
<name>tez.container.max.java.heap.fraction</name>
<value>0.2</value> #调低内存占比,默认是0.8(也就是80%)
</property>

2、ERROR [main] exec.TaskRunner: Error in executeTask java.lang.NoSuchFieldError: DEFAULT_MR_AM_ADMIN_USER_ENV

分析:

  • hadoop版本与tez所带的hadoop版本不一致。
  • 没有配置tez的类路径或者配置失效。

解决:

  • 第一种情况,删除tez的lib目录下的hadoop包,然后拷贝hadoop lib下的hadoop包过去。(参考上篇hive on tez)
  • 第二种情况,在hadoop-env.sh配置环境变量 或者拷贝tez目录或者tez的lib目录下的.jar包到hive下的lib目录。
1、hadoop-env.sh配置环境变量
TEZ_CONF_DIR=/data1/hadoop/hadoop/etc/hadoop/
TEZ_JARS=/tez-0.9.
export HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:${TEZ_CONF_DIR}:${TEZ_JARS}/*:${TEZ_JARS}/lib/*
或者
2、拷贝jar文件到hive
#cp /tez-0.9.0/*.jar /data1/hadoop/hive/lib
#cp /tez-0.9.0/lib/*.jar /data1/hadoop/hive/lib

3、FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask

hive设置值有三种方法:

方法1:在hive-site.xml文件设置,如:
<property>
<name>hive.execution.engine</name>
<value>tez</value>
</property>
方法2:在启动的时候传递值进去,如:
#hive --hiveconf hive.execution.engine=tez
方法3:进入到hive-cli,通过set 设置,如:
hive> set hiveconf hive.execution.engine=tez; 优先级:方法3>>
范围:
方法1:全局生效
方法2、:当前环境生效。

现在按方法1或者方法2配置hive.execution.engine=tez,进去到hive-cli时启动调试模式:如下:

首先。在配置文件开启tez引擎:

其次,启动的时候,打开调试模式,看具体错误的信息:

hive --hiveconf hive.root.logger=DEBUG,console

输出信息如下:

// :: [Tez session start thread]: INFO client.TezClient: Tez system stage directory hdfs://EDPI-HBASE/tmp/hive/root/_tez_session_dir/c6ba83f1-cd59-4a53-b9b9-38aff39ff6d9/.tez/application_1560912101665_0001 doesn't exist and is created
// :: [Tez session start thread]: DEBUG client.TezClientUtils: AppMaster capability = <memory:, vCores:>
hive> // :: [Tez session start thread]: DEBUG client.TezClientUtils: Command to launch container for ApplicationMaster is : $JAVA_HOME/bin/java -Xmx204m -Djava.io.tmpdir=$PWD/tmp -server -Djava.net.preferIPv4Stack=true -Dhadoop.metrics.log.level=WARN -XX:+PrintGCDetails -verbose:gc -XX:+PrintGCTimeStamps -XX:+UseNUMA -XX:+UseParallelGC -Dlog4j.configuratorClass=org.apache.tez.common.TezLog4jConfigurator -Dlog4j.configuration=tez-container-log4j.properties -Dyarn.app.container.log.dir=<LOG_DIR> -Dtez.root.logger=INFO,CLA -Dsun.nio.ch.bugLevel='' org.apache.tez.dag.app.DAGAppMaster --session ><LOG_DIR>/stdout ><LOG_DIR>/stderr
// :: [Tez session start thread]: ERROR tez.TezSessionState: Failed to start Tez session
java.lang.NullPointerException #报空指针错误
at org.apache.tez.dag.api.records.DAGProtos$PlanKeyValuePair$Builder.setValue(DAGProtos.java:)
at org.apache.tez.client.TezClientUtils.createFinalConfProtoForApp(TezClientUtils.java:)
at org.apache.tez.client.TezClientUtils.createApplicationSubmissionContext(TezClientUtils.java:)
at org.apache.tez.client.TezClient.start(TezClient.java:)
at org.apache.hadoop.hive.ql.exec.tez.TezSessionState.startSessionAndContainers(TezSessionState.java:)
at org.apache.hadoop.hive.ql.exec.tez.TezSessionState.access$(TezSessionState.java:)
at org.apache.hadoop.hive.ql.exec.tez.TezSessionState$.call(TezSessionState.java:)
at org.apache.hadoop.hive.ql.exec.tez.TezSessionState$.call(TezSessionState.java:)
at java.util.concurrent.FutureTask.run(FutureTask.java:)
at java.lang.Thread.run(Thread.java:)

分析:为什么会报空指针错误呢,,,经过测试,如果不在hive-site.xml配置文件配置引擎,进入到hive-cli里面以后,通过set方法设置,在执行hive语句的时候,没问题,可以正常执行(其实,通过方法3这种方式在执行hql语句的时候,在第一次执行时也会提示空指针错误,后面在执行的时候才算正常。),但是通过方法1和2设置,不能正常执行,报:

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask

实际上也就是空指针错误。

通过方法1和2设置引擎的时候,在进入hive客户端时,yarn就会分配资源启动AM,而通过方法3的时候,则是进入到hive以后,在执行具体的任务时,才开始分配资源启动AM

解决办法:

修改yarn-site.xml文件

找到如下的配置
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>master:,slave1:,slave2:</value>
</property>
修改成

<property>
<name>hadoop.zk.address</name>
<value>master:2181,slave1:2181,slave2:2181</value>
</property>

分发yarn-site.xml到其他机器,重启yarn

经过测试,修改以后,三种方法设置引擎为tez后都可以正常的在hive里面使用hql。

造成这种原因的我感觉应该是由于yarn.resourcemanager.zk-address参数已经过时,现在在配置的时候,都采用hadoop.zk.address配置zookeeper的地址。

所以,出错的时候,打开调试模式还是很有帮助的。

hive on tez 错误记录的更多相关文章

  1. hive启动一些错误记录

    java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMeta ...

  2. hive on tez配置

    1.Tez简介 Tez是Hontonworks开源的支持DAG作业的计算框架,它可以将多个有依赖的作业转换为一个作业从而大幅提升MapReduce作业的性能.Tez并不直接面向最终用户--事实上它允许 ...

  3. hive on spark VS SparkSQL VS hive on tez

    http://blog.csdn.net/wtq1993/article/details/52435563 http://blog.csdn.net/yeruby/article/details/51 ...

  4. uploadify插件Http Error(302)错误记录(MVC)

    由于项目(asp.net MVC)需要做一个附件上传的功能,使用的是jQuery的Uploadify插件的2.1.0版本,上传文件到自己项目指定的文件夹下面.做完之后,在谷歌上测试是正确的,在火狐上报 ...

  5. 开发错误记录8:Unable to instantiate application com

    开发错误记录8:Unable to instantiate application com.android.tools.fd.runtime.BootstrapApplication 这是因为在And ...

  6. PHP 错误与异常 笔记与总结(5)配置文件中与错误日志相关的选项 && 将错误记录到指定的文件中

    [记录错误(生产环境)] php.ini: ① 开启 / 关闭 错误日志功能 log_errors = On ② 设置 log_errors 的最大字节数 log_errors_max_len = 其 ...

  7. 安装nagios出现的两个错误记录

    最近在安装nagios,出现几个错误记录: 一 检查nagios配置的时候出现错误如下: Warning: Duplicate definition found for host 'kelly' (c ...

  8. [置顶] 利用Global.asax的Application_Error实现错误记录,错误日志

    利用Global.asax的Application_Error实现错误记录 错误日志 void Application_Error(object sender, EventArgs e) { // 在 ...

  9. streamsets 错误记录处理

    我们可以在stage 级别,或者piepline 级别进行error 处理配置 pipeline的错误记录处理 discard(丢踢) send response to Origin pipeline ...

随机推荐

  1. 基于re模块的计算器

    最终计算器需求: 实现加减乘除及拓号优先级解析 用户输入 1 - 2 * ( (60-30 +(-40/5) * (9-2*5/3 + 7 /3*99/4*2998 +10 * 568/14 )) - ...

  2. LCD驱动的学习

    简介: LCD是基于液晶的. LCD(liquid crystal display)按驱动方式分类可以分为静态驱动,简单矩阵驱动,主动矩阵驱动.其中,简单矩阵又可以分为扭转向列型(TN)和超转向列型( ...

  3. [LeetCode] 148. 排序链表 ☆☆☆(归并排序)

    148.排序链表 描述 在 O(n log n) 时间复杂度和常数级空间复杂度下,对链表进行排序. 示例 1: 输入: 4->2->1->3输出: 1->2->3-> ...

  4. spark 机器学习 ALS原理(一)

    1.线性回归模型线性回归是统计学中最常用的算法,当你想表示两个变量间的数学关系时,就可以用线性回归.当你使用它时,你首先假设输出变量(相应变量.因变量.标签)和预测变量(自变量.解释变量.特征)之间存 ...

  5. Linux之python3编译安装

    一,前言 centos7默认是装有python的,咱们先看一下 [root@glh ~ 20:18:03]#python Python 2.7.5 (default, Jul 13 2018, 13: ...

  6. JAVA工程师必学技能,进阶&涨薪的推进器!这份实战教程请收下

    Netty 作为互联网中间件的基石,是 JAVA 工程师进阶为高级程序员必备的能力之一.也是目前是互联网中间件领域使用最广泛最核心的网络通信框架. Netty是一个高性能.异步事件驱动的NIO框架,它 ...

  7. 《Python编程:从入门到实践》第四章 操作列表 习题答案

    #4.1 pizzas = ['KFC','MDL','DKS'] ''' for pizza in pizzas: print(pizza); ''' for pizza in pizzas: pr ...

  8. java相关网址汇总(myself)

    jar包下载网址 https://www.mvnjar.com/ 或者 https://mvnrepository.com/ 或者 http://www.java2s.com/Open-Source/ ...

  9. 河南省acm第九届省赛--《表达式求值》--栈和后缀表达式的变形--手速题

    表达式求值 时间限制:1000 ms | 内存限制:65535 KB 难度:3   描述 假设表达式定义为:1. 一个十进制的正整数 X 是一个表达式.2. 如果 X 和 Y 是 表达式,则 X+Y, ...

  10. evpp return index.html

    https://github.com/yuqingtong1990/ggtalk_server/blob/99f0f85c683dc0a0c3e76dcae611f60f6456eed6/server ...