hive遇到的问题以及解决办法
hive java.lang.ClassNotFoundException: Class org.apache.hive.hcatalog.data.JsonSerDe not found
hadoop | Error: java.lang.RuntimeException: Error in configuring object
hadoop | at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:113)
hadoop | at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:79)
hadoop | at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:137)
hadoop | at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:455)
hadoop | at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
hadoop | at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:177)
hadoop | at java.security.AccessController.doPrivileged(Native Method)
hadoop | at javax.security.auth.Subject.doAs(Subject.java:422)
hadoop | at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1886)
hadoop | at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:171)
hadoop | Caused by: java.lang.reflect.InvocationTargetException
hadoop | at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
hadoop | at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
hadoop | at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
hadoop | at java.lang.reflect.Method.invoke(Method.java:498)
hadoop | at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:110)
hadoop | ... 9 more
hadoop | Caused by: java.lang.RuntimeException: Error in configuring object
hadoop | at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:113)
hadoop | at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:79)
hadoop | at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:137)
hadoop | at org.apache.hadoop.mapred.MapRunner.configure(MapRunner.java:38)
hadoop | ... 14 more
hadoop | Caused by: java.lang.reflect.InvocationTargetException
hadoop | at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
hadoop | at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
hadoop | at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
hadoop | at java.lang.reflect.Method.invoke(Method.java:498)
hadoop | at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:110)
hadoop | ... 17 more
hadoop | Caused by: java.lang.RuntimeException: Map operator initialization failed
hadoop | at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.configure(ExecMapper.java:137)
hadoop | ... 22 more
hadoop | Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.ClassNotFoundException: Class org.apache.hive.hcatalog.data.JsonSerDe not found
hadoop | at org.apache.hadoop.hive.ql.exec.MapOperator.getConvertedOI(MapOperator.java:328)
hadoop | at org.apache.hadoop.hive.ql.exec.MapOperator.setChildren(MapOperator.java:420)
hadoop | at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.configure(ExecMapper.java:106)
hadoop | ... 22 more
hadoop | Caused by: java.lang.ClassNotFoundException: Class org.apache.hive.hcatalog.data.JsonSerDe not found
hadoop | at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2299)
hadoop | at org.apache.hadoop.hive.ql.plan.PartitionDesc.getDeserializer(PartitionDesc.java:177)
hadoop | at org.apache.hadoop.hive.ql.exec.MapOperator.getConvertedOI(MapOperator.java:295)
hadoop | ... 24 more
hadoop |
hadoop |
hadoop | FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
hadoop | MapReduce Jobs Launched:
hadoop | Stage-Stage-1: Map: 1 Reduce: 1 HDFS Read: 0 HDFS Write: 0 FAIL
hadoop | Total MapReduce CPU Time Spent: 0 msec
解决办法：
方法一：添加add hive-hcatalog-core包
ADD JAR /usr/local/hive/lib/hive-hcatalog-core-2.3.2.jar;
方法二：Jar放入${HIVE_HOME}/auxlib目录（这个方法解决了我的问题）
在${HIVE_HOME}建立一个auxlib目录，把hive-hcatalog-core.xxx.jar放到auxlib目录，重启hiverserver2，成功显示OK
hive遇到的问题以及解决办法的更多相关文章
- HADOOP在处理HIVE时权限错误的解决办法
今天,小乔操作时发现问题: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, acces ...
- hive数据倾斜原因以及解决办法
何谓数据倾斜?数据倾斜指的是,并行处理的数据集 中,某一部分(如Spark的一个Partition)的数据显著多于其它部分,从而使得该部分的处理速度成为整个数据集处理的瓶颈. 表现为整体任务基本完成, ...
- Hive字段中文注释乱码解决办法
Hive字段中文乱码,如执行 show create table xxx 时,表级别注释.字段级别注释发现有乱码现象, 一般都是由hive 元数据库的配置不当造成的. 此时可按如下步骤进行配置调整: ...
- kylin加载hive表错误：ERROR [http-bio-7070-exec-10] controller.TableController:189 : org/apache/hadoop/hive/conf/HiveConf java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf 解决办法
一.问题背景 在kylin中加载hive表时,弹出提示框,内容是“oops!org/apache/hadoop/hive/conf/HiveConf”,无法加载hive表,查找kylin的日志时发现, ...
- Hive的Shell里hive> 执行操作时，出现FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask错误的解决办法（图文详解）
不多说,直接上干货! 这个问题,得非 你的hive和hbase是不是同样都是CDH版本,还是一个是apache版本,一个是CDH版本. 问题详情 [kfk@bigdata-pro01 apache-h ...
- 执行Hive时出现org.apache.hadoop.util.RunJar.main(RunJar.java:136) Caused by: java.lang.NumberFormatException: For input string: "1s"错误的解决办法（图文详解）
不多说,直接上干货 问题详情 [kfk@bigdata-pro01 apache-hive--bin]$ bin/hive Logging initialized -bin/conf/hive-log ...
- kylin_异常_02_java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf 解决办法
一.异常现象 在kylin的web管理界面,设置hive数据源时,报错: 查找kylin的日志时发现,弹出提示框的原因是因为出现错误: ERROR [http-bio-7070-exec-10] co ...
- hive数据倾斜的解决办法
数据倾斜是进行大数据计算时常见的问题.主要分为map端倾斜和reduce端倾斜,map端倾斜主要是因为输入文件大小不均匀导致,reduce端主要是partition不均匀导致. 在hive中遇到数据倾 ...
- Hive中将文件加载到数据库表失败解决办法
Hive中将文件加载到数据库表失败解决办法(hive创建表失败) 遇到的问题: FAILED: Execution Error, return code 1 from org.apache.hadoo ...
随机推荐
- [js高手之路]Node.js实现简易的爬虫-抓取博客所有文章列表信息
抓取目标:就是我自己的博客:http://www.cnblogs.com/ghostwu/ 需要实现的功能: 抓取博客所有的文章标题,超链接,文章摘要,发布时间 需要用到的库: node.js自带的h ...
- 在php中怎么利用js把参数传递给弹窗
1.在php页面中经常用到把参数传递给弹窗页面,在弹窗页面中操作 2.两种方式,截图为一种 3.最常见的就是利用hideen隐藏域,点击按钮的时候把要传递的参数值传递给隐藏域,需要的时候在弹窗中获取. ...
- 客户端ajax请求为实现Token验证添加headers后导致正常请求变为options跨域请求解决方法
客户端为了实现token认证,通过Jquery的ajaxSetup方法全局配置headers: 全局配置headers后会导致部分不需要token认证的请求变为options请求,导致跨域访问.报错信 ...
- cf623A. Graph and String(二分图 构造)
题意 题目链接 Sol 可以这样考虑,在原图中没有边相连的点的值肯定是a / c 那么直接二分图染色即可 #include<bits/stdc++.h> #define LL long l ...
- css-使不同大小的图片在固定大小的容器中居中
HTML示例如下: <ul> <li class="imgbox"><img src="img1.jpg"></li& ...
- 转：Windows下PHP7安装Redis和Redis扩展phpredis
原文地址:Windows下PHP7安装Redis和Redis扩展phpredis Windows下PHP7安装Redis和Redis扩展phpredis 2016-06-08 17:53:00 标签: ...
- ArcGIS for JavaScript 关于路径开发的一些记录（一）
今年毕业,进入公司的第一个任务就是单独负责一个项目的地图模块,用ArcGIS API for JavaScript来开发web地图.花了大概一个礼拜的时间学会了安装和搭建ArcGIS Server和A ...
- reentrantlock用于替代synchronized
1.①使用reentrantlock可以完成同样的功能 ②需要注意的是,必须要必须要必须要手动释放锁(重要的事情说三遍) ③使用syn锁定的话如果遇到异常,jvm会自动释放锁,但是lock必须 ...
- 让Oracle的 SHOW PARAMETER 命令显示隐藏参数
转自 http://blog.csdn.net/staricqxyz/article/details/8624549 Find internal of "show parameter&quo ...
- Phoenix介绍(持续更新)
现有hbase的查询工具有很多如:Hive,Tez,Impala,Shark/Spark,Phoenix等.今天主要记录Phoenix. phoenix,中文译为“凤凰”,很美的名字.Phoenix是 ...