最近在Hive中使用Spark引擎进行执行时(set hive.execution.engine=spark),经常遇到return code 30041的报错,为了深入探究其原因,阅读了官方issue.相关博客进行了研究.下面从报错现象.原因分析.解决方案几个方面进行介绍,最后做一下小结. (一)报错现象 ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.Sp

今天将临时表里面的数据按照天分区插入到线上的表中去,出现了Hive创建的文件数大于100000个的情况,我的SQL如下: hive> insert overwrite table test partition(dt) > select * from iteblog_tmp; iteblog_tmp表里面一共有570多G的数据,一共可以分成76个分区,SQL运行的时候创建了2163个Mapper,0个Reducers.程序运行到一般左右的时候出现了以下的异常: [Fatal Error] tot

创建 COM 对象失败. 应用程序将被中断. Start tag expected, '<' not found. Location: 'C:\Users\Mike/.VirtualBox\VirtualBox.xml', line 1 (0), column 1. C:\tinderbox\win-4.3\src\VBox\Main\src-server\VirtualBoxImpl.cpp[531] (long __cdecl VirtualBox::init(void)). 返回 代码:E

本文由秀依林枫提供友情赞助,首发于烂泥行天下. 今天在启动virtualbox时,发现virtualbox报创建COM对象失败错误,如下图: 查找相关资料发现很有可能是virtualbox与OS不兼容造成. 调整virtualbox的兼容性,如下图: 然后再启动virtualbox,就可以了.

今天给我们自己的发布系统增加一个新建分支的功能,操作比较简单,但是使用php执行shell命令的时候总是无法push分支到远程,但是登陆服务器执行却是可以的 新建分支命令如下 git fetch --all git checkout -b pmt_20160624_v10.7.4 origin/master  git push origin pmt_20160624_v10.7.4:pmt_20160624_v10.7.4 php大概代码如下,执行这个php文件是定时执行的 <?php $cmd

有根筋搭错了,想起来android应用开发???? 放下两年的手机应用开发,昨天有更新了android SDK, 重新搭建开发环境. 这两年android 变化真TM的大.................. 遇到了eclipse创建项目时候,出现 创建android项目失败的问题 [ android support library ] 问题的情况在: http://tieba.baidu.com/p/3161524695   借用一位网友的帖子,还请莫怪!! 我的解决思路: 重新安装 [ and

hive创建带有中文注释的表报错: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: Transaction failed to commit at org.datanucleus.api.jdo.NucleusJDOHelper.getJDOExceptionForNu

今天使用IDEA创建WEB-APP总是失败,经排查原来是MAVEN环境没配置好!!! 配置: M2_HOME--->maven解压目录 path---->%M2_HOME%\bin\

django1.8通过manage.py syncdb 执行同步创建models中创建的表格失败 由于syncdb命令在1.9版本中会被remove, 需要改用makemigrations命令进行代替 命令如下: manage.py makemigrations manage.py migrate

近期在使用vbox时出现下面错误:创建COM对象失败,应用程序将被中断 在CMD里面输入下面命令: C:\Users\Administrator>d: D:\>cd D:\Program Files\Oracle\VirtualBox\ D:\Program Files\Oracle\VirtualBox>VBoxSVC /ReRegServer D:\Program Files\Oracle\VirtualBox>regsvr32 VBoxC.dll D:\Program Fil

//创建数据库create datebase hive;//创建表create table t_emp(id int,name string,age int,dept_name string,like array<string>,tedian map<string,string>)row format delimited fields terminated by ','collection items terminated by '_'map keys terminated by

mysql创建外链失败1005错误解决方法 错误号:1005错误信息:Can't create table 'webDB.#sql-397_61df' (errno: 150)解决方法 错误原因有四: 1.外键的引用类型不一样,主键是int外键是char,或者大小不一样也不行,int(11位) bigint(20位)2.找不到主表中 引用的列3.主键和外键的字符编码不一致4.要先建立索引,没有建立索引也会出错. 本人错误原因是1,将外键所在的表的字段为int改成跟主表一致的bigint就不报这个

关于Hive创建分区目录且能查到数据的三种方法 1. 使用dfs -mkdir 和 dfs -put 分别创建分区目录和上传数据,此时执行msck repair table 表名 命令就能查询到数据 1. 使用dfs -mkdir -p /user/hive/warehouse-master/pv_log/day=20191115;创建分区目录 2. 使用dfs -put /opt/module/hiveTest/pv_15.log /user/hive/warehouse-master/pv_

公众号:SAP Technical 本文作者:matinal 原文出处:http://www.cnblogs.com/SAPmatinal/ 原文链接:[HANA系列]SAP ECLIPSE中创建ABAP项目失败原因解析   前言部分 大家可以关注我的公众号,公众号里的排版更好,阅读更舒适. 正文部分 当你在eclipse中安装好ABAP插件后 很想体验一把在eclipse中开发abap代码 但是,创建abap项目,如果报下面的错 "Logon to system ERD failed (Sys

* Hive创建表的三种方式 1.使用create命令创建一个新表 例如:create table if not exists db_web_data.track_log(字段) partitioned by (date string,hour string) row format delimited fields terminated by '\t'; 2.把一张表的某些字段抽取出来,创建成一张新表 例如:create table backup_track_log as select * fr

Hive执行count函数失败 1.现象: 0: jdbc:hive2://192.168.137.12:10000> select count(*) from emp; INFO : Number of reduce tasks determined at compile time: 1 INFO : In order to change the average load for a reducer (in bytes): INFO : set hive.exec.reducers.bytes

在成功启动Hive之后感慨这次终于没有出现Bug了,满怀信心地打了长长的创建表格的命令,结果现实再一次给了我一棒,报了以下的错误Error, return code 1 from org.apache.Hadoop.hive.ql.exec.DDLTask. MetaException,看了一下错误之后,先是楞了一下,接着我就发出感慨,自从踏上编程这条不归路之后,就没有一天不是在找Bug的路上就是在处理Bug,给自己贴了个标签:找Bug就跟吃饭一样的男人.抒发心中的感慨之后,该干活还是的干活.

索引是hive0.7之后才有的功能,创建索引需要评估其合理性,因为创建索引也是要磁盘空间,维护起来也是需要代价的 创建索引 hive> create index [index_studentid] on table student_3(studentid) > as 'org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler' > with deferred rebuild > IN TABLE index_table_

rcfile格式表需要从原始的textfile 文件格式表导出数据并导入到新建好的rcfile格式表里 转: HIVE RCFile高效存储结构 创建rcfile 格式的表: CREATE TABLE fc_rc_test (  datatime string,  section string,  domain string,  province string,  city string,  idc string,  ext string,  ip string,  file_size stri

新集群CDH版本,刚刚搭建起来,5个节点起了1个hive服务,另外5个节点又单独起了1个hive服务,一共2个人hive服务.老哥对其中的一个hive进行了数据迁移,对hive数据库进行了替换,就这样,迁移完成没有问题.但是配置yarn参数时,需要对yarn进行重启,重启中涉及对hive的重启,完蛋,hive metastore 无法启动,报下面的错误:(ps:没有导过数据的那个hive就没有问题) com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxError

Hive本身并不存储数据,而是将数据存储在Hadoop的HDFS中,表名对应HDFS中的目录/文件.根据数据的不同存储方式,将Hive表分为外部表.内部表.分区表和分桶表四种数据模型.每种数据模型各有优缺点.通过create user命令创建user表时,会在HDFS中生成一个user目录/文件. 外部表 数据不由Hive管理,使用drop命令删除一个表时,只是把表的元数据给删除了,而表的数据不会删除. 创建外部表的SQL语句: create external table bigdata17_u