今天dw组同事发邮件说有一个问题让帮解决一下.他们自己没能搞得定.下面问题解决过程: 1.hql insert overwrite table mds_prod_silent_atten_user partition (dt=20141110) select uid, host, atten_time from (select uid, host, atten_time from (select case when t2.uid is null then t1.uid else t2.uid e…

一.情况描述 启动hadoop后发现无法打开hdfs web界面,50070打不开,于是jps发现少了一个namenode: 查看日志信息,发现如下报错: 2022-01-03 23:54:10,993 INFO org.apache.hadoop.hdfs.server.namenode.FSImage: Planning to load image: FSImageFile(file=/export/servers/hadoop-3.1.4/hadoopDatas/namenodeDatas…

使用spark2.4跟spark2.3 做替代公司现有的hive选项. 跑个别任务spark有以下错误 java.io.EOFException: Premature EOF from inputStream at com.hadoop.compression.lzo.LzopInputStream.readFully(LzopInputStream.java:74) at com.hadoop.compression.lzo.LzopInputStream.readHeader(LzopInp…

错误原文分析 文件操作超租期,实际上就是data stream操作过程中文件被删掉了.一般是由于Mapred多个task操作同一个文件.一个task完毕后删掉文件导致. 这个错误跟dfs.datanode.max.transfer.threads參数到达上限有关.这个是datanode同一时候处理请求的任务上限,总默认值是 4096,该參数取值范围[1 to 8192] hadoop docs hdfs-site.xml dfs.datanode.max.transfer.threads 409…

我的个人主页:http://www.foreyou.net 有些人在读取服务器端返回的数据的时候,使用了BufferedReader类的ready: while(reader.ready()) { //执行读取操作,即readLine } 这个方法很经常被用到, 但是返回的却都是空,这是什么原因呢,查看了一下帮助文档,以及上网查了查,总结如下: 1. ready是查看流是否已经准备好被读,是一个非阻塞的方法,所以会立刻返回,由于服务器没有准备好被读,所以会立刻返回,所以读取到的都是null. 2…

之前也安装过hive,操作过无数,也没发现什么错误,今天因为之前安装的hadoop不能用了,不知道为什么,老是提示node 0,所以重新安装了hadoop和hive.安装完测试hive创建表也没发现什么错误,但是一旦执行create table tab_name as select * from (原表)的时候报如下的错: Failed with exception Unable to rename: hdfs://hadoop:9000/tmp/hive-root/hi ve_2014-10-…

http访问第三方系统的接口时,小概率抛出下面的异常: java.io.IOException: Premature EOF at sun.net.www.http.ChunkedInputStream.readAheadBlocking(ChunkedInputStream.java:565) at com.xxxxx.util.HttpUtil.getHttpsContent(HttpUtil.java:194) 相关代码如下: public static JSONObject getMsg…

在写及测的过程中发现的,有一些可能需要进一步验证.有时候hive报错位置不一定正确需要多确认 1 FAILED: NullPointerException null 不能用视图作为left outer join的右表 2 FAILED: UDFArgumentTypeException Only numeric or string type arguments are accepted but decimal is passed. 在cdh hive0.10中,avg的列不能是decimal类型…

开发中一个项目很早就报这个错,maven报错非法字符:\65279 错误,今天终于忍无可忍要解决它 :编译java文件的时候,有些java文件报非法字符 \65279错误,在网上找和很多 方法,也试了很多方法,换JDK,网上说的editplus 修改文件编码貌似也不靠谱(反正我修改之后还是报错~~),后来试了一个方法真的行了: 1.在 IDE中修改提示有非法字符的java文件的编码为:ISO-8859-1 然后 我们就 可以看到java文件的开头有些 乱码,删除它,就是它在捣乱 2.修改完之后,…

安装vs2013以后,链接数据库总是报内存损坏,无法写入的错误 这个错误几个月以前解决过一次,但是到又碰到的时候,竟然完全忘记当时怎么解决的了, 看来上了年纪记忆真是越来越不行了... 解决方案很简单 用管理员身份运行CMD,输入netsh winsock reset并回车(注意,必须是已管理员身份运行,这个重置LSP连接) http://social.msdn.microsoft.com/Forums/zh-CN/030f66b5-e4d5-405a-a619-f6d4546e971c/vs2…