解决方法,关闭hadoop安全模式: hadoop dfsadmin -safemode leave…

使用hive一段时间以后,今天在使用的时候突然报错,如下: hive> show databases;FAILED: Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClientFAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.…

hive查询遇到java.io.EOFException: Unexpected end of input stream错误 原因基本上有两个: 空文件 不完整的文件 解决办法: 删除对应文件- 参考 看这里…

在使用命令导数据过程中,出现如下错误 sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.29.16:1521/testdb --username NAME --passord PASS --verbose -m 1 --table T_USERINFO 错误1:File does not exist: hdfs://opt/sqoop-1.4.4/lib/commons-io-1.4.jar FileNotFoundEx…

这一类的错误,原因一般有两点: 1.没有给相应读写文件权限 2.给了权限,但是文件的路径写的不对,比如少了“/”,这样就会报错了. Caused by: android.system.ErrnoException: open failed: EISDIR (Is a directory) 这个异常是因为在SD卡中创建目录文件夹的时候,应该一层一层的创建文件夹,例如:我要创建"/mnt/sdcard/zhufu/apkbus"这样的路径文件夹,其中“zhufu”和“apkbus”文件夹都…

在centos7 linux系统上使用docker进行tomcat部署项目测试的时候发现第一个错误:浏览器返回403 错误,显然是一个权限问题,禁止访问.下面是我一步一步的操作: 1 使用的docker运行tomcat的时候使用命令如下: docker run --name mytomcat -p : -v $PWD/wlsweb:/usr/local/tomcat/webapps/wlsweb -d tomcat 2 然后使用如下命令进行虚拟的tomcat目录下. docker exec -i…

hive DDL 启动hadoop /apps/hadoop/sbin/start-all.sh 开启MySQL库,用于存放hive的元数据 sudo service mysql start 启动hive hive 在/data/hive3下下载数据库数据 mkdir /data/hive3 cd data/hive3 wget http://192.168.1.100:60000/allfiles/hive3/buyer_log wget http://192.168.1.100:60000/…

Atlas MySQL 读写分离 [root@localhost ~]# /usr/local/mysql-proxy/bin/mysql-proxy test start2019-05-07 10:13:03: (critical) chassis-frontend.c:122: Failed to get log directory, please set by --log-path2019-05-07 10:13:03: (message) Initiating shutdown, req…

参考: https://blog.csdn.net/zhuce1986/article/details/39586189 一.保存结果到本地 方法1:调用hive标准输出,将查询结果写到指定的文件中 这个方法最为常见,笔者也经常使用.sql的查询结果将直接保存到/tmp/out.txt中 $ hive -e "select user, login_timestamp from user_login" > /tmp/out.txt 当然我们也可以查询保存到某个文件file.sql中…

异常信息如下: select * from b_pt_pr_customer_address_info limit 19; FAILED: SemanticException Unable to determine if hdfs://nodexx:8020/user/hive/warehouse/ss_aa_bb_info is encrypted: java.lang.IllegalArgumentException: Wrong FS: hdfs://nodexx:8020/user/hi…

错误信息: 2019/09/09 13:54:37 [crit] 796#7096: *1 GetFileAttributesEx() "F: ginx-1.12.2\html\dist" failed (123: The filename, directory name, or volume label syntax is incorrect), client: 127.0.0.1, server: localhost, request: "GET / HTTP/1.1&q…

好久不写,一方面是工作原因,有些东西没发直接发,另外的也是习惯给丢了,内因所致.今天是个好日子,走起! btw,实际上这种格式化输出应该不只限于某一种需求,差不多是通用的. 需求: --基本的:当前Hive查询结果存在数据与表头无法对齐的情况,不便于监控人员直接查看,或者导出到excel中,需要提供一个脚本,将查询结果处理下,便于后续的查看或者操作. --额外的:A.每次查询出来的结果字段数.字段长度不固定:B.每个数据文件中可能包含不只一套查询结果,即存在多个schema. 想法: 对于基本需…

报错环境: CDH中集成的hive服务,启动报错,所以初始化一下元数据. 配置文件:/etc/hive/conf hive-site.xml 命令目录:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/hive/bin 报错现象: 执行以下命令的时候报错: ./schematool -dbType mysql -initSchema [root@master bin]# ./schematool -dbType mysql -initSc…

python pip安装模块提示错误failed to create process 原因: 报这个错误的原因,是因为python的目录名称或位置发生改动. 解决办法: 1.找到修改python所在的目录,打开scripts目录,如下图找到修改python所在的目录,打开scripts目录,找到pip3-script.py文件.如下图: 2.找到pip-script.py文件,并打开,在第一行替换以下代码,路径为你修改的python.exe的路径: 旧: 新: #!F:\cxm\venv\Scr…

今天下午搞断点续传,下载文件的时候,弄了一下,我把下载的文件命名为plug.jar.后来老是报错: open failed: EISDIR (Is a directory) 我烦了,两个小时啊,我操. 我还以为jdk有bug,不能写.jar的文件. 中间各种翻资料,各种...你们懂的. 后来,查资料说 肯能你创建文件的时候,被创建了一个plug.jar的文件夹.我一看,果然是.妈的,我还不知道这个坑. 当前有plug.jar的文件夹,那么当前目录你是创建不了plug.jar的.…

使用hive查询ncdc天气数据 在hive中将ncdc天气数据导入,然后执行查询shell,可以让hive自动生成mapredjob,快速去的想要的数据结果. 1. 在hive中创建ncdc表,这个表用来存放ncdc的数据 create table ncdc ( year string, month string, data string, time string, air string, a string, b string, c string, d string, e string, f…

今天下午有同事反馈她提交了了一个SQL后,hive 查询就停止响应了. 我看了下,发现hiveserver确实hug住了.听过查看日志,发现了一个牛逼的SQL, 这个SQL很简单: select a.column1, b.column2 from a left join b on a.id = b.id 这两张表都是很大的表,保存了好多年的数据,表b按照日期和类目进行了分区. 因为没有加限制,所以HiveMetaStore在获取分区的时候,会从mysql中获取这个表所有的分区信息,SQL如下:…

From MySQL 5.7 ref:13.2.10.8 Derived Tables 八.派生表 派生表是一个表达式,用于在一个查询的FROM子句的范围内生成表. 例如,在一个SELECT查询的FROM子句中的子查询,就是一个派生表. SELECT ... FROM (subquery) [AS] tbl_name ... [AS] tbl_name子句是必需的,因为FROM子句中的每个表都必须具有名称.且派生表中的任何列都必须具有唯一名称. 为了便于说明,假设现在有这样一个表: ), s3…

一.故障 公司的jenkins因为日志量太大把磁盘占满,进而影响了其他程序,仔细一看日志文件"/var/log/jenkins/jenkins.log"几分钟产生了30G的日志 日志内容部分如下: [DNSQuestion@1398141921 type: TYPE_IGNORE index 0, class: CLASS_UNKNOWN index 0, name: ] [DNSQuestion@752862545 type: TYPE_IGNORE index 0, class:…

Ubuntu18.04系统执行gnuradio-companion时,命令行提示错误Failed to load module "canberra-gtk-module",虽然看起来不影响使用,但是总觉得别扭. 解决办法:命令行输入: sudo apt install libcanberra-gtk-module…

求大神解惑,找了很久都没有找到为什么??? hive支持length() 函数,不支持ifnull()函数??? impala实现hive查询 支持ifnull()函数,不支持length()  函数???…

一.关键点 MYSQL双查询错误之所以产生,有两个关键点: (1)SQL语句中使用GROUP BY语句时会生成临时表: (2)RAND()在查询和存储时生成的随机数有可能不同. 补充:===========================================================================================(1)group by常和min(),max(),count(),sum(),avg()等聚合函数配合使用,如: select nam…

一.基础知识 开始讲解MYSQL双查询错误之前,我们先了解一下双查询语句以及需要使用到的几个数据库函数和GROUP BY语句 1. 双查询语句 先了解一下什么是子查询,子查询就是嵌入第一层select语句中的select语句,比如: SELECT * FROM score WHERE even_id IN (SELECT even_id FROM grade_event WHERE category = 'T'); 功能:该语句实现的是找出与考试类别('T')相对应的所有考试事件行的ID,然后利…

1.当时初学Sqoop的时候,mysql导入到hdfs导入命令执行以后,在hdfs上面没有找到对应的数据,今天根据这个bug,顺便解决这个问题吧,之前写的http://www.cnblogs.com/biehongli/p/8039128.html. [hadoop@slaver1 sqoop--cdh5.3.6]$ bin/sqoop import \ > --connect jdbc:mysql://slaver1:3306/test \ > --username root \ >…

14/07/21 17:49:59 ERROR security.UserGroupInformation: PriviledgedActionException as:chenlongquan cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://ubuntu:9000/output09 already exists Exception in thread "main" o…

Hive中执行SQL语句时,出现类似于“Display all 469 possibilities? (y or n)”的错误,根本原因是因为SQL语句中存在tab键导致,tab键在linux系统中是有特殊含义的. 基本查询 desc formatted stu_buck;desc stu_buck; 创建部门表 create table if not exists dept( deptno int, dname string, loc int) row format delimited fie…

今天使用JDBC来操作Hive时,首先启动了hive远程服务模式:hiveserver2 &(表示后台运行),然后到eclipse中运行程序时出现错误: java.sql.SQLException: Could not open client transport with JDBC Uri: jdbc:hive2://192.168.182.11:10000/default: Failed to open new session: java.lang.RuntimeException: org.…

很多时候,我们需要将Hive的查询(select)结果保存起来,方便进一步处理或查看.在Hive里面提供了不同的方式来保存查询结果,在这里做下总结: 一.保存结果到本地 方法1:调用hive标准输出,将查询结果写到指定的文件中 这个方法最为常见,笔者也经常使用.sql的查询结果将直接保存到/tmp/out.txt中: $ hive -e "select user, login_timestamp from user_login" > /tmp/out.txt 方法2:使用INSE…

写了一条hive sql ,其中条件中存在 dt>=20150101 and dt<=20150228 这样的条件,原来执行没问题,今天就抛出 FAILED: Hive Internal Error: java.lang.NullPointerException(null)java.lang.NullPointerException at org.apache.hadoop.hive.ql.optimizer.pcr.PcrExprProcFactory.opAnd(PcrExprProcFa…

1)对于hive内置的列,不是自己建的,在查询的时候需要添加反引号` 比如:`_mt_message`,别在这里犯错误, (2)南京的_mt_message是json的格式,所以可以直接使用:get_json_object(`_mt_message`,'$.Flag') 南京的: 代码块             {"EngineId":"90927395","GPSBrand":"伴车星","OwnerName&qu…