Hadoop之hive安装过程以及运行常见问题
Hive简介
1、数据仓库工具
2、支持一种与Sql类似的语言HiveQL
3、可以看成是从Sql到MapReduce的映射器
4、提供shall、Jdbc/odbc、Thrift、Web等接口
Hive嵌入式安装
1、下载。
下载地址:http://mirror.bit.edu.cn/apache/hive/hive-0.13.0/
我下载的是最新的版本,0.13.0版本
2、上传并解压
上传到Linux中,这里我放在了/usr/local目录下
解压hive,命令:tar -zxvf hive-0.13.0
解压完成后在目录下会多一个hive-0.13.0目录
重命名(配置环境变量方便,可不做),命令:mv hive-0.13.0 hive
3、配置环境变量
在/etc/profile 或者 ~/.bash_profile中配置都可以,任选一个。这里我选择的是.bash_profile
新增变量:export HIVE_HOME=/usr/local/hive
在PAHT路径中新增HIVE_HOME路径(红色部分):
PATH=$PATH:/usr/local/pig/bin:$HOME/bin:$HIVE_HOME/bin:$HIVE_HOME/conf
让环境变量生效命令:source .bash_profile
验证:set
查看变量是否设置成功
4、修改hive配置
在目录hive/conf中
命令:cp hive-default.xml.template hive-site.xml
复制hive-default.xml.template为 hive-site.xml
命令:cp hive-env.sh.template hive-env.sh
修改hive-env.sh中的HADOOP_HOME=/usr/local/hadoop,这里我指向的是我Hadoop安装目录
5、运行测试
命令:hive
出现以下表示运行成功
Logging initialized using configuration in jar:file:/usr/local/hive/lib/hive-common-0.13.0.jar!/hive-log4j.properties
hive>
安装过程中可能遇到的问题:
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf
解决方法:进入到Hadoop的安装目录,找到conf/hadoop-env.sh中修改export HADOOP_CLASSPATH
红色部分为增加的: export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/myclass
修改后保存在运行hive即可
FAILED: Execution Error, return code 1 from org.apache.Hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
查看更详细报错:
hive -hiveconf hive.root.logger=DEBUG,console
出现Caused by: MetaException(message:Version information not found in metastore. )
错误。
解决方法:
修改属性:hive-site.xml
<name>hive.metastore.schema.verification</name>
<value>false</value>
Hadoop之hive安装过程以及运行常见问题的更多相关文章
- Ubuntu hive 安装过程中遇到的一些问题
环境:Ubuntu14.04 Hadoop3.2.0 MySQL5.7 hive2.3.6 安装步骤:安装hive.MySQL并进行配置 安装过程参照:Ubuntu安装hive,并配置mysql作为元 ...
- [Hadoop] Sqoop安装过程详解
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可 ...
- Hadoop之Hive 安装_(hadoop 集群)
Hive mysql的metastore安装准备(***掌握***) 在nameNode1机子上实践: 把hive-0.12.0.tar.gz解压到/itcast/ # tar -zxvf hive- ...
- HBASE的安装过程及运行HBASE程序的需要配置的内容
HBase安装配置 ①下载压缩包(选择与自己安装的Hadoop版本的兼容版本,见后面附录) 官网下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hba ...
- Hive 安装过程中的问题
org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0. ...
- apache安装过程中的常见问题
1. 问题"curses.h: No such file or directory" /home/mediawiki/cmake-2.8.12/Source/CursesDialo ...
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~)
http://blog.csdn.net/licongcong_0224/article/details/12972889 历时一周多,终于搭建好最新版本hadoop2.2集群,期间遇到各种问题,作为 ...
- Hadoop之——分布式集群安装过程简化版
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46352315 1.hadoop的分布式安装过程 1.1 分布结构 主节点(1个,是 ...
- hadoop 安装之 hadoop、hive环境配置
总结了一下hadoop的大致安装过程,按照master . slave的hadoop主从类别,以及root和hadoop集群用户两种角色,以职责图的方式展现,更加清晰一些
随机推荐
- Spark-Cassandra-Connector 插入数据函数saveToCassandra
在spark-shell中将数据保存到cassandra: var data = normalfill.map(line => line.split("\u0005")) d ...
- ubuntu上 安装 基于sphinx 的 coreseek 全文搜索
原生sphinx不支持中文, sphinx-for-chinese匹配中文时也不返回结果 ,真纠结, 最好试了 coreseek,这个能正确返回结果了, 所以记录一下 1 http://www.co ...
- 如何实现.so共享库文件
.so共享库相当于window中的.DLL文件 两个进程同时调用了.so文件,进程就会加载的.so文件到各自的内存空间,而不能实现进程间通讯. .so文件编译的方法: -so文件不需要main文件,即 ...
- SQL Trigger(触发器)
1.触发器对表进行插入.更新.删除的时候会自动执行的特殊存储过程. 2.触发器一般用在check约束更加复杂的约束上面. 3.触发器和普通的存储过程的区别是:触发器是当对某一个表进行操作. 4.upd ...
- css3流式布局
css3布局方式: 不推荐使用float,有时候使用浮动的时候,对于可适应的流氏布局,无法胜任. 推荐使用css3的display:webkit-box. 使用的html代码 <div clas ...
- Boolean 布尔类型详解
这是最简单的类型.boolean 表达了真值,可以为 TRUE 或 FALSE.两个都不区分大小写. 要明确地将一个值转换成 boolean,用 (bool)或者 (boolean) 来强制转换.但是 ...
- php提取背景图片
preg_match_all('/background\s*-\s*+image\s*:\s*url\s*\("*([^"]*)"*\)/i', $content,$ma ...
- Mvc学习笔记(4)
上文我介绍了如何将控制器里的值传递给视图,但是是如何传递的呢?原理是什么? 视图 page.cshtml在编译的时候也会编译成一个类,然而这个类会继承于WebViewPage<object> ...
- Longest common prefix | leetcode
Write a function to find the longest common prefix string amongst an array of strings. 思路:要去是寻找字符串ve ...
- Java Annotation手册
Java Annotation手册 作者:cleverpig(作者的Blog:http://blog.matrix.org.cn/page/cleverpig) 原文:http://www.matri ...