hive介绍、安装配置、表操作基础知识适合小白学习
1.hive概述
Apache Hive数据仓库软件有助于使用SQL读取,编写和管理驻留
在分布式存储中的大型数据集。可以将结构投影到已存储的数据中。
提供了命令行工具和JDBC驱动以将用户连接到Hive。
2.hive优缺点
优点:
(1)操作接口采用了sql,简化开发,减少学习成本。
(2)避免手写mapreduce程序
(3)hive执行延迟较高,使用场景大多用在实时性要求不强的情景
(4)优点在于处理大数据
(5)支持自定义函数
缺点:
(1)hive的sql表达能力有限(HSQL)
(2)hive效率低 hive调优比较难
3.hive架构
提供了一系列的接口:hive shell、jdbc/odbc、webui
4.hive安装
(1)下载安装包 官网地址: hive.apache.org
(2)上传安装包到linux操作系统
alt+p(此处使用的secureCRT)
(3)解压
tar -zxvf .tar -C /opt/moudle/
(4)修改配置文件
conf下的 hive-env.sh.temple重命名为hive-env.sh
修改内容:
HADOOP_HOME=/opt/moudle/hadoop-2.8.4(修改成自己的hadoop安装目录)
export HIVE_CONF_DIR=/opt/moudle/hive/conf(修改成自己的hive的conf目录)
(5)启动hdfs和yarn集群
start-dfs.sh
start-yarn.sh
注意:hive是一种操作数据的软件,它本身不具备存储功能,它的存储依赖的是hdfs,因此启动hive必须启动hadoop。
(6)在hdfs上创建文件夹
hdfs dfs -mkdir /tmp
hdfs dfs -mkdir -p /user/hive/warehouse/
(7)启动hive(切换到hive的安装目录下再输入以下命令)
bin/hive
5.hive测试
1)查看数据库
show databases;
2)使用数据库
use default;
3)查看表
show tables;
4)创建表
create table student(id int,name string);
5)插入数据
insert into student values(1,"Lilei");
6)查询
select * from student;
7)删除表
drop table student;
8)退出终端
quit;
6.DDL数据定义
1)创建数据库
1.1)查看数据库
show databases;
1.2)创建数据库
create database db_hive;
1.3)创建数据库标准写法
create database if not exists db_hive;
1.4)创建数据库指定所在hdfs路径
create database hive_db1 location '/hive_db';
2)修改数据库
2.1)查看数据库结构
desc database hive_db;
2.2)添加描述信息
alter database hive_db set dbproperties('dataname'='animal');
2.3)查看拓展属性
desc database extended hive_db;
3)查询数据库
3.1)显示数据库
show databases;
3.2)筛选查询的数据库
show database like 'db*';
4)删除数据库
4.1)删除数据路
drop database hive_db;
4.2)删除数据的标准写法
drop database if exists hive_db;
5)创建表
5.1)创建表
create table student(id int,name string) row format delimited fields terminated by ’\t‘;
6)管理表
不擅长做数据共享,删除hive中管理表,数据删除。
6.1)加载数据
load data local inpath '/root/itstar.txt' into table student;
6.2)查询并保存到一张新的表
create table if not exists student1 as select * from student where name = 'Lilei';
6.3)查询表结构
desc formatted emp;
查询结果:
Table Type: MANAGED_TABLE
7)外部表
hive不认为这张表拥有这份数据,删除该表,数据不删除。擅长做数据共享。
7.1)创建外部表
>create external table if not exists emptable(empno int,ename string)
> row format
> delimited fields
> terminated by '\t';
7.2)导入数据
load data local inpath '/root/emp.txt' into table emptable;
7.3)查看表的结构
desc formatted emptable;
查询结果:
Table Type: EXTERNAL_TABLE
7.4)删除表
drop table emptable;
提示:再次创建相同的表 字段相同 将自动关联数据!
如果对你有帮助,欢迎转载!
hive介绍、安装配置、表操作基础知识适合小白学习的更多相关文章
- 《JAVASCRIPT高级程序设计》表单基础知识和文本框脚本
在HTML中,表单是由<form>元素来表示,在javascript中,表单对应的是HTMLFormElement类型,它具有一些独有的属性和方法: 一.表单基础知识 1.取得表单的方式 ...
- 【ABAP系列】SAP ABAP-模块 字符串操作基础知识
公众号:SAP Technical 本文作者:matinal 原文出处:http://www.cnblogs.com/SAPmatinal/ 原文链接:[ABAP系列]SAP ABAP-模块 字符串操 ...
- [SQL]SQL Server数据表的基础知识与增查删改
SQL Server数据表的基础知识与增查删改 由张晨辉(学生) 于19天 前发表 | 阅读94次 一.常用数据类型 .整型:bigint.int.smallint.tinyint .小数:decim ...
- Hive的安装配置
Hive的安装配置 Hive的安装配置 安装前准备 下载Hive版本1.2.1: 1.[root@iZ28gvqe4biZ ~]# wget http://mirror.bit.edu.cn/apac ...
- 【转】hive简介安装 配置常见问题和例子
原文来自: http://blog.csdn.net/zhumin726/article/details/8027802 1 HIVE概述 Hive是基于Hadoop的一个数据仓库工具,可以将结构化 ...
- Hive 组件安装配置
下载和解压安装文件 基础环境和安装准备 Hive组件的部署规划和软件包路径如下: (1)当前环境中已安装 Hadoop全分布系统 (2)本地安装 MySQL数据库(账号 root,密码 Passwor ...
- IDEA 安装配置及操作总结(新手必看)
Jetbrains官网下载IDEA15 我们在浏览器输入网址https://www.jetbrains.com/.选择相应的系统版本,下载最新版本的IDEA15,Windows系统双击安装文件,根据界 ...
- SharePoint Framework (SPFx)安装配置以及开发-基础篇
前言 SharePoint Framework(SPFx),是页面 和Webpart的模型,完全支持本地开发(即完全可以脱离SharPoint环境在本地进行开发),SPFx包含了一系列的client- ...
- [Hive_2] Hive 的安装&配置
0. 说明 在安装好 Hadoop 集群和 ZooKeeper 分布式的基础上装好 MySQL,再进行 Hive 安装配置 1. 安装 1.1 将 Hive 安装包通过 Xftp 发送到 /home/ ...
随机推荐
- Listview点击已读使用getBadgeView标示
重:每个ListItem是属于ListItem自己的,不能够放到ViewHolder中,而是数据源每项的. @Override public View getView(int position, Vi ...
- java 内存分析之方法返回值及匿名对象一
package Demo; public class Point { private double x, y, z; public Point(double _x, double _y, double ...
- ES6-Generator
Generator 关键词:状态机,遍历器,同步方式写异步方法 基本概念 形式上,Generator函数是一个普通函数,但是有两个特征. function关键字与函数名之间有一个星号. 二是,函数体内 ...
- Linux 加载卷组
root 用户下执行: vgchange -ay vgdatamount /u01 vgdisplay 查看卷组
- asp.net MVC 使用PagedList.MVC实现分页
在上一篇的EF之DB First中,存在以下的两个问题: 1. 添加/编辑页面显示的是属性名称,而非自定义的名称(如:姓名.专业...) 2. 添加/编辑时没有加入验证 另外数据展示使用分页 @Htm ...
- 使用最新版SDWebImage
使用最新版SDWebImage 1. 下载源码: 2. 测试能否编译成功: 3. 用Xcode6新建一个工程,然后将文件夹拖入到工程当中: 4. 查看其主要的源码,发现之前使用版本的方法都被弃用了: ...
- MFC连接postgre数据库
配置环境: include:libpq-fe.h文件 lib:libpq.lib文件 dll:libeay32.dll,libiconv-2.dll,libintl-8.dll,libpq.dll,s ...
- php数据结构之二叉树
树是一种比较重要的数据结构, 尤其是二叉树.二叉树是一种特殊的树,在二叉树中每个节点最多有两个子节点,一般称为左子节点和右子节点(或左孩子和右孩子),并且二叉树的子树有左右之 分,其次序不能任意颠倒. ...
- 用一个变量表示 ----------"序号,名称,价格"
goods = [{"name": "电脑", "price": 1999}, {"name": & ...
- U-Mail如何实现邮件营销自动化?
对于很多企业来说,人力成本可能就是最大的成本支出了,如果能节省这方面成本支出,也就意味着公司增收了,因此很多公司在做营销工作时,都希望营销能够高效率.有系统.有规划.循序渐进的开展,同时还要减轻营销人 ...