039 hive中关于数据库与表等的基本操作
一:基本用法
1.新建数据库
2.删除数据库
3.删除非空的数据库
4.指定数据库的位置
LOCATION:指定数据库的位置,不会在系统的默认文件下。
5.在指定数据库中新建表(验证在指定的数据库中可以建表)
6.在页面上观看表
可以看到在指定的目录下有一张新建的表。
但是,没有看到指定的数据库。
7.新建表
8.删除一张表
drop table if exists student;
9.清空一张表
10.加载数据
1)从本地加载
2)从HDFS上加载
3)区别:
移动。
11.查询
12.描述一张表
一张表的一些信息。
13.查看方法
14.描述方法
二:hive的参数的用法
1.到指定的数据库
2.命令行执行SQL
3.执行文件里的sql
4.启动时指定hive的陪置
5.查看当前的配置,更可以更改配置
三.hive shell中常用的操作
1.访问本地文件系统
2.访问hdfs
四.hive中表的使用
1.创建表的三种方式
1)第一种方式:普通方式
2)第二种方式:as select ,子查询方式
特点:将子查询的数据和结构复制给新的表。
3)第三种方式:like
特点:复制表的结构。
2.表的类型
1)新建员工表
2)新建部门表
3)默认表的类型:管理表
4)问题:文件还有一份,多人使用时,可以通过location指定创建多张表
看在HDFS中的效果
没有加载数据,但是依旧可以使用emp的数据,因为使用的目录。
如果这时候删除掉emp1:
这时,会删除掉元数据的信息,同时删除在HDFS中表的两个文件夹emp与emp1,但是hive中还保留着emp。
5)解决方案
使用外部表。
3.创建外部表
这时,在HDFS上依旧只有一张dept的元数据表。
两个地方:external,location。
4.EXCERANL新建的是外部表
可以看描述信息。
5.外部表的好处
这时,删掉dept_ext,dept表的元数据依然还在。
6.管理表与外部表的区别
管理表的删除操作:先删除元数据,然后删除表的文件夹
外部表的删除操作:只删除元数据
五:分区表
1.分区表需求
当前的web服务器上的log文件,需求是对前一天日志进行分析:
20161019.log
20161020.log
20161021.log
20161022.log
第一种: /logs/20161019.log
20161020.log
20161021.log
20161022.log
select * from logs where date='20161022';
这种情况是:先加载再过滤,其实意思是,这些数据会全部加载到mapreduce,然后才选择自己需要的数据。
第二种: /logs/20161019/20161019.log
/20161020/20161020.log
select * from logs where date='20161022';
这种情况是:会直接加载加载相应的文件到mapreduce。
2.新建分区表
其中,by后面的字段是一个逻辑字段,在表中是没有的。
这时,HDFS上出现字段。这个情况是必须加载完数据才会出现的情况,不然没有分区的字段值。
3.分区表查询
分区表的全部查询:
select * from emp;
然后可以根据字段进行过滤:
select * from emp where date='20161021';
为啥可以这么做?因为,在全部的查询中,会发现多了一个date的字段,所以可以作为条件进行过滤。
4.多级分区
5.多级分区的效果
039 hive中关于数据库与表等的基本操作的更多相关文章
- hive中关于数据库与表等的基本操作
一:基本用法 1.新建数据库 2.删除数据库 3.删除非空的数据库 4.指定数据库的位置 LOCATION:指定数据库的位置,不会在系统的默认文件下. 5.在指定数据库中新建表(验证在指定的数据库中可 ...
- Hive中的数据库、表、数据与HDFS的对应关系
1.hive数据库 我们在hive终端,查看数据库信息,可以看出hive有一个默认的数据库default,而且我们还知道hive数据库对应的是hdfs上面的一个目录,那么默认的数据库default到底 ...
- Hive中的数据库(Database)和表(Table)
在前面的文章中,介绍了可以把Hive当成一个"数据库",它也具备传统数据库的数据单元,数据库(Database/Schema)和表(Table). 本文介绍一下Hive中的数据库( ...
- SQL Server中查询数据库及表的信息语句
/* -- 本文件主要是汇总了 Microsoft SQL Server 中有关数据库与表的相关信息查询语句. -- 下面的查询语句中一般给出两种查询方法, -- A方法访问系统表,适应于SQL 20 ...
- SQL中查看数据库各表的大小
SQL中查看数据库各表的大小 编写人:CC阿爸 2014-6-17 在日常SQL数据库的操作中,如何快速的查询数据库中各表中数据的大小. 以下有两种方法供参考: 第一种: create table # ...
- impala不能查询hive中新增加的表问题
使用Cloudera Manager部署安装的CDH和Impala,Hive中新增加的表,impala中查询不到,其原因是/etc/impala/conf下面没有hadoop和hive相关的 ...
- hive中与hbase外部表join时内存溢出(hive处理mapjoin的优化器机制)
与hbase外部表(wizad_mdm_main)进行join出现问题: CREATE TABLE wizad_mdm_dev_lmj_edition_result as select * from ...
- hive中使用正則表達式不当导致执行奇慢无比
业务保障部有一个需求,须要用hive实时计算上一小时的数据.比方如今是12点,我须要计算11点的数据,并且必须在1小时之后执行出来.可是他们用hive实现的时候发现就单个map任务执行都超过了1小时, ...
- 在hive中查询导入数据表时FAILED: SemanticException [Error 10096]: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=nonstrict
当我们出现这种情况时 FAILED: SemanticException [Error 10096]: Dynamic partition strict mode requires at least ...
随机推荐
- UNIX环境高级编程--第一章 UNIX基础知识
第一章 UNIX基础知识 1.2 UNIX体系结构 从严格意义上说,可将操作系统定义为一种软件,它控制计算机硬件资源,提供程序运行环境.我们将这种软件称为内核(kernel),因为 它相对较小,且 ...
- pyqt5的使用目录
pyqt5的安装 我的第一个例子 标签控件QLabel的使用 按钮QPushButton 信号与槽 pyqt5模块介绍 pycharm活动模板 QObject 定时器 QWidget类-坐标系 ...
- luogu P1445 [Violet]嘤F♂A
博主决定更博文啦 这道题一开始没什么思路啊qwq 要求 \(\frac{1}{x}+\frac{1}{y}=\frac{1}{n!}\) 的正整数解总数 首先通分,得 \[\frac{x+y}{xy} ...
- 第16月第24天 find iconv sublime utf-8
1. find . -type f -exec echo {} \; find src -type f -exec sh -c "iconv -f GB18030 -t UTF8 {} &g ...
- python线程,pipe管道通信原理
Pipe管道: * 管道实例化后会产生两个通道,分别交给两个进程* 通过send和recv来交互数据,这是一个双向的管道,child和parent可以互相收发 from multiprocessing ...
- 【CXF】com.sun.xml.internal.ws.fault.ServerSOAPFaultException: Client received SOAP Faul
在客户端生成代码之后测试出现错误: com.sun.xml.internal.ws.fault.ServerSOAPFaultException: Client received SOAP Faul ...
- sqlldr和sqludr使用笔记
导出语句: 参数:file=aaa 生成文件的名字 导入语句: 导出语句会生成一个控制文件(XX.ctl),导入语句直接使用这个控制文件就可以 readsize= 控制缓存大小,控制文件里面的 ...
- kali linux 下搭建git服务器
参考:http://www.cnblogs.com/dee0912/p/5815267.html https://www.liaoxuefeng.com/wiki/001373951630592960 ...
- springboot系列一、springboot产生背景及介绍
一.为什么用Springboot 长期以来 Java 的开发一直让人所诟病: ·Java 项目开发复杂度极其高: · Java 项目的维护非常困难: · 在云时代如何实现项目的快速部署以及快速启动: ...
- python通过操作windows系统注册表方式修改环境变量
#coding=utf8 import os import sys from subprocess import check_call if sys.hexversion > 0x0300000 ...