hive重要命令

分区表,桶表,外部表,以及hive一些命令行小工具

hive中的表与hdfs中的文件通过metastore关联起来的.Hive的数据模型:内部表,分区表,外部表,桶表受控表(managed table):包括内部表,分区表,桶表内部表: 我们删除表的时候在hdfs上对应的目录及数据文件一同被删除了. 分区表: 分区:把数据放在不同的磁盘文件中,就认为是不同的分区,数据库对不同的分区会进行单独的管理,优化,最终的目的是加快我们数据查询的速度,在hive中,把不同的分区分在表中不同的子文件夹中. 分区字段就是一个文件夹的标示.和内部表的区别在于分区…

[Spark][Hive]Hive的命令行客户端启动：

[Spark][Hive]Hive的命令行客户端启动: [training@localhost Desktop]$ chkconfig | grep hive hive-metastore 0:off 1:off 2:off 3:on 4:on 5:on 6:offhive-server2 0:off 1:off 2:off 3:on 4:on 5:on 6:off [training@localhost Desktop]$ service hive-server2 statusHive Ser…

Hive Shell 命令详解

Hive服务介绍 Hive默认提供的cli(shell)服务,如果需要启动其他服务,那么需要service参数来启动其他服务,比如thrift服务.metastore服务等.可以通过命令hive --service help查看hive支持的命令. Hive Shell命令介绍Hive的shell命令是通过${HIVE_HOME}/bin/hive文件进行控制的,通过该文件我们可以进行hive当前会话的环境管理.也进行进行hive的表管理等操作.hive命令需要使用';'进行结束标示.通过hiv…

Hive shell 命令

Hive shell 命令. 连接 hive shell 直接输入 hive 1.显示表 hive> show tables; OK test Time taken: 0.17 seconds, Fetched: 1 row(s) 2.创建表 hive> create table test(key string); OK Time taken: 0.265 seconds 3.创建分区表: hive> create table logs(ts bigint,line string) pa…

【原创】官方文档-hive 启动命令

[一起学Hive]之十六-Hive的WEB页面接口-HWI Apache Hive 管网 hive metrics hive常用命令整理 Hive学习之HiveServer2服务端配置与启动启动hivemetastore hive --service metastore 启动hiveserver2 hive --service hiveserver2 beeline !connect jdbc:hive2://172.16.145.124:10000 hive hive 后台运行 hi…

Hive 常用命令和语句

示例数据库为 db_hive 1. 创建表 create-table.sql create table if not exists db_hive.tb_user ( id int, username string comment '用户名', age int comment '年龄', address string comment '地址' ) comment '用户表' row format delimited fields terminated by ',' stored as textf…

1.10-1.11 hive交互式命令讲解

一.hive 交互式命令参数 #帮助 [root@hadoop-senior hive-0.13.1]# bin/hive -h Missing argument for option: h usage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B or --define A=B --database <databasename> Specify t…

Hive之命令

Hive之命令说明:此博客只记录了一些常见的hql,create/select/insert/update/delete这些基础操作是没有记录的. 一.时间级 select day -- 时间 ,date_add(day,1 - dayofweek(day)) as week_first_day -- 本周第一天_周日 ,date_add(day,7 - dayofweek(day)) as week_last_day -- 本周最后一天_周六 ,date_add(day,1 - case w…

Hive常用命令

本位为转载,原地址为:http://www.cnblogs.com/BlueBreeze/p/4232421.html #创建新表 hive> CREATE TABLE t_hive (a int, b int, c int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; #导入数据t_hive.txt到t_hive表 hive> LOAD DATA LOCAL INPATH '/home/cos/demo/t_hive.txt' OVERWR…

hive lock命令的使用

1.hive锁表命令 hive> lock table t1 exclusive;锁表后不能对表进行操作 2.hive表解锁: hive> unlock table t1; 3.查看被锁的表 1.hive> show locks;…

hive在命令行消除进度等错误信息

大家在使用shell脚本调用hive命令的时候,发现hive的中间过程竟然打印到错误输出流里面,这样在查看错误日志的时候,需要过滤这些没用的信息,那么可以使用如下的配置参数. set hive.session.silent=true; (默认是false) 例如: ; Total MapReduce jobs = 1 Launching Job 1 out of 1 Number of reduce tasks determined at compile time: 1 In order to…

[hive] hive cli 命令行

hive 版本 1.2.2 帮助信息 -d 属性 set 和 set -v 变量 hive --define 和 hivevar:变量名字 -e 不启动hive,执行完成后自动退出. hive -e "" -S or --slient 静默执行 , 加上管道流模糊匹配要设置的属性信息 -f , 从文件执行hive 命令, 执行shell脚本 , !command 执行hadoop dfs 命令…

大数据-Hive 常用命令

Hive 启动 ~$ hive 退出 hive>quit; --退出hive or hive> exit; --exit会影响之前的使用,所以需要下一句kill掉hadoop的进程 >hadoop job -kill jobid 选择使用哪个数据库 hive> use database_name; --使用哪个数据库查看数据表结构 hive> describe tab_name; or desc tab_name; --查看表的结构及表的路径查看数据库的描述及路径 hiv…

oozie的shell-action中加入hive脚本命令启动执行shell同时操作hive,抛异常Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143

使用oozie来调度操作,用shell的action执行命令,其中shell里包含着hive -e 操作执行时,oozie窗口报 WARN ShellActionExecutor: - SERVER[host1] USER[root] GROUP[-] TOKEN[] APP[shellwf] JOB[--oozie-root-W] ACTION[--oozie-root-W@shellnode] LauncherMapper died, check Hadoop LOG :job_153310…

HIVE常用命令之MSCK REPAIR TABLE

MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题.我们知道hive有个服务叫metastore,这个服务主要是存储一些元数据信息,比如数据库名,表名或者表的分区等等信息.如果不是通过hive的insert等插入语句,很多分区信息在metastore中是没有的,如果插入分区数据量很多的话,你用 ALTER TABLE table_name ADD PARTITION 一个个分区添加十分麻烦.…

Hive 常用命令

1.hive模糊搜索表 show tables like '*name*'; 2.查看表结构信息 desc formatted table_name; desc table_name; 3.查看分区信息 show partitions table_name; 4.根据分区查询数据 select table_coulm from table_name where partition_name = '2014-02-25'; 5.查看hdfs文件信息 dfs -ls /user/hive/…

Hive Beeline 命令行参数

[hadoop@hive ~]$ beeline --help[中文版] The Beeline CLI 支持以下命令行参数: Option Description --autoCommit=[true/false] ---进入一个自动提交模式:beeline --autoCommit=true --autosave=[true/false] ---进入一个自动保存模式:beeline --autosave=true --color=[true/false] ---显示用到的颜色:be…

Hive记录-Hive常用命令操作

1.hive支持四种数据模型 • external table ---外部表:Hive中的外部表和表很类似,但是其数据不是放在自己表所属的目录中,而是存放到别处,这样的好处是如果你要删除这个外部表,该外部表所指向的数据是不会被删除的,它只会删除外部表对应的元数据:而如果你要删除表,该表对应的所有数据包括元数据都会被删除. • table ---表,存储在HDFS的一个目录中. • partition ---分区:在Hive中,表的每一个分区对应表下的相应目录,所有分区的数据都是存储在对应的目录中…

hive 一次性命令

1.用hive查询,而不进入hive cli,查询后的值可以保存到文件中 #使用参数-e [hadoop@bigdata-senior01 ~]$ hive -e "select * from busdata.weather_count" OK Time taken: row(s) #加上静默开关-S,过滤ok和tim taken [hadoop@bigdata-senior01 ~]$ hive -S -e "select * from busdata.weather_co…

大数据学习——hive显示命令

show databases; desc t_partition001; desc extended t_partition002; desc formatted t_partition002; !clear; !ls; dfs -ls /; 2 DML操作 load load data local inpath '/root/hivedata/t_partitioned' into table t_partition001 partition(country="Japan"); lo…

hive纯命令行

vim /etc/profileexport HIVE_HOME=/export/servers/hive...export PATH=:$HIVE_HOME/bin:$PATH 前台启动hive:hive --service hiveserver2客户端连接:beeline!connect jdbc:hive2://node03:10000 create database [if not exists] myhive location '/myhive2';use myhive;desc da…

hadoop dfsadmin -safemode leave hadoop退出安全模式让提示符显示当前库: set hive.cli.print.current.db=true;显示查询结果时显示字段名称:set hive.cli.print.header=true; set hive.resultset.use.unique.column.names=false; 采用本地模式运行set hive.exec.mode.local.auto=true;…

Hive常用命令及作用

1-创建表 -- 内部表 create table aa(col1 string,col2 int) partitioned by(statdate int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t': -- 外部表 create external table bb(col1 string, col2 int) partitioned by(statdate int) ROW FORMAT DELIMITED FIELDS TERMINATED…