标签: hadoophivealtertable 2014-11-19 10:45 4219人阅读 评论(0) 收藏 举报  分类: hadoop(6)  版权声明:本文为博主原创文章,未经博主允许不得转载. SerDe SerDe 是 Serialize/Deserilize 的简称,目的是用于序列化和反序列化.序列化的格式包括: 分隔符(tab.逗号.CTRL-A) Thrift 协议 反序列化(内存内): Java Integer/String/ArrayList/HashMap Hado

0x01:重命名表 1 ALTER TABLE table_name RENAME TO new_table_name; 上面这个命令可以重命名表,数据所在的位置和分区都没有改变. 0x02:改变列名/类型/位置/注释 1 ALTER TABLE table_name CHANGE 2 [CLOUMN] col_old_name col_new_name column_type 3 [CONMMENT col_conmment] 4 [FIRST|AFTER column_name]; 这个命令

为什么选择Hive? (1)基于Hadoop的大数据的计算/扩展能力(2)支持SQL like查询语言(3)统一的元数据管理(4)简单编程 一:Hive的数据类型(1)基本数据类型tinyint/smallint/int/bigintfloat/doublebooleanstring(2)复杂数据类型Array/Map/Struct没有date/datetime (3)Hive的数据存储Hive的数据存储基于Hadoop HDFSHive没有专门的数据存储格式存储结构主要包括:数据库.文件.表.

Hive--基本DDL语句 DDL:Data Definition Language(数据定义语言,与关系型数据库相似) 官方手册:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL HiveQL DDL包括以下内容: HiveQL DDL statements are documented here, including: ●CREATE DATABASE/SCHEMA, TABLE, VIEW, FUNCTI

add JAR /home/hadoop/study/study2/utf.jar; package my.bigdata.udf; import org.apache.hadoop.hive.ql.exec.UDF; public class ToLowercase extends UDF { public String evaluate(String filed){ return filed.toLowerCase(); } } 将代码达成jar包然后上传,其中依赖的函数在hive的压缩包的

表 1.重命名表重命名表的语句如下: ALTER TABLE table_name RENAME TO new_table_name 2.修改表属性: ALTER TABLE table_name SET TBLPROPERTIES (property_name = property_value, property_name = property_value,... ) 3.修改表注释: ALTER TABLE table_name SET TBLPROPERTIES('comment' = n

批量修改文件的分隔符,可以用FS和OFS命令 FS:Field Separator,字段分隔符 OFS:Out of Field Separator,输出字段分隔符 修改空格为分隔符 假设有这么一个文件file1.txt,其内容如下: 可以看出,file1的分隔符很长,不止一个空格符组成,因此我们需要先将分隔符统一一下,输入一下命令: awk -F " " '{if($1~/^16/) print $1,$2,$3,$4}' file1.txt > file2.txt 生成fil

HIVE特殊分隔符处理 Hive对文件中的分隔符默认情况下只支持单字节分隔符,,默认单字符是\001.当然你也可以在创建表格时指定数据的分割符号.但是如果数据文件中的分隔符是多字符的,如下图: 01||zhangsan 02||lisi 03||wangwu 补充:hive读取数据的机制 1.首先用inputformat的一个具体的实现类读取文件数据,返回一条条的记录(可以是行,或者是你逻辑中的“行”) 2.然后利用SerDe<默认:org.apache.hadoop.hive.serde2.L

引言 Hive 中的默认分隔符是 ^A (\001) ,这是一种特殊的分隔符,使用的是 ASCII 编码的值,键盘是打不出来的 查看 Hive 默认分隔符文件 Linux 上的文件 以 \001 作为分隔符时,下载后用 notePad++ 打开时看到的 SOH 以 \002 作为分隔符时,下载后用notePad++打开时看到的 STX, 以 \003 作为分隔符时,下载后用notePad++打开时看到的 ETX: "\001" "\002" "\003&q

Hive--基本DML语句 DML:Data Manipulation Language(数据操作语言,与关系型数据库相似) 官方手册:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML 一.加载数据到hive表中 1.从文件系统加载数据入库 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partc

参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-AlterTable%2FPartitionStatements 这里主要列一些常用操作. 添加分区 ALTER TABLE table_name ADD PARTITION (partCol = 'value1') location 'loc1'; //示例 ALTER TABLE table_name ADD IF

最近在学习使用Hive(版本0.13.1)的过程中,发现了一些坑,它们或许是Hive提倡的比关系数据库更加自由的体现(同时引来一些问题),或许是一些bug.总而言之,这些都需要使用Hive的开发人员额外注意.本文旨在列举我发现的3个通过查询语句向表中插入数据过程中的问题,希望大家注意. 为了验证接下来出现的问题,需要先准备两张表employees和staged_employees,并准备好测试数据.首先使用以下语句创建表employees: create table employees ( id

HIVE建内部表语句 create table dll102.sougou (id string,pwd string,name string,count int,seqno int,address string) row format delimited fields terminated by '\t' ; 创建字段中含有数组类型,对象类型的表,并查询特殊字段 外部表默认 存在HDFS下的  ‘/user/hadoop/指定路径’  将本地文件加载到HIVE load data local

Alter Table 语句 它是在Hive中用来修改的表. 语法 声明接受任意属性,我们希望在一个表中修改以下语法. ALTER TABLE name RENAME TO new_name ALTER TABLE name ADD COLUMNS (col_spec[, col_spec ...]) ALTER TABLE name DROP [COLUMN] column_name ALTER TABLE name CHANGE column_name new_name new_type A

一.Hive 分号字符 分号是SQL语句结束标记,在HiveQL中也是,可是在HiveQL中,对分号的识别没有那么智慧,比如: select concat(cookie_id,concat(';','zoo')) fromc02_clickstat_fatdt1 limit 2; FAILED: Parse Error: line 0:-1 cannot recognize input'<EOF>' in function specification 能够判断,Hive解析语句的时候,仅仅要遇

我们知道Hive0.14版本之前是不支持行级别的插入,更新,删除的,0.14版本之后可以通过修改相关配置得以支持,但是在不修改默认配置的情况下是不是完全没有办法呢?不是的,这里有个比较简单的方法,前提是表的存储格式为textfile~ 以下是例子: 当前表emp 存储格式为textfile 到hdfs中查看数据 将数据下载下来: $ hdfs dfs -get /user/hive/warehouse/test_db.db/emp/part-m-00000 vi查看数据 可以看到字段间的分隔符为

hive表的数据源有四种: hbase hdfs 本地 其他hive表 而hive表本身有两种: 内部表和外部表. 而hbase的数据在hive中,可以建立对应的外部表(参看hive和hbase整合) 内部表和外部表 区别:删除时,内部表删除hadoop上的数据:而外部表不删,其数据在外部存储,hive表只是查看数据的形式,看时从外部读入数据: 内部表:CREATETABLE tab(column1 STRING, column2 STRING); 外部表:用EXTERNAL 关键字,且必须在表

Hive中的外部表 对于Hive中的外部表来说,因为表是外部的,Hive认为其并不拥有这份数据,删除该表并不会真正删除其中的数据,其中的表描述元信息会被删除掉.   对数据进行分区后,对于管理表,可以将其显示在hdfs目录中,但是外部表目录中不会真正存在数据,只能通过show partitions命令来显示外部表的分区信息.   我们的外部表是通过dateid进行的partition,如何显示某个partition外部表对应的location:   hive -e "describe exten

Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在hadoop 分布式文件系统中的数据,可以将结构 化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需 要的内容,这套SQL 简称hive SQL,使不熟悉mapreduce 的用户很方便的利用SQL 语言查询,汇总,分析数据.而mapreduce开发人员可以把 己写的mapper 和reducer 作为插件

前言 近期在学习使用Hive(版本号0.13.1)的过程中,发现了一些坑,它们也许是Hive提倡的比关系数据库更加自由的体现(同一时候引来一些问题).也许是一些bug.总而言之,这些都须要使用Hive的开发者额外注意.本文旨在列举我发现的3个通过查询语句向表中插入数据过程中的问题,希望大家注意. 数据准备 为了验证接下来出现的问题,须要先准备两张表employees和staged_employees.并准备好測试数据.首先使用下面语句创建表employees: create table empl

hive> select product_id, track_time from trackinfo limit 5; Total MapReduce jobs = 1 Launching Job 1 out of 1 Number of reduce tasks is set to 0 since there's no reduce operator org.apache.hadoop.ipc.RemoteException: java.io.IOException: java.io.IOEx