在当前用户的家目录下有个.hivestory文件,里面存放了用户执行的hive操作记录,如下: [hadoop@hadoop1 hive-0.14]$ cat ~/.hivehistory show databases; quit ; quit; create table pokes(foo int, bar string); load data local inpath 'examples/files/kv1.txt' into table pokes ; show tables; show…

2.3 Hive 内部介绍: P44 $HIVE_HOME/lib 下的 jar 文件是具体的功能部分:(CLI模块) 其它组件,Thrift 服务,可以远程访问其他进程功能:也有使用 JDBC 和 ODBC 访问 Hive 的功能: 所有Hive 客户端都需要一个 metastoreservice(元数据服务),Hive 用这个服务来存储表模式信息和其他元数据信息:默认会使用内置的 Derby SQL服务器提供有限的单进程的存储服务: HWI Hive 网页界面,提供了远程访问Hive 的服务…

可以在$HOME中加一个.hiverc文件,并在里面配置hive启动的一些参数. Fro example: http://hadooped.blogspot.com/2013/08/hive-hiverc-file.html 意外发现在$HOME目录下有一个 .hivehistory文件,里面记录了在hive中执行成功过的所有语句…

hive中的表与hdfs中的文件通过metastore关联起来的.Hive的数据模型:内部表,分区表,外部表,桶表受控表(managed table):包括内部表,分区表,桶表 内部表: 我们删除表的时候在hdfs上对应的目录及数据文件一同被删除了. 分区表: 分区:把数据放在不同的磁盘文件中,就认为是不同的分区,数据库对不同的分区会进行单独的管理,优化,最终的目的是加快我们数据查询的速度,在hive中,把不同的分区分在表中不同的子文件夹中. 分区字段就是一个文件夹的标示.和内部表的区别在于分区…

1.前提条件:      只需要选择一台服务器即可,这里选择安装在namenode上:安装用户为cloud-user 2.安装包:      sudo yum install -y hive hive-metastore hive-server2 3.安装mysql:      sudo yum install -y mysql-server      sudo service mysqld start     sudo yum install -y mysql-connector-java  …

664行 CliDriver main启动 public static void main(String[] args) throws Exception { int ret = new CliDriver().run(args); System.exit(ret); } 646行 public int run(String[] args) throws Exception { OptionsProcessor oproc = new OptionsProcessor(); if (!oproc…

(2015.07.22Hive笔记) 一.Hive的安装 1.1Hive的安装过程 下载hive源文件(apache-hive-0.14.0-bin.tar.gz ) 解压hive文件 进入$HIVE_HOME/conf/修改文件 cp hive-env.sh.template hive-env.sh cp hive-default.xml.template(模板文档,提供了hive很多参数) hive-site.xml 修改$HIVE_HOME/conf的hive-env.sh,增加以下三行…

1.hive当中的参数.变量都是以命名空间开头 2.通过${}方式进行引用,其中system.env下的变量必须以前缀开头 3.hive参数设置方式 1.修改配置文件${HIVE_HOME}/conf/hive-site.xml 2.启动hive cli时,通过 --hiveconf key=value的方式进行设置 例如:hive --hiveconf hive.cli.print.header=true 3.进入cli控制台之后,通过使用set命令设置 例如:set hive.cli.pri…

1. HIVE概念: Hive:由Facebook开源用于解决海量结构化日志的数据统计. Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能. 本质是:将HQL转化成MapReduce程序 1)Hive处理的数据存储在HDFS 2)Hive分析数据底层的实现是MapReduce 3)执行程序运行在Yarn上 2.  HIVE优缺点 优点: 1)操作接口采用类SQL语法,提供快速开发的能力(简单.容易上手). 2)避免了去写MapReduce,…

Hadoop 存档 每个文件均按块存储,每个块的元数据存储在namenode的内存中,因此hadoop存储小文件会非常低效.因为大量的小文件会耗尽namenode中的大部分内存.但注意,存储小文件所需要的磁盘容量和存储这些文件原始内容所需要的磁盘空间相比也不会增多.例如,一个1MB的文件以大小为128MB的块存储,使用的是1MB的磁盘空间,而不是128MB. Hadoop存档文件或HAR文件,是一个更高效的文件存档工具,它将文件存入HDFS块,在减少namenode内存使用的同时,允许对文件进行…

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能. 本质是:将HQL转化成MapReduce程序 1)Hive处理的数据存储在HDFS 2)Hive分析数据底层的实现是MapReduce 3)执行程序运行在Yarn上 1. Hive架构原理 hive的组成: 可以配置Hive运行引擎Tez: https://www.cnblogs.com/shengyang17/p/10527700.html 2. Hive安装及配置 ()把apache-…

环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk8 hadoop-3.1.1 apache-hive-3.1.1 一.Hive 参数 1.Hive 参数类型hive当中的参数.变量,都是以命名空间开头: 通过${}方式进行引用,其中system.env下的变量必须以前缀开头: 在Hive CLI查看参数 #显示所有参数 hive>set; #查看单个参数 hive> set hive.cli.print.h…

第1章 Hive基本概念 1.1 什么是Hive Hive:由Facebook开源用于解决海量结构化日志的数据统计. Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能. 本质是:将HQL转化成MapReduce程序 1)Hive处理的数据存储在HDFS 2)Hive分析数据底层的实现是MapReduce 3)执行程序运行在Yarn上 1.2 Hive的优缺点 1.2.1 优点 1) 操作接口采用类SQL语法,提供快速开发的能力(简单.容易上…

1. 基础 1.1 Hive 解决问题的背景? 用户如何从一个现有的数据基础架构转移到 Hadoop 上,而这个基础架构是基于传统的关系数据库和 SQL 的? Hive 提供了一个被称为 HQL 的 SQL 语言,来查询存储在 Hadoop 集群中的数据. 1.2 Hive 使用的场合是什么以及它的局限性? Hive 最适合于数据仓库的应用程序,使用该应用程序进行静态数据分析,不需要快速响应给出结果,而且数据本身 不会频繁变化. 局限性 1. Hive 不适合记录级别的更新,插入或者删除操作,用…

Hive安装及配置 下载hive安装包 此处以hive-0.13.1-cdh5.3.6版本的为例,包名为:hive-0.13.1-cdh5.3.6.tar.gz 解压Hive到安装目录 $ tar -xvf hive-0.13.1-cdh5.3.6.tar.gz 重命名配置文件 mv hive-default.xml.template hive-site.xml mv hive-env.sh.template hive-env.sh mv hive-log4j.properties.templa…

Hadoop生态圈-Hive快速入门篇之HQL的基础语法 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客的重点是介绍Hive中常见的数据类型,DDL数据定义,DML数据操作以及常用的查询操作.如果你没有hive的安装环境的话,可以参考我之前分析搭建hive的笔记:https://www.cnblogs.com/yinzhengjie/p/9154324.html 一.Hive常见的属性配置 1>.Hive数据仓库位置配置 >.Default数据仓库的最原始位置在“h…

一.Hive的命令行 1.Hive支持的一些命令 Command Description quit Use quit or exit to leave the interactive shell. set key=value Use this to set value of particular configuration variable. One thing to note here is that if you misspell the variable name, cli will no…

转自:http://blog.csdn.net/gexiaobaohelloworld/article/details/7719163 入口:bin/hive脚本中,环境检查后执行ext中的cli.sh,进入主类:CliDriver.main. CliDriver.main:进入cli.processLine,处理分号";"分割为一条一条语句,再进processCmd. processCmd:处理quit/exit,再处理source,处理!,处理list:else建立CommandP…

1.hive 参数.变量 1.1hive的命名空间: hive当中的参数.变量,都是以命名空间开头  …

Hive只需在使用节点安装即可. 1.上传tar包.解压   tar -zxvf apache-hive-0.13.0-bin.tar.gz -C /hadoop/  配置HIVE_HOME环境变量   /etc/profile 2.安装mysql  rpm -qa | grep mysql  rpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodeps  rpm -ivh MySQL-server-5.1.73-1.glibc23.i386.rpm  rpm -…

1.jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false 2.desc (formatted) 表名: 可以查看表的描述 3.文件以逗号分隔,重命名csv结尾,可以用Excel打开 4.Linux下有一个wc -l 文件名,看文件内容数量 5.外部表,出现空值,同样内容放到外部表,出现空值,而放在分区表,却全部显示 6.一个是外部表删除了之后,集…

伪分布式 一.安装及配置Hive 1.配置HADOOP_HOME和Hive conf 目录hive-env.sh # Set HADOOP_HOME to point to a specific hadoop install directory HADOOP_HOME=/opt/softwares/hadoop-2.8.0 # Hive Configuration Directory can be controlled by: export HIVE_CONF_DIR=/opt/software…

创建数据库 create database db_hive; use db_hive; create database if not exists db_hive_02; create database if not exists db_hive_01 location '/user/rz_lee/warehouse/db_hive_01.db'; //指定数据库存储的位置 查看数据库 hive (db_hive)> show databases; #模糊查询 hive (db_hive)>…

一.hive 交互式命令参数 #帮助 [root@hadoop-senior hive-0.13.1]# bin/hive -h Missing argument for option: h usage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B or --define A=B --database <databasename> Specify t…

下面我们结合 HDFS,介绍 Sqoop 从关系型数据库的导入和导出 一.MySQL里的数据通过Sqoop import HDFS 它的功能是将数据从关系型数据库导入 HDFS 中,其流程图如下所示. 我们来分析一下 Sqoop 数据导入流程,首先用户输入一个 Sqoop import 命令,Sqoop 会从关系型数据库中获取元数据信息, 比如要操作数据库表的 schema是什么样子,这个表有哪些字段,这些字段都是什么数据类型等. 它获取这些信息之后,会将输入命令转化为基于 Map 的 MapR…

工作中常常使用hive.熟练使用hvie的配置參数能够更加高效的使用Hive Hive option: hive -f   script.hql : 从文件script.hql中的读取hql运行 hive -e 'select * from xxx': 启动hive时指定运行的hql.此种方式hql会先经过shell解释.然后再用hive运行,因此须要注意hql中被shell转义的字符 hive -S :安静模式运行hql,这样标准输出中仅仅有hql运行的结果,没有进度等信息,便于对结果进行过滤…

* Hive框架基础(一) 一句话:学习Hive有毛用? 那么解释一下 毛用: * 操作接口采用类SQL语法,提供快速开发的能力(不会Java也可以玩运算) * 避免了去写MapReduce,减少开发人员的学习成本(MapReduce运算写断手) * 扩展功能很方便 * 数据库不等同于数据仓库 数据库有很多,例如:mysql.oracle.DB2.sqlserver,但hive并不是数据库. Hive是FaceBook的开源项目,Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文…

Hive的基本操作 1.启动Hive bin/hive 2.查看数据库 hive>show databases; 3. 打开默认数据库 hive>use default; 4.显示default数据库中的所有表 hive>show tables; 5.创建一张表 hive> create table student(id int, name string) ; 6.显示数据库中的所有表 hive>show tables; 7.查看表结构 hive>desc studen…

hive命令 在Linux下的命令行中直接输入如下命令,可以查看帮助信息: # hive -help 常用的如-e.-f参数. 使用-e参数,可以直接在命令行传递SQL语句进行hive表数据的查询: # hive -e "select * from testhive.testtable" 使用-f参数,可以在命令行中传递文件进行进行hive表数据的查询,首先使用如下命令创建一个名为test.hql的文件: # vim test.hql 在该文件中写入SQL语句: select * fr…

Hive安装配置及基本操作 1. Hive安装及配置 (1). 上传文件到Hadoop102节点,解压到/opt/moudle (2). 修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh [simon@hadoop102 conf]$ cp hive-env.sh.template hive-env.sh (3). 配置hive-env.sh文件 ​ (a). 配置HADOOP_HOME路径 : export HADOOP…