Hive是什么? Hive是基于Hadoop之上的数据仓库: Hive是一种可以存储.查询.分析存储在hadoop中的大规模数据 Hive定义了简单的类SQL查询语言,成为HQL,它允许熟悉SQL的用户查询数据 允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作 Hive没有专门的数据格式 Hive:数据仓库. Hive:解释器,编译器,优化器等. Hive运行时,元数据存储在关系型数据库里面. 1. 为什么…

第一部分:软件准备与环境规划 Hadoop环境介绍 •Hadoop安装路径 •/home/test/Desktop/hadoop-1.0.0/ •Hadoop 元数据存放目录 •/home/test/data/core/namenode •Hadoop 数据存放路径 •/home/test/data/core/datanode Hive环境规划 •Hive安装路径 •/home/test/Desktop/ •Hive数据存放路径 •hdfs •/user/hive/warehouse •Hive…

HIVE配置mysql metastore    hive中除了保存真正的数据以外还要额外保存用来描述库.表.数据的数据,称为hive的元数据.这些元数据又存放在何处呢?    如果不修改配置hive默认使用内置的derby数据库存储元数据.    derby是apache开发的基于java的文件型数据库.    可以检查之前执行命令的目录,会发现其中产生了一个metastore.db的文件,这就是derby产生的用来保存元数据的数据库文件. derby数据库仅仅用来进行测试,真正使用时会有很多…

一.Hive数据仓库位置配置 1. # Hive数据仓库位置配置: 默认位置(hive根目录): /user/hive/warehouse 注意事项: *在仓库目录下,没有对默认的数据库default创建文件夹 *如果某张表属于default数据库,直接在数据仓库目录下创建一个文件夹,而且default数据库的目录不显示: 2.在hive命令行执行hdfs命令: #删除一个文件 hive (default)> dfs -rm -R /user/hive/warehouse/bf_log; #删除…

本文主要介绍如何为 spark sql 的 metastore 配置成 mysql . spark 的版本 2.4.0 版本 hive script 版本为 hive 1.2.2 mysql 为 5.7.18 mysql 的安装部署就不在这里介绍了. 首先为 mysql 的root 用户设置密码 mysql -uroot > set password= password('mysql'); 设置mysql 允许其他机器登录 > GRANT ALL PRIVILEGES ON *.* TO 'r…

概述 前文记录了在Windows系统中安装配置MySQL 5.7(前文连接:https://www.cnblogs.com/Dcl-Snow/p/10513925.html),由于安装部署大数据环境需要,现在要在CentOS 7系统中安装配置MySQL 5.7,CentOS 7环境安装配置也已经记录过(前文连接:https://www.cnblogs.com/Dcl-Snow/p/10811659.html),所以此处直接进行安装配置. yum源安装MySQL 5.7 安装MySQL 5.7 在…

一.前提条件 安装了Zookeeper.Hadoop HDFS HA  安装方法: http://www.cnblogs.com/raphael5200/p/5154325.html 二.安装Mysql 因为使用量多的是单用户数据库模式,并且数据库使用最多的是mysql 所以在这里选择mysql数据库: $ yum install mysql-server $ service mysqld start#连接mysql $ mysql -uroot -p  #首次密码是空的(直接敲空格) use…

一.Hive的简单使用 基本的命令和MySQL的命令差不多 首先在 /opt/datas 下创建数据  students.txt 1001 zhangsan 1002 lisi 1003 wangwu 显示有多少数据库: show databases; 使用某个数据库: use 数据库名称; 显示当前数据库下的表: show tables; 创建数据表 : create table student (id int,name string) ROW FORMAT DELIMITED FIELDS…

hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析. 一.hive安装 1.官网下载地址:http://hive.apache.org/downloads.html 下载后解压到指定目录,例如 /usr/local/hive # tar…

三种模式 内嵌模式:元数据保持在内嵌的derby模式,只允许一个会话连接 本地独立模式:在本地安装Mysql,吧元数据放到mySql内 远程模式:元数据放置在远程的Mysql数据库 1.下载Hive安装包 http://hive.apache.org/downloads.html 2.将hive文件上传到HADOOP集群机器上,并解压 将文件上传到:/opt/ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/ cd /opt ln -s apache…