Hive介绍、安装（转）

从零自学Hadoop(14)：Hive介绍及安装

阅读目录序介绍安装系列索引本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序本系列已经有一个多月没更新了,期间涉及到找相关对应的工作,所幸的事,得到了几个offer,后来综合考虑来到了目前这家工作.希望在接下来的时间里,能融入整个社区中去,做出自己略微的贡献. 上一篇,我们列举了hadoop常用的命令,本应该给大家实战下命令的使用的,后来还是想大家自己下去试验试验,接下来开始初略介…

Hive介绍、安装（转）

1.Hive介绍 1.1 Hive介绍 Hive是一个基于Hadoop的开源数据仓库工具,用于存储和处理海量结构化数据.它是Facebook 2008年8月开源的一个数据仓库框架,提供了类似于SQL语法的HQL语句作为数据访问接口,Hive有如下优缺点: l 优点: 1.Hive 使用类SQL 查询语法, 最大限度的实现了和SQL标准的兼容,大大降低了传统数据分析人员学习的曲线: 2.使用JDBC 接口/ODBC接口,开发人员更易开发应用: 3.以MR 作为计算引擎.HDFS 作为存储系统,为…

Hive介绍及安装

Hive介绍及安装介绍: Hive是基于Hadoop的数据仓库解决方案.由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性,因此使用Hive构建的数据仓库也秉承了这些特性. 简单来说,Hive就是在Hadoop上架了一层SQL接口,可以将SQL翻译成MapReduce去Hadoop上执行,这样就使得数据开发和分析人员很方便的使用SQL来完成海量数据的统计和分析,而不必使用编程语言开发MapReduce那么麻烦. Hive就是我们所说的使用传统的sql来分析海量数据的工具.可以把…

1.hive介绍及安装配置

1.Hive介绍数据库OLTP 在线事务处理数据仓库OLAP 在线分析处理延迟高类sql方式(HQL) 使用sql方式,用来读写,管理位于分布式存储系统上的大型数据集的数据仓库技术 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行.其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分…

Hive介绍和安装部署

搭建环境部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放 Hadoop等组件运行包.因为该目录用于安装hadoop等组件程序,用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创建/app目录,并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanlou /app). Hadoop搭建环境: 虚拟机操作系统: CentOS6.6 64位,…

hive介绍、安装配置、表操作基础知识适合小白学习

1.hive概述 Apache Hive数据仓库软件有助于使用SQL读取,编写和管理驻留在分布式存储中的大型数据集.可以将结构投影到已存储的数据中.提供了命令行工具和JDBC驱动以将用户连接到Hive. 2.hive优缺点优点: (1)操作接口采用了sql,简化开发,减少学习成本. (2)避免手写mapreduce程序 (3)hive执行延迟较高,使用场景大多用在实时性要求不强的情景 (4)优点在于处理大数据 (5)支持自定义函数缺点: (1)hive的sql表达能力有限(HSQL) (2)…

Spark入门实战系列--5.Hive（上）--Hive介绍及部署

[注]该系列文章以及使用到安装包/测试数据可以在<倾情大奉送--Spark入门实战系列>获取 .Hive介绍 1.1 Hive介绍月开源的一个数据仓库框架,提供了类似于SQL语法的HQL语句作为数据访问接口,Hive有如下优缺点: l 优点: 1.Hive 使用类SQL 查询语法, 最大限度的实现了和SQL标准的兼容,大大降低了传统数据分析人员学习的曲线: 2.使用JDBC 接口/ODBC接口,开发人员更易开发应用: 3.以MR 作为计算引擎.HDFS 作为存储系统,为超大数据集设计的计…

hive权威安装出现的不解错误！（完美解决）两种方法都可以

以下两种方法都可以,推荐用方法一! 方法一: 步骤一: yum -y install mysql-server 步骤二:service mysqld start 步骤三:mysql -u root -p Enter password: (默认是空密码,按enter) mysql > CREATE USER 'hive'@'%' IDENTIFIED BY 'hive'; mysql > GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' WITH GRANT O…

Hive介绍和Hive环境搭建

一.Hive介绍 Hive包含用户接口.元数据库.解析器和数据仓库等组件组成,其中用户接口包含shell客户端.JDBC.ODBC.Web接口等.元数据库主要是指定义在hive中的表结构信息,一般保存到关系型数据库中,默认是derby,一般使用mysql进行保存.解析器主要功能是将HQL语句转换为mapreduce代码.数据仓库就是由hdfs组成的数据存储容器.(1)Hive组成 Hive包含用户接口.元数据库.解析器和数据仓库等组件组成,其中用户接口包含shell客户端.JDBC.ODBC.W…

Hive的安装及配置

title: Hive的安装及配置 summary: 关键词:Hive ubuntu 安装和配置 Derby MySQL PostgreSQL 数据库连接 date: 2019-5-19 13:25 urlname: 2019051903 author: foochane img: /medias/featureimages/19.jpg categories: 大数据 tags: hive 大数据本文作者:foochane 本文链接:https://foochane.cn/article/…

Hive的安装

Hive的安装第一步:解压并安装:第二步:配置 1)root用户下,解压后,改名为hive,并将hive文件夹赋给hadoop用户 tar -zxvf hive-0.9.0.tar.gz -C /opt mv hive-0.9.0.tar.gz hive chown -R hadoop:hadoop hive 第二步:配置在hadoop用户下 1)配置vi hive-env.sh: hive/conf文件夹下提供了一个模板文件hive-env.sh.template,复制一份并改名为…

Hive的安装配置

Hive的安装配置 Hive的安装配置安装前准备下载Hive版本1.2.1: 1.[root@iZ28gvqe4biZ ~]# wget http://mirror.bit.edu.cn/apache/hive/stable/apache-hive-1.2.1-bin.tar.gz 解压hive: 1.[root@iZ28gvqe4biZ ~]# tar -xvzf apache-hive-1.2.1-bin.tar.gz 复制hive文件到/u01/bigdata/data/hive: 1…

hive的安装和升级

目录 [toc] 安装升级安装 nohup hive –service hiveserver & 启动: sudo nohup ./hive --service metastore &-----------Startup Hive Embedded(如果metastore配置成 remote方式那就应该把metastore也启动) 测试standalone,必须用remote mysql那种设置 1,hive 命令行模式. 直接输入/hive/bin/hive的执行程序或者输入 h…

webpack 介绍 & 安装 & 常用命令

webpack 介绍 & 安装 & 常用命令 webpack系列目录 webpack 系列一:模块系统的演进 webpack 系列二:webpack 介绍&安装 webpack 系列三:webpack 如何集成第三方js库 webpack 系列四:webpack 多页面支持 & 公共组件单独打包 webpack 系列五:webpack Loaders 模块加载器 webpack 系列六:前端项目模板-webpack+gulp实现自动构建部署本系列并非全部原创,…

[Redis_1] Redis 介绍 && 安装

0. 说明 Redis 介绍 && 安装 1. Redis 介绍 2. Redis 安装(Windows 10) [2.1 解压 redis-2.2.2-win32-win64.rar] 略 [2.2 配置环境变量 path] # 在环境变量 path 中添加如下两条 D:\redis--win32-win64 D:\redis--win32-win64\64bit [2.3 启动 redis 服务器] cmd>redis-server.exe [2.4 启动redis客户端] cm…

Hive的安装和使用

1.Hive1.1 在hadoop生态圈中属于数据仓库的角色.他能够管理hadoop中的数据,同时可以查询hadoop中的数据. 本质上讲,hive是一个SQL解析引擎.Hive可以把SQL查询转换为MapReduce中的job来运行. hive有一套映射工具,可以把SQL转换为MapReduce中的job,可以把SQL中的表.字段转换为HDFS中的文件(夹)以及文件中的列. 这套映射工具称之为metastore,一般存放在derby.mysql中.1.2 hive在hdfs中的…

Ubuntu16.04下Hive的安装与配置

一.系统环境 os : Ubuntu 16.04 LTS 64bit jdk : 1.8.0_161 hadoop : 2.6.4mysql : 5.7.21 hive : 2.1.0 在配置hive之前,要先配置hadoop. 二.安装步骤 1.hive的安装与配置 1.1 hive的安装下载hive2.1.0,使用以下命令安装到/usr/local 最后一条 sudo chown -R hadoop hive 中的hadoop是我的用户名,要更改成自己的用户名. 1.2 配置环境变量添加…

Hive的安装与部署（MySQL作为元数据库）

Hive的安装与部署(MySQL作为元数据) (开始之前确保Hadoop环境已经启动,确保Linux下的MySQL已经安装好) 1. 安装Hive (1)下载安装包可从apache上下载hive安装包:http://mirror.bit.edu.cn/apache/hive/ (2)压缩包解压: (2)移动至指定目录:(这里是移动至/usr/local/下) 2. 为Hive建立相应的MySQL账户,并赋予足够的权限: (1)登录mysql: (2)建立hive用户: (3)赋…

Rancher介绍安装以及对docker的管理

原文:Rancher介绍安装以及对docker的管理一.简介 Rancher是一个开源的企业级全栈化容器部署及管理平台.Rancher为容器提供一揽子基础架构服务:CNI兼容的网络服务.存储服务.主机管理.负载均衡.防护墙--Rancher让上述服务跨越公有云.私有云.虚拟机.物理机环境运行,真正实现一键式应用部署和管理. Rancher支持将资源分组归属到多个环境.每个环境具有自己独立的基础架构资源及服务,并由一个或多个用户.团队或组织所管理.例如,您可以创建独立的"开发".&qu…

Hive的架构原理&Hive的安装步骤

Hive架构图元数据默认数据库是:Derby.开发使用MySQL Hive如何将SQL语句翻译成MapReduce的? 1.使用SQL解析器解析SQL语句 2.使用编译器进行编译逻辑 3.使用优化器进行优化 4.使用执行器在Hadoop上执行MapReduce Hive是基于Hadoop之上的框架. Hive的安装步骤 1.安装Hive之前,确保Hadoop是正常安装成功的 2.解压Hive安装包 3.修改hive/conf 目录下的 hive-env.sh.template 名称为 hive…

MongoDB的介绍安装与基本使用

MongoDB的介绍安装关于MongoDB的介绍于安装可参考:https://www.cnblogs.com/DragonFire/p/9135630.html 除了官网下载,可以下载他人下载好分享的安装包:链接:https://pan.baidu.com/s/139_BqPbh0IPcDMPmkWnS8w 密码:fybs MongoDB的基本使用 1.配置环境变量(db默认安装在c盘的Program Files文件夹中) 2.开启db两种方法 : 一.在c盘创建data文件夹,再在其中创建d…

hive介绍及架构设计

hive介绍及架构设计作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 我们知道MapReduce和Spark它们提供了高度抽象的编程接口便于用户编写分布式程序,它们具有极好的扩展性和容错性,能够处理超大规模的数据集.这些计算引擎提供了面向高级语言(比如Java,Python等)的编程接口,然而,考虑到分布式程序编写的复杂性,直接使用这些编程接口实现应用系统(比如报表系统)无疑会提高使用门槛,降低开发效率.考虑到SQL仍然是一种非常主流的数据分析语言,开源社区在分布式计算框架基…

Hive的安装搭建（三）

03 Hive的安装搭建 Hive可以从源码中编译安装,也可以直接使用官网下载的安装包,在此处我们选择安装包解压安装的方式. Hive中最最重要的角色就是metastore 因此按照metastore的管理共有四种hive的安装搭建方式:官网参考地址如下: https://cwiki.apache.org/confluence/display/Hive/AdminManual+Metastore+Administration Hive安装分类: 1.Local/Embedded Metast…

Hive的安装与基础指令

一.Hive安装 Hive的安装相对比较简单,Hive是基于Hadoop来使用的,所以搭建Hadoop伪分布式或完全分布式即可,Hive安装过程如下: ①安装并启动Hadoop 在博主的其他博客中有安装说明:Hadoop之伪分布式安装 ②获取Hive安装包,并解压下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/ 解压:tar -xvf hive.xxxxx ③启动Hive 进入bin目录:sh hive 二.Hive的基础指令…

【Hadoop离线基础总结】Hive的安装部署以及使用方式

Hive的安装部署以及使用方式安装部署 Derby版hive直接使用 cd /export/softwares 将上传的hive软件包解压:tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/ cd /export/servers/hive-1.1.0-cdh5.14.0/ 启动:bin/hive 缺点:多个地方安装hive后,每一个hive是拥有一套自己的元数据,大家的库.表就不统一: 使用mysql共享hive元数据 1.国内下载mysq…

大数据学习day26----hive01----1hive的简介 2 hive的安装（hive的两种连接方式，后台启动，标准输出，错误输出）3. 数据库的基本操作 4. 建表（内部表和外部表的创建以及应用场景，数据导入，学生、分数sql练习）5.分区表 6加载数据的方式

1. hive的简介(具体见文档) Hive是分析处理结构化数据的工具本质:将hive sql转化成MapReduce程序或者spark程序 Hive处理的数据一般存储在HDFS上,其分析数据底层的实现是MapReduce/spark,执行程序运行在Yarn上其大致可以按如下图理解(具体可见HIVE文档) sql语句是对某个表进行操作,所以hive一定要创建一个表格,这个表格必须要映射到hdfs中某个具体的文件才行,而映射关系.表的结构数据以及hdfs中数据的存储结构都会在创建表时规定,…

大数据--Hive的安装以及三种交互方式

1.3 Hive的安装(前提是:mysql和hadoop必须已经成功启动了) 在之前博客中我有记录安装JDK和Hadoop和Mysql的过程,如果还没有安装,请先进行安装配置好,对应的随笔我也提供了百度云下载连接. 安装JDK: https://www.cnblogs.com/wyh-study/p/12014368.html 安装Hadoop https://www.cnblogs.com/wyh-study/p/12043948.html 安装Mysql https://www.cnblog…