[注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 1.Hive操作演示 1.1 内部表 1.1.1 创建表并加载数据 第一步   启动HDFS.YARN和Hive,启动完毕后创建Hive数据库 hive>create database hive; hive>show databases; hive>use hive; 第二步   创建内部表 由于Hive使用了类似SQL的语法,所以创建内部表的语句相对SQL只增加了行和字段分隔符.…

前提 在系统中已经安装好了jdk.tomcat.apache #本人博客中jdk安装连接 http://www.cnblogs.com/xhkj/p/6545111.html #本人博客中tomcat安装连接 http://www.cnblogs.com/xhkj/p/6545241.html #本人博客中apache安装连接 http://www.cnblogs.com/xhkj/p/6568379.html 1.下载mod_jk-1.2.31-httpd-2.2.x.so http://bl…

安装: 复制代码 yum install -y openssl #使用openssl可手动创建证书 yum install -y httpd yum install -y mod_ssl 防火墙打开80.443端口,然后重启 firewall-cmd --zone=public --add-port=80/tcp --permanent firewall-cmd --zone=public --add-port=443/tcp --permanent firewall-cmd --reload…

apache yum install httpd mod_ssl -y vim /etc/httpd/conf.d/ssl.conf Listen https <VirtualHost *:> ServerName example.com SSLEngine on SSLCertificateFile /cert/server.crt SSLCertificateKeyFile /cert/server.key ProxyRequests On ProxyVia On <Proxy *&…

http重启httpd发生错误,后面按照提示执行systemctl status httpd.service命令 按照提示,继续执行journalctl -xe 这里显示了详细的错误信息,并且给出了解决方案,按照上图最后红框里面的方案执行 然后在重启httpd,成功了 !!!一定要看错误提示!!!…

  前2天,在Nvidia单显卡上成功安装上了NVIdia的驱动,一时兴起,拿出另外的一个HP笔记本也准备装上驱动,悲催的是HP的显卡是AMD的,更加.更加悲催的是还是Intel+AMD的双显卡.网络说大都是Ubuntu下如何安装双显卡,没有centos/redhat下如何安装的.最后,终于在下面的网站耙出了解决方法: https://www.centos.org/forums/viewtopic.php?f=48&t=47494 解决的关键在于不能用gnome,要用KDE桌面.…

1.appserv 直接下载安装, 2.linux环境下下载安装LAMP…

1.查看当前 PHP 版本 php -v 查看当前 PHP 相关的安装包,删除之 yum list installed | grep php yum remove php yum remove php-* 2.更换 RPM 源 #Centos 5.X:rpm -Uvh http://mirror.webtatic.com/yum/el5/latest.rpm #CentOs 6.x:rpm -Uvh http://mirror.webtatic.com/yum/el6/latest.rpm #C…

  5.29.1. Maven <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-jdbc</artifactId> </dependency> <dependency> <groupId>org.springframework.data</groupId> <art…

1.cdh添加组件-sentry-选择主机-配置数据库 2.配置数据库 1)mysql -uroot -p 2) create database sentry DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 3) grant all privileges on sentry.* to root@'%' identified by '123' with grant option; 4)flush privileges; 5)exit; 选择mysql数据…

centos7下Maven Java selenium3环境搭建 一.Jdk安装 我这里用的是open-jdk. [adawang@localhost src]$ sudo yum search openjdk ... java--openjdk-devel.i686 : OpenJDK Development Environment java--openjdk-devel.x86_64 : OpenJDK Development Environment java--openjdk-devel-…

前言:安装hive还是遇见些问题,但还好都解决了,比当初安装配置hadoop-3.2.0容易点...... 正文: 1.下载并安装hive:tar -zxvf apache-hive-3.1.2-bin.tar.gz 2.查看hive安装情况:[root@hadoop01 hadoop]# cd apache-hive-3.1.2-bin[root@hadoop01 apache-hive-3.1.2-bin]# ls -ltotal 56drwxr-xr-x. 3 root root   15…

Hive版本 0.12.0(独立模式) Hadoop版本 1.12.1 Ubuntu 版本 12.10 今天试着搭建了hive,差点迷失在了网上各种资料中,现在把我的经验分享给大家,亲手实践过,但未必每一步都是必须的,正确的,大家可以参考一下. 第一步:安装和测试mysql(已装好的可跳过) 见我总结的http://blog.csdn.net/unflynaomi/article/details/37811229 第二步.开始正式安装hive 1.在hdfs上建目录: $ hadoop fs -…

Hive进阶(下) Hive进阶(下) Hive的表连接 等值连接 查询员工信息:员工号.姓名.月薪.部门名称 1.select e.empno,e.ename,e.sal,d.dname2.from emp e,dept d3.where e.deptno=d.deptno; 不等值连接 查询员工信息:员工号.姓名.月薪.工资级别 1.select e.empno,e.ename,e.sal,s.grade2.from emp e,salgrade s3.where e.sal between…

一.Hive的基本理论 Hive是在HDFS之上的架构,Hive中含有其自身的组件,解释器.编译器.执行器.优化器.解释器用于对脚本进行解释,编译器是对高级语言代码进行编译,执行器是对java代码的执行,优化器是在执行过程中进行优化.这里的代码就是Hadoop中的MapReduce,这里的MapReduce通过Hive往HDFS上执行.分析.查询数据. 上图展示hql的执行过程,一个hql脚本首先到hive的解释器,转化为MapReduce(当然例如“select * from table_na…

目录 下载解压hive mysql驱动 配置文件 hive-env.sh hive-site.xml 首次启动hive 使用schemaTool初始化mysql数据库 错误总结 警告汇总 参考:https://blog.csdn.net/sjhuangx/article/details/82217306 版本:hive-3.1.1 下载解压hive 镜像地址:http://mirror.hust.edu.cn/apache/hive/hive-3.1.1/ # 下载 wget http://mi…

GettingStarted 开始 Created by Confluence Administrator, last modified by Lefty Leverenz on Jun 15, 2017 本文档由Confluence管理员创建,2017年6月15日由Lefty Leverenz最后做的修改. Table of Contents 表格内容包含 Installation and Configuration    安装和配置 Running HiveServer2 and Beeli…

转自:https://www.cnblogs.com/qingyunzong/p/8723271.html 库操作 1.创建库 语法结构 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] //关于数据块的描述 [LOCATION hdfs_path] //指定数据库在HDFS上的存储位置 [WITH DBPROPERTIES (property_name=property_value…

转自:https://www.cnblogs.com/qingyunzong/p/8715925.html 一.CLI连接 进入到 bin 目录下,直接输入命令: [hadoop@hadoop3 ~]$ hive SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/hadoop/apps/apache-hive-2.3.3-bin/lib/log4j-slf4j-i…

转自:https://www.cnblogs.com/qingyunzong/p/8708057.html Hive的下载 下载地址http://mirrors.hust.edu.cn/apache/ 选择合适的Hive版本进行下载,进到stable-2文件夹可以看到稳定的2.x的版本是2.3.3   Hive的安装 1.使用MySQL做为Hive的元数据库,所以先安装MySQL. MySql安装过程http://www.cnblogs.com/qingyunzong/p/8294876.htm…

简介 Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件 映射为一张数据库表,并提供类 SQL 查询功能. 本质是将 SQL 转换为 MapReduce 程序. 主要用途:用来做离线数据分析,比直接用 MapReduce 开发效率更高.Hive 利用 HDFS 存储数据,利用 MapReduce 查询分析数据. 数据库和数据仓库的区别在于: 数据库是面向事务的设计,数据仓库是面向主题设计的. 数据库一般存储业务数据,数据仓库存储的一般是历史数据. 数据库设计是尽量避免冗余…

Apache Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供一种HQL语言进行查询,具有扩展性好.延展性好.高容错等特点,多应用于离线数仓建设. 1. Hive架构 存储:Hive底层存储依赖于hdfs,因此也支持hdfs所支持的数据存储格式,如text.json.parquet等.当我们将一个文件映射为Hive中一张表时,只需在建表的时告诉Hive,数据中的列名.列分隔符.行分隔符等,Hive就可以自动解析数据. 支持多种压缩格式:bzip2.g…

0.常规配置操作可参照以下网址: 0.1 Ubuntu安装hive,并配置mysql作为元数据库http://dblab.xmu.edu.cn/blog/install-hive/ ------以下为学习笔记及错误记录,与常规操作略有差异,供参考------- 1.官网下载apache-hive-2.3.7-bin.tar.gz:https://mirror.bit.edu.cn/apache/hive/ 2.移动到Ubuntu里的"下载"文件夹 3.解压到指定路径/usr/local…

继上一篇文章介绍如何使用Pig处理HDFS上的数据,本文将介绍使用Apache Hive进行数据查询和处理. Apache Hive简介 首先Hive是一款数据仓库软件 使用HiveQL来结构化和查询存放的数据 执行环境:MapReduce, Tez, Spark 数据存放:HDFS, HBase 使用场景:数据挖掘和分析,机器学习,即席查询等 Hive使用示例 还是使用passwd作为操作文件 beeline> !quit [cloudera@quickstart ~]$ hdfs dfs -…

直接从0.14升级到1.0.0,主要变化有: 去掉hiveserver 1 定义公共的API,比如HiveMetaStoreClient 当然,也需要使用新的beeline cli客户端. 不过最值得期待的还是下一个hive版本 1.1.0,将会允许hive在spark上执行.…

简介: Apache hive 存储方式跟压缩格式! 1.Text File hive> create external table tab_textfile ( host string comment 'client ip address', local_time string comment 'client access time', api string comment 'request api', request_type string comment 'request method,…

在kylin-gui中sync表default.customer_visit时报错: -- ::, ERROR [http-bio--exec-] controller.BasicController: : java.lang.RuntimeException: cannot get HiveTableMeta at org.apache.kylin.source.hive.HiveSourceTableLoader.extractHiveTables(HiveSourceTableLoader…

简介: Apache hive 是基于 Hadoop 的一个开源的数据仓库工具,可以将结构化的数据文件映射为一张数据库表, 并提供简单的sql查询功能,将 SQL 语句转换为 MapReduce 任务执行. Apache hive 数据库仓库工具管理着两类数据:MetaData ( 这里我们存储在远程 MySQL DataBase 中 ).Data 存储在 HDFS 之上! 一.MySQL # http://www.cnblogs.com/wangxiaoqiangs/p/5336048.htm…

转自:https://www.cnblogs.com/qingyunzong/p/8715250.html 一.安装DbVisualizer 下载地址http://www.dbvis.com/ 也可以从网上下载破解版程序,此处使用的版本是DbVisualizer 9.1.1 具体的安装步骤可以百度,或是修改安装目录之后默认安装就可以   二.配置DbVisualizer里的hive jdbc 1.在DbVisualizer的安装目录jdbc文件夹下新建hive文件夹 D:\Program Fil…

转自:https://www.cnblogs.com/qingyunzong/p/8707885.html Hive 简介 什么是Hive 1.Hive 由 Facebook 实现并开源 2.是基于 Hadoop 的一个数据仓库工具 3.可以将结构化的数据映射为一张数据库表 4.并提供 HQL(Hive SQL)查询功能 5.底层数据是存储在 HDFS 上 6.Hive的本质是将 SQL 语句转换为 MapReduce 任务运行 7.使不熟悉 MapReduce 的用户很方便地利用 HQL 处理…