本文由  网易云发布. 作者:唐雕龙 本篇文章仅限内部分享,如需转载,请联系网易获取授权. 面向新手的hadoop+hive学习环境搭建,加对我走过的坑总结,避免大家踩坑. 对于hive相关docker,并没有官方的docker,第三方维护经过测试各种不靠谱,所以才想到自己搭建一套,然后后期在整理成docker上传~~~ 基础环境: 1. 公司云主机debain8.8 (不像docker,所以对系统内核无要求) 1. 前置安装: 1.1 jdk8(hive要求jdk7以上,千万不要jdk9!!!…

linux系统卸载MYSQL 1,先通过yum方式卸载mysql及相关组件 命令:yum remove mysql* 2.通过命令:rpm -qa|grep -i mysql 查找系统的有关于mysql的文件 3.然后通过命令:sudo rpm -e --nodeps 包名删除mysql有关软件 4.卸载后/etc/my.cnf不会删除,需要进行手工删除通过命令:rm -rf /etc/my.cnf 需要删除配置文件/etc/my.cnf和数据库文件/var/lib/mysql 删除命令 rm-…

sbt依赖 name := "Pi" version := "1.0" scalaVersion := "2.10.6" libraryDependencies++= Seq( "org.apache.spark" %% "spark-core" % "1.5.2", "org.apache.spark" % "spark-hive_2.10" %…

hive> use gamedw;OKTime taken: 0.049 secondshive> select current_database();OKgamedwTime taken: 0.485 seconds, Fetched: 1 row(s) scala> hivecon.sql("select * from gamedw.customers where city='shenzhen'").show+--------+---+---+----+|cust…

一.Hive测试 1.查看数据库 show databases; 2.使用某个数据库,如默认数据库 user default; 3.创建表 create table if not exist itstar(id int,name string); 4.插入数据 insert into table itstar values(1,"wyh"); 5.查询 select * from itstar; 6.删除表 drop table itstar; 7.删除数据库 create datab…

 前提条件:已经安装好如下软件 Eclipse4.5 hadoop-2.7.3 jdk1.7.0_79 此篇文章基于上一篇文章:zookeeper高可用集群搭建 什么是Hive? 1.Hive是一个基于Hadoop文件系统之上的数据仓库结构.它为数据仓库的管理提供了许多功能:数据ETL(抽取.转换和加载)工具.数据存储管理和大型数据集的查询和分析能力. 2.同时Hive定义了类SQL的语句:它能够将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能.还允许开发人员方便的使用Mappe…

一.hive是什么东东 1. 个人理解 hive就是一个基于hdfs运行于MapReduce上的一个java项目, 这个项目封装了jdbc,根据hdfs编写了处理数据库的DDL/DML,自带的 二进制包内嵌Derby数据库,且默认使用Derby,简而言之,hive就是一个 帮助我们处理/分析数据的工具,不过这个工具却像namenode一样存储了 一份文件的元数据,这就有点像数据仓库的感觉 2. 架构 分为服务端.客户端,基于hadoop,运行在mapreduce,存储于hfds, 可与hbase…

转载请注明出处:http://www.cnblogs.com/xiaodf/ 本文旨在展示CDH基于Kerberos身份认证和基于Sentry的权限控制功能的测试示例. 1. 准备测试数据 cat /tmp/events.csv 10.1.2.3,US,android,createNote 10.200.88.99,FR,windows,updateNote 10.1.2.3,US,android,updateNote 10.200.88.77,FR,ios,createNote 10.1.4.…

配置 hive 与 hbase 整合的目的是利用 HQL 语法实现对 hbase 数据库的增删改查操作,基本原理就是利用两者本身对外的API接口互相进行通信,两者通信主要是依靠hive_hbase-handler.jar工具类. 但请注意:使用Hive操作HBase中的表,只是提供了便捷性,前面章节已经介绍,hiveQL引擎使用的是MapReduce,对于性能上,表现比较糟糕,在实际应用过程中可针对不同的场景酌情使用. 注意:本文介绍的内容适用的版本见我前面章节,HDP2.4.2 ( HBase…

安装环境: 机器 只需要安装一台机器      操作系统:Ubuntu 11.04 64操作系统      hadoop:版本是1.0.2,安装在/usr/local/hadoop      sun jdk:版本是1.6.0_31 64bit,安装在/usr/local/jdk      hive:版本是0.8.1,安装在/usr/local/hive 安装步骤: 1.下载 下载hive:http://labs.mop.com/apache-mirror/hive/hive-0.8.1/hive…