1.KDC创建principal 1.1.创建认证用户 登陆到kdc服务器,使用root或者可以使用root权限的普通用户操作: # kadmin.local -q “addprinc -randkey hbase/yjt” # kadmin.local -q “addprinc -randkey zookeeper/yjt” # kadmin.local -q “addprinc -randkey zkcli/yjt” 其中hbase集群有几台,上面的第一台命令就需要执行几次,每次执行的时候请…

http://blog.csdn.net/vah101/article/details/22597341 这篇文章最初是基于介绍HIVE-705.这个功能允许Hive QL命令访问HBase表,进行读(select).写(insert)操作.它甚至可以基于join.union操作对hbase表和hive原生的表进行混合访问. 这个功能还在不断的完善中,欢迎提出建议. 存储handler 在开始介绍之前,首先请阅读StorageHandlers,对存储处理程序的框架有个初步的认识,可以帮助读者理解…

一.Hbase集成hive https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration 1.说明 Hive与HBase整合在一起,使Hive可以读取HBase中的数据,让Hadoop生态系统中最为常用的两大框架互相结合,使用Hive读取Hbase中的数据. 我们可以使用HQL语句在HBase表上进行查询.插入操作:甚至是进行Join和Union等复杂查询. 整合后的目标: (1). 在hive中创建的表能直接创建保存到hba…

(一)Hive 概述 (二)Hive在Hadoop生态圈中的位置 (三)Hive 架构设计 (四)Hive 的优点及应用场景 (五)Hive 的下载和安装部署 1.Hive 下载 Apache版本的Hive. Cloudera版本的Hive. 这里选择下载Apache稳定版本apache-hive-0.13.1-bin.tar.gz,并上传至bigdata-pro03.kfk.com节点的/opt/softwares/目录下. 2.解压安装hive tar -zxf apache-hive-0.…

(一)Hive 概述 (二)Hive在Hadoop生态圈中的位置 (三)Hive 架构设计 (四)Hive 的优点及应用场景 (五)Hive 的下载和安装部署 1.Hive 下载 Apache版本的Hive. Cloudera版本的Hive. 这里选择下载Apache稳定版本apache-hive-0.13.1-bin.tar.gz,并上传至bigdata-pro03.kfk.com节点的/opt/softwares/目录下. 2.解压安装hive tar -zxf apache-hive-0.…

声明:作者原创,转载注明出处. 作者:帅气陈吃苹果 一.服务器环境 主机名 IP 用户名 密码 安装目录 master188 192.168.29.188 hadoop hadoop /home/hadoop/ master189 192.168.29.189 hadoop hadoop /home/hadoop/ slave190 192.168.29.190 hadoop hadoop /home/hadoop/ 二.集群规划 master188 master189 slave190 Nam…

Ambari集成Kerberos报错汇总 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.查看报错的配置信息步骤 1>.点击Test Kerberos Client,查看相应日志信息 2>.查看具体是哪台机器出现问题 3>.查看node101.yinzhengjie.org.cn的报错日志 4>.查看对应的报错信息 二.Error occured during stack advisor command invocation: Cannot create /v…

----------------------目录导航见左上角------------------------------- 环境 HDP 3.0.1.0 (已有) JDK   1.8.0_91 (已有) Mysql  5.7.25 (已有) Kerberos       1.10.3-30 (后续文档中有介绍如何安装) LDAP       knox自带的通用LDAP (已有) Ranger    1.1.0 (已有) 目的 集成HDP kerberos /LDAP/ranger之前必须先了解为…

软件版本号: JDK:jdk-8u45-linux-i586.tar.gz Zookeeper:zookeeper-3.4.6 Hbase:hbase-1.0.0-bin 一.JDK版本更换 由于之前安装的jdk-6u45-linux-i586版本较低,与Hbase不兼容,因此更换为jdk-8u45-linux-i586 1.jdk 1.6卸载 (1)删除jdk目录:sudo rm -rf /opt/jdk1.6.0_45 (2)删除jdk环境变量:sudo gedit /etc/profile…

Hadoop及HBase集群部署 一. 集群环境 系统版本 虚拟机:内存 16G CPU 双核心 系统: CentOS-7 64位 系统下载地址: http://124.202.164.6/files/417500000AB646E7/mirrors.163.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso 软件版本 hadoop-2.8.1.tar.gz hbase-1.3.1-bin.tar.gz zookeeper-3.4.10.t…

一.HBase集成MapReduce 1.查看HBase集成MapReduce需要的jar包 [root@hadoop-senior hbase-0.98.6-hadoop2]# bin/hbase mapredcp 2019-05-22 16:23:46,814 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java class…

1.Hue 概述及版本下载 1)概述 Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的.通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job等等. 2)下载 CDH版本下载 官网下载 2.编译安装 1)解压 tar -zxf hue-3.9.0-cdh5.5.0.…

一. 背景(原http://blog.csdn.net/u011414200/article/details/50437356 ,对其进行了一定更改) 1.1 网络上的大部分教程 都是机器间含有SSH联通来启动的.生产环境一般都是不配置SSH机器之间互通的. 1.2 主机规划 IP 主机名 用户名 部署模块 进程 10.6.3.43 master5 hadoop5 NameNodeResourceManagerHBase NameNodeDFSZKFailoverControllerResour…

前期服务器配置 修改/etc/hosts文件,添加以下信息(如果正常IP) 119.23.163.113 master 120.79.116.198 slave1 120.79.116.23 slave2 如果安全组内的IP,通过ip a方式查询内部IP并添加到/etc/hosts: 确认三个服务器之间可以互相ping通 给三个机器生成密钥文件 三台机器上执行以下命令 ssh-keygen 生成公共密钥,先在master服务器上生成,之后复制到其他两个服务器 以下为正常免密方式 touch /r…

一.Hbase集成Phoneix 1.下载 在官网http://www.apache.org/dyn/closer.lua/phoenix/中选择提供的镜像站点中下载与安装的HBase版本对应的版本.本地使用的1.2.5,故下载的apache-phoenix-4.13.1-HBase-1.2-bin.tar.gz包. 2.上传并解压 tar -zxvf apache-phoenix-4.13.1-HBase-1.2-bin.tar.gzmv apache-phoenix-4.13.1-HBase…

大数据集群为了保证故障转移,一般通过zookeeper来整体协调管理,当节点数大于等于6个时推荐使用,接下来描述一下Hbase集群部署在zookeeper上的过程: 安装Hbase之前首先系统应该做通用的集群环境准备工作,这些是必须的: 1.集群中主机名必须正确配置,最好有实际意义:并且主机名都在hosts文件中对应主机IP,一一对应,不可缺少 这里集群有6台服务器:bigdata1,bigdata2,bigdata3,bigdata4,bigdata5,bigdata6 这里是3台主机,分别对…

1.票据的生成 kdc服务器操作,生成用于hive身份验证的principal 1.1.创建principal # kadmin.local -q “addprinc -randkey hive/yjt” 1.2.创建秘钥文件 # kadmin.local -q “xst  -norankey  -k  /etc/hive.keytab hive/yjt” 拷贝秘钥文件到集群,root操作或者有root权限的普通用户操作 # scp /etc/hive.keytab 192.168.0.230:…

项目描述: 今天花了680元买了阿里云的一台内存1G, 带宽1M 的云主机. 想以后方便测试用,而且想把自己的博客签到自己的主机上.所以自己就搭了一个测试的环境. 可以用来进行基本的hbase 入库, hadoop  mrjob 的运行. 步骤: 1.配置JDK 我的安装路径如下:/usr/local/java/jdk1.7.0_79 设置环境变量: JAVA_HOME=/usr/local/java/jdk1.7.0_79 export PATH=$JAVA_HOME/bin:$PATH 刷新…

工作中一般使用的都是zookeeper和Hbase的分布式集群. more /etc/profile cd /usr/local zookeeper-3.4.5.tar.gz zookeeper在安装部署的时候,节点数量必须是不少于三个的奇数个. =================================== 伪分布式搭建(3个节点): 伪分布式集群,就是在一台pc中,启动多个zookeeper的实例,完全分布式是指每台pc,启动一个zookeeper实例. 1.1 解压缩zookeep…

-------------------------------------------------------------------* 目录 * I   hadoop分布式安装   * II zookeeper分布式安装  * III hbase分布式安装   * IV  pig分布式安装 * V   hive客户端安装  * --------------------------------------------------------------------* 1. hadoop分布式安装…

引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单机的搭建,是因为作为个人学习的话,单机已足以,好吧,说实话是自己的电脑不行,使用虚拟机实在太卡了... 整个的集群搭建是在公司的测试服务搭建的,在搭建的时候遇到各种各样的坑,当然也收获颇多.在成功搭建大数据集群之后,零零散散的做了写笔记,然后重新将这些笔记整理了下来.于是就有了本篇博文. 其实我在搭…

集成hive+kerberos前,hadoop已经支持kerberos,所以基础安装略去: https://www.cnblogs.com/garfieldcgf/p/10077331.html 直接用之前hadoop集成生成的keytab文件开始配置: hive的 conf/hive-site.xml,添加如下: <property> <name>hive.server2.authentication</name> <value>KERBEROS</…

原文地址:https://www.cnblogs.com/hanzhi/articles/8794984.html 目录 引言 目录 一环境选择 1集群机器安装图 2配置说明 3下载地址 二集群的相关配置 1主机名更改以及主机和IP做相关映射 更改主机名 做主机和IP的关系映射 2ssh免登录 3防火墙关闭 4时间配置 5快捷键设置可选 6整体环境变量设置 二Hadoop的环境搭建 1JDK配置 2hadoop配置 21 文件准备 22 环境配置 23 修改配置文件 231 修改 core-si…

我们把hive的安装包上传的节点3来 解压 现在我们还是老规矩通过notopad++来连接我们的虚拟机来配置文件,把下面这两个文件重命名一下 修改这个文件 对hive-env.sh我们修改这里 下面我们在HDFS下创建目录,这个可以在任何一个节点下创建都可以,我这里就在节点2下创建了 给这个目录赋予权限 配置完之后我们启动一下hive 把这段内容删除掉 从这里开始一直到下面 到最后的这里我们都把他删除掉 然后也是从这里开始到下面 到下面也删除掉 最后留下这些内容 修改配置一下 创建表格 我们创建…

概述 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等,是很多分布式的基础设置,比如dubbo,kafka,hbase等.zookeeper 可以单机部署,单独使用,一般需要做集群部署.你运行一个zookeeper也是可以的,但是在生产环境中,你最好部署3,5,7个节点.部署的越多,可靠性就越高,当然只能部署奇数个,偶数个是不可以的. 部署 由于是实验性质,我们部署的时候在一台机器上部署多个实例…

1.kdc创建principal 1.1.创建认证用户 登陆到kdc服务器,使用root或者可以使用root权限的普通用户操作: # kadmin.local -q “addprinc -randkey hdfs/yjt” # kadmin.local -q “addprinc -randkey yarn/yjt” # kadmin.local -q “addprinc -randkey mapred/yjt” # kadmin.local -q “addprinc -randkey HTTP/…

环境介绍: 系统:centos7 软件包: apache-phoenix-4.14.0-HBase-1.4-bin.tar.gz  下载链接:http://mirror.bit.edu.cn/apache/phoenix/apache-phoenix-4.14.1-HBase-1.4/bin/apache-phoenix-4.14.1-HBase-1.4-bin.tar.gz hadoop-3.1.1.tar.gz 下载链接:http://mirror.bit.edu.cn/apache/had…

基本安装步骤 安装包下载 从大数据组件下载地址下载以下组件安装包 hadoop-2.6.0-cdh5.6.0.tar.gz hbase-1.0.0-cdh5.6.0.tar.gz zookeeper-3.4.5-cdh5.6.0.tar.gz 从java下载地址下载以下组件安装包 jdk-8u144-linux-x64.tar.gz java环境 解压 tar zxvf jdk-8u144-linux-x64.tar.gz 配置环境变量 vim /etc/profile export JAVA_…

前言 由于hadoop和hbase都得想zookeeper注册,所以启动顺序为 zookeeper——>hadoop——>hbase,关闭顺序反之 一.前期准备 1.配置ip 进入文件编辑模式: vim /etc/sysconfig/network-scripts/ifcfg-ens192 原内容: TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=dhcp DEFROUTE=yes IPV4_FAILURE_FATAL=no…

安装好Phoenix后配置环境变量 export PHOENIX_PATH=/opt/cloudera/parcels/APACHE_PHOENIX-4.14.0-cdh5.14.2.p0.3export PATH=$PATH:$PHOENIX_PATH/bin: 进入命令行,这是sqlline.py 配置到path环境变量的情况下 [root@node1 ~]# phoenix-sqlline.py node3::/hbase 如果要退出命令行:!q 或者 !quit 返回信息 [root@n…