新闻实时分析系统Hive与HBase集成进行数据分析 Cloudera HUE大数据可视化分析
1.Hue 概述及版本下载
1)概述
Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job等等。
2)下载
CDH版本下载
官网下载
2.编译安装
1)解压
tar -zxf hue-3.9.0-cdh5.5.0.tar.gz -C /opt/modules/
2)安装依赖包
依赖包参考此连接。
3)编译
cd hue-3.9.0-cdh5.5.0
make apps
3.Hue 基本配置与服务启动
1)修改配置文件
cd desktop
cd conf
vi hue.ini
#秘钥
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn < qW5o
#host port
http_host=bigdata-pro03.kfk.com
http_port=8888
#时区
time_zone=Asia/Shanghai
2)修改desktop.db 文件权限
chmod o+w desktop/desktop.db
3)启动Hue服务
/opt/modules/hue-3.9.0-cdh5.5.0/build/env/bin/supervisor
4)查看Hue web界面
bigdata-pro03.kfk.com:8888
4.Hue与HDFS集成
1)修改core-site.xml配置文件,添加如下内容
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>
2)修改hue.ini配置文件
fs_defaultfs=hdfs://ns
webhdfs_url=http://bigdata-pro01.kfk.com:50070/webhdfs/v1
hadoop_hdfs_home=/opt/modules/hadoop-2.5.0
hadoop_bin=/opt/modules/hadoop-2.5.0/bin
hadoop_conf_dir=/opt/modules/hadoop-2.5.0/etc/hadoop
3)将core-site.xml配置文件分发到其他节点
scp core-site.xml bigdata-pro02.kfk.com:/opt/modules/hadoop-2.5.0/etc/hadoop
scp core-site.xml bigdata-pro01.kfk.com:/opt/modules/hadoop-2.5.0/etc/hadoop
4)重新启动hue
/opt/modules/hue-3.9.0-cdh5.5.0/build/env/bin/supervisor
5.Hue与YARN集成
1)修改hue.ini配置文件
resourcemanager_host=rs
resourcemanager_port=8032
submit_to=true
resourcemanager_api_url=http://bigdata-pro01.kfk.com:8088
proxy_api_url=http://bigdata-pro01.kfk.com:8088
history_server_api_url=http://bigdata-pro01.kfk.com:19888
2)重新启动hue
/opt/modules/hue-3.9.0-cdh5.5.0/build/env/bin/supervisor
5.Hue与Hive集成
1)修改hue.ini配置文件
hive_server_host=bigdata-pro03.kfk.com
hive_server_port=10000
hive_conf_dir=/opt/modules/hive-0.13.1-bin/conf
2)重新启动hue
/opt/modules/hue-3.9.0-cdh5.5.0/build/env/bin/supervisor
6.Hue与mysql集成
1)修改hue.ini配置文件
nice_name="My SQL DB"
name=metastore
engine=mysql
host=bigdata-pro01.kfk.com
port=3306
user=root
password=123456
2)重新启动hue
/opt/modules/hue-3.9.0-cdh5.5.0/build/env/bin/supervisor
7.Hue与HBase集成
1)修改hue.ini配置文件
hbase_clusters=(Cluster|bigdata-pro01.kfk.com:9090)
hbase_conf_dir=/opt/modules/hbase-0.98.6-cdh5.3.0/conf
2)HBase中启动thrift服务
bin/hbase-daemon.sh start thrift
7.Hue使用注意事项
1)hive 启动使用后台启动
nohup bin/hiveserver2 &
2)hue使用稳定版本:hue-3.7.0-cdh5.3.6
新闻实时分析系统Hive与HBase集成进行数据分析 Cloudera HUE大数据可视化分析的更多相关文章
- 新闻实时分析系统Hive与HBase集成进行数据分析
(一)Hive 概述 (二)Hive在Hadoop生态圈中的位置 (三)Hive 架构设计 (四)Hive 的优点及应用场景 (五)Hive 的下载和安装部署 1.Hive 下载 Apache版本的H ...
- 新闻网大数据实时分析可视化系统项目——13、Cloudera HUE大数据可视化分析
1.Hue 概述及版本下载 1)概述 Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python ...
- 新闻网大数据实时分析可视化系统项目——12、Hive与HBase集成进行数据分析
(一)Hive 概述 (二)Hive在Hadoop生态圈中的位置 (三)Hive 架构设计 (四)Hive 的优点及应用场景 (五)Hive 的下载和安装部署 1.Hive 下载 Apache版本的H ...
- Hive与HBase集成进行数据分析
我们把hive的安装包上传的节点3来 解压 现在我们还是老规矩通过notopad++来连接我们的虚拟机来配置文件,把下面这两个文件重命名一下 修改这个文件 对hive-env.sh我们修改这里 下面我 ...
- 新闻实时分析系统-Flume+HBase+Kafka集成与开发
1.下载Flume源码并导入Idea开发工具 1)将apache-flume-1.7.0-src.tar.gz源码下载到本地解压 2)通过idea导入flume源码 打开idea开发工具,选择File ...
- hive与hbase集成
http://blog.csdn.net/vah101/article/details/22597341 这篇文章最初是基于介绍HIVE-705.这个功能允许Hive QL命令访问HBase表,进行读 ...
- 新闻实时分析系统 SQL快速离线数据分析
1.Spark SQL概述1)Spark SQL是Spark核心功能的一部分,是在2014年4月份Spark1.0版本时发布的. 2)Spark SQL可以直接运行SQL或者HiveQL语句 3)BI ...
- 新闻实时分析系统-inux环境准备与设置
1.Linux系统常规设置 1)设置ip地址 项目视频里面直接使用界面修改ip比较方便,如果Linux没有安装操作界面,需要使用命令:vi /etc/sysconfig/network-scripts ...
- [saiku] 使用 Apache Phoenix and HBase 结合 saiku 做大数据查询分析
saiku不仅可以对传统的RDBMS里面的数据做OLAP分析,还可以对Nosql数据库如Hbase做统计分析. 本文简单介绍下一个使用saiku去查询分析hbase数据的例子. 1.phoenix和h ...
随机推荐
- JSONP安全防御要点
严格安全地实现CSRF方式调用JSON文件:限制Referer.部署一次性token等. 严格安装JSON格式标准输出Content-Type及编码(Content-Type: application ...
- 解决错误 系统找不到指定的批标签 make_command_arguments |hadoop windows出错
问题:cmd命令行传参数出错 此文章 适用于 cmd命令行传参数出错 在windows 7下倒腾 Hadoop 时出现 The system cannot find the batch label s ...
- (七)javac编译
文章目录 1.基本格式 2.目标路径 2.1 缺省项 2.2 指定路径 2.2.1 全路径 2.2.2 相对路径 3.源文件 3.1 无第三方库 3.1.1 基本方法 3.1.2 添加目录 3.1.3 ...
- js图片随机切换
使用js做到随机切换图片 <!DOCTYPE html> <html lang="en"> <head> <meta charset=&q ...
- 使用grep过滤make的输出内容
make的输出内容其实分为两种,有些是到标准输出,有些是到标准错误,由于标准输出和标准错误默认都是屏幕,所以平时区分不出来, 实际上一般是error和warning信息到标准错误,其余的到标准输出. ...
- 作为一名程序员,你真正了解CDN技术吗?
本文导读: 物流仓库配送如何加速 静态资源文件部署方式 静态资源加速之CDN技术 解析过程中的名词解释 最后的总结 1.物流仓库配送如何加速 我们还是从生活中购物的例子来展开. 将时光倒回到几年前,在 ...
- NOIP模拟测试33
这次考试很失败. T1sb题,40分钟切了,当我打完对拍全过去上厕所的时候,碰到了yxm. yxm:我又自闭了,没有一点进展. 我:…… yxm:你会做几个? 我(思考再三):T1只会暴力. (我这么 ...
- python学习之【第五篇】:Python中的元组及其所具有的方法
1.前言 Python的元组(tuple)与列表很相似,不同之处在于元组不能被修改,即元组一旦创建,就不能向元组中的增加新元素,不能删除元素中的元素,更不能修改元组中元素.但是元组可以访问任意元素,可 ...
- SSM学习成果总结,图书管理系统进行三层整合
一:先看一下效果图 二:目录结构 三:pojo package com.zh.pojo; import lombok.AllArgsConstructor; import lombok.Data; ...
- 『图论』有向图强连通分量的Tarjan算法
在图论中,一个有向图被成为是强连通的(strongly connected)当且仅当每一对不相同结点u和v间既存在从u到v的路径也存在从v到u的路径.有向图的极大强连通子图(这里指点数极大)被称为强连 ...