1.Hue 概述及版本下载

1)概述

Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job等等。

2)下载

CDH版本下载

官网下载

2.编译安装

1)解压

tar -zxf hue-3.9.0-cdh5.5.0.tar.gz -C /opt/modules/

2)安装依赖包

依赖包参考此连接

3)编译

cd hue-3.9.0-cdh5.5.0

make apps

3.Hue 基本配置与服务启动

1)修改配置文件

cd desktop

cd conf

vi hue.ini

#秘钥

secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn < qW5o

#host port

http_host=bigdata-pro03.kfk.com

http_port=8888

#时区

time_zone=Asia/Shanghai

2)修改desktop.db 文件权限

chmod o+w desktop/desktop.db

3)启动Hue服务

/opt/modules/hue-3.9.0-cdh5.5.0/build/env/bin/supervisor

4)查看Hue web界面

bigdata-pro03.kfk.com:8888

4.Hue与HDFS集成

1)修改core-site.xml配置文件,添加如下内容

<property>

<name>hadoop.proxyuser.hue.hosts</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.hue.groups</name>

<value>*</value>

</property>

2)修改hue.ini配置文件

fs_defaultfs=hdfs://ns

webhdfs_url=http://bigdata-pro01.kfk.com:50070/webhdfs/v1

hadoop_hdfs_home=/opt/modules/hadoop-2.5.0

hadoop_bin=/opt/modules/hadoop-2.5.0/bin

hadoop_conf_dir=/opt/modules/hadoop-2.5.0/etc/hadoop

3)将core-site.xml配置文件分发到其他节点

scp core-site.xml bigdata-pro02.kfk.com:/opt/modules/hadoop-2.5.0/etc/hadoop

scp core-site.xml bigdata-pro01.kfk.com:/opt/modules/hadoop-2.5.0/etc/hadoop

4)重新启动hue

/opt/modules/hue-3.9.0-cdh5.5.0/build/env/bin/supervisor

5.Hue与YARN集成

1)修改hue.ini配置文件

resourcemanager_host=rs

resourcemanager_port=8032

submit_to=true

resourcemanager_api_url=http://bigdata-pro01.kfk.com:8088

proxy_api_url=http://bigdata-pro01.kfk.com:8088

history_server_api_url=http://bigdata-pro01.kfk.com:19888

2)重新启动hue

/opt/modules/hue-3.9.0-cdh5.5.0/build/env/bin/supervisor

5.Hue与Hive集成

1)修改hue.ini配置文件

hive_server_host=bigdata-pro03.kfk.com

hive_server_port=10000

hive_conf_dir=/opt/modules/hive-0.13.1-bin/conf

2)重新启动hue

/opt/modules/hue-3.9.0-cdh5.5.0/build/env/bin/supervisor

6.Hue与mysql集成

1)修改hue.ini配置文件

nice_name="My SQL DB"

name=metastore

engine=mysql

host=bigdata-pro01.kfk.com

port=3306

user=root

password=123456

2)重新启动hue

/opt/modules/hue-3.9.0-cdh5.5.0/build/env/bin/supervisor

7.Hue与HBase集成

1)修改hue.ini配置文件

hbase_clusters=(Cluster|bigdata-pro01.kfk.com:9090)

hbase_conf_dir=/opt/modules/hbase-0.98.6-cdh5.3.0/conf

2)HBase中启动thrift服务

bin/hbase-daemon.sh start thrift

7.Hue使用注意事项

1)hive 启动使用后台启动

nohup bin/hiveserver2 &

2)hue使用稳定版本:hue-3.7.0-cdh5.3.6

新闻实时分析系统Hive与HBase集成进行数据分析 Cloudera HUE大数据可视化分析的更多相关文章

  1. 新闻实时分析系统Hive与HBase集成进行数据分析

    (一)Hive 概述 (二)Hive在Hadoop生态圈中的位置 (三)Hive 架构设计 (四)Hive 的优点及应用场景 (五)Hive 的下载和安装部署 1.Hive 下载 Apache版本的H ...

  2. 新闻网大数据实时分析可视化系统项目——13、Cloudera HUE大数据可视化分析

    1.Hue 概述及版本下载 1)概述 Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python ...

  3. 新闻网大数据实时分析可视化系统项目——12、Hive与HBase集成进行数据分析

    (一)Hive 概述 (二)Hive在Hadoop生态圈中的位置 (三)Hive 架构设计 (四)Hive 的优点及应用场景 (五)Hive 的下载和安装部署 1.Hive 下载 Apache版本的H ...

  4. Hive与HBase集成进行数据分析

    我们把hive的安装包上传的节点3来 解压 现在我们还是老规矩通过notopad++来连接我们的虚拟机来配置文件,把下面这两个文件重命名一下 修改这个文件 对hive-env.sh我们修改这里 下面我 ...

  5. 新闻实时分析系统-Flume+HBase+Kafka集成与开发

    1.下载Flume源码并导入Idea开发工具 1)将apache-flume-1.7.0-src.tar.gz源码下载到本地解压 2)通过idea导入flume源码 打开idea开发工具,选择File ...

  6. hive与hbase集成

    http://blog.csdn.net/vah101/article/details/22597341 这篇文章最初是基于介绍HIVE-705.这个功能允许Hive QL命令访问HBase表,进行读 ...

  7. 新闻实时分析系统 SQL快速离线数据分析

    1.Spark SQL概述1)Spark SQL是Spark核心功能的一部分,是在2014年4月份Spark1.0版本时发布的. 2)Spark SQL可以直接运行SQL或者HiveQL语句 3)BI ...

  8. 新闻实时分析系统-inux环境准备与设置

    1.Linux系统常规设置 1)设置ip地址 项目视频里面直接使用界面修改ip比较方便,如果Linux没有安装操作界面,需要使用命令:vi /etc/sysconfig/network-scripts ...

  9. [saiku] 使用 Apache Phoenix and HBase 结合 saiku 做大数据查询分析

    saiku不仅可以对传统的RDBMS里面的数据做OLAP分析,还可以对Nosql数据库如Hbase做统计分析. 本文简单介绍下一个使用saiku去查询分析hbase数据的例子. 1.phoenix和h ...

随机推荐

  1. JSONP安全防御要点

    严格安全地实现CSRF方式调用JSON文件:限制Referer.部署一次性token等. 严格安装JSON格式标准输出Content-Type及编码(Content-Type: application ...

  2. 解决错误 系统找不到指定的批标签 make_command_arguments |hadoop windows出错

    问题:cmd命令行传参数出错 此文章 适用于 cmd命令行传参数出错 在windows 7下倒腾 Hadoop 时出现 The system cannot find the batch label s ...

  3. (七)javac编译

    文章目录 1.基本格式 2.目标路径 2.1 缺省项 2.2 指定路径 2.2.1 全路径 2.2.2 相对路径 3.源文件 3.1 无第三方库 3.1.1 基本方法 3.1.2 添加目录 3.1.3 ...

  4. js图片随机切换

    使用js做到随机切换图片 <!DOCTYPE html> <html lang="en"> <head> <meta charset=&q ...

  5. 使用grep过滤make的输出内容

    make的输出内容其实分为两种,有些是到标准输出,有些是到标准错误,由于标准输出和标准错误默认都是屏幕,所以平时区分不出来, 实际上一般是error和warning信息到标准错误,其余的到标准输出. ...

  6. 作为一名程序员,你真正了解CDN技术吗?

    本文导读: 物流仓库配送如何加速 静态资源文件部署方式 静态资源加速之CDN技术 解析过程中的名词解释 最后的总结 1.物流仓库配送如何加速 我们还是从生活中购物的例子来展开. 将时光倒回到几年前,在 ...

  7. NOIP模拟测试33

    这次考试很失败. T1sb题,40分钟切了,当我打完对拍全过去上厕所的时候,碰到了yxm. yxm:我又自闭了,没有一点进展. 我:…… yxm:你会做几个? 我(思考再三):T1只会暴力. (我这么 ...

  8. python学习之【第五篇】:Python中的元组及其所具有的方法

    1.前言 Python的元组(tuple)与列表很相似,不同之处在于元组不能被修改,即元组一旦创建,就不能向元组中的增加新元素,不能删除元素中的元素,更不能修改元组中元素.但是元组可以访问任意元素,可 ...

  9. SSM学习成果总结,图书管理系统进行三层整合

    一:先看一下效果图 二:目录结构  三:pojo package com.zh.pojo; import lombok.AllArgsConstructor; import lombok.Data; ...

  10. 『图论』有向图强连通分量的Tarjan算法

    在图论中,一个有向图被成为是强连通的(strongly connected)当且仅当每一对不相同结点u和v间既存在从u到v的路径也存在从v到u的路径.有向图的极大强连通子图(这里指点数极大)被称为强连 ...