Hue的简单介绍

  • 概述

    CDH Hue官方帮助文档:http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0/user-guide/introducing.html



    Hue是一组能够与Hadoop集群进行交互的web应用程序。Hue应用程序允许开发者浏览HDFS和作业、管理Hive metastore、运行Hive、Cloudera Impala查询和Pig脚本、浏览HBase、用Sqoop导出数据、提交MapReduce程序、用Solr构建自定义搜索引擎、用Oozie安排重复的工作流程。

    下图说明了Hue的工作原理。Hue服务器是一个位于CDH和浏览器之间的 “容器” web应用程序。它托管所有的Hue web应用程序,并与CDH组件通信。

  • 核心功能

    1.访问HDFS和文件浏览

    2.通过web调试和开发hive以及数据结果展示

    3.查询solr和结果展示,报表生成

    4.通过web调试和开发impala交互式SQL Query

    5.spark调试和开发

    7.oozie任务的开发,监控,和工作流协调调度

    8.Hbase数据查询和修改,数据展示

    9.Hive的元数据(metastore)查询

    10.MapReduce任务进度查看,日志追踪

    11.创建和提交MapReduce,Streaming,Java job任务

    12.Sqoop2的开发和调试

    13.Zookeeper的浏览和编辑

    14.数据库(MySQL,PostGres,SQlite,Oracle)的查询和展示


安装部署

  • 下载Hue的压缩包并上传到linux解压

    下载地址:http://archive.cloudera.com/cdh5/cdh/5/

    要选择匹配自己CDH的版本,我的是:http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gz

    上传到/export/softwares,并解压tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz -C ../servers/

  • 编译安装启动

    1.linux系统安装依赖包

    yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make  mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel

    2.配置Hue

    cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf

    vim hue.ini 最好别用vim编辑,Windows系统用Notepad++,Mac OS用FinalShell

    修改以下内容

    [desktop]
    secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o (这个随便输,越长越好)
    http_host=node03.hadoop.com
    is_hue_4=true
    time_zone=Asia/Shanghai
    server_user=root
    server_group=root
    default_user=root
    default_hdfs_superuser=root
    [[database]]		(在587行)
    engine=mysql
    host=node03.hadoop.com
    port=3306
    user=root
    password=123456
    name=hue

    3.创建mysql数据库

    create database hue default character set utf8 default collate utf8_general_ci; 创建hue数据库

    grant all on hue.* to 'hue'@'%' identified by 'hue'; 实际工作过程中是需要为hue这个数据库创建对应的用户,并分配权限的,但是个人开发者可以使用root用户的权限,所以这个命令不需要执行



    4.进行编译

    cd /export/servers/hue-3.9.0-cdh5.14.0
    make apps

    5.linux系统添加普通用户hue

    useradd hue
    passwd hue(密码自用的话也可以设置成123456,好记)
  • 启动Hue进程
    cd /export/servers/hue-3.9.0-cdh5.14.0/
    build/env/bin/supervisor

    页面访问: http://node03:8888 如果连接不上,把node03换成ip地址

    初次访问的页面需要设置管理员用户名和密码,最好设置得和Hadoop用户名和密码一致


hue与其他框架的集成

【Hadoop离线基础总结】Hue的简单介绍和安装部署的更多相关文章

  1. 【Hadoop离线基础总结】impala简单介绍及安装部署

    目录 impala的简单介绍 概述 优点 缺点 impala和Hive的关系 impala如何和CDH一起工作 impala的架构及查询计划 impala/hive/spark 对比 impala的安 ...

  2. 【Hadoop离线基础总结】zookeeper的介绍以及集群环境搭建、网络编程和RPC的简单了解

    ZooKeeper的介绍以及集群环境搭建.网络编程和RPC的简单了解 ZooKeeper介绍 概述 ZooKeeper是一个分布式协调服务的开源框架,主要用来解决分布式集群中应用系统的一致性问题.例如 ...

  3. 【Hadoop离线基础总结】HDFS详细介绍

    HDFS详细介绍 分布式文件系统设计思路 概述 只有一台机器时的文件查找:hello.txt /export/servers/hello.txt 如果有多台机器时的文件查找:hello.txt nod ...

  4. 【Hadoop离线基础总结】HDFS入门介绍

    HDFS入门介绍 概述 HDFS全称为Hadoop Distribute File System,也就是Hadoop分布式文件系统,是Hadoop的核心组件之一. 分布式文件系统是横跨在多台计算机上的 ...

  5. 数据库-mysql01 简单介绍以及安装部署

    本次mysql数据库安装采用二进制安装(免安装即绿色版),数据库版本是mysql5.7.26 首先下载mysql安装包,然后上传服务器里,最后解压. 卸载centos7自带的数据库软件包: [root ...

  6. 【Hadoop离线基础总结】oozie的安装部署与使用

    目录 简单介绍 概述 架构 安装部署 1.修改core-site.xml 2.上传oozie的安装包并解压 3.解压hadooplibs到与oozie平行的目录 4.创建libext目录,并拷贝依赖包 ...

  7. 【Hadoop离线基础总结】流量日志分析网站整体架构模块开发

    目录 数据仓库设计 维度建模概述 维度建模的三种模式 本项目中数据仓库的设计 ETL开发 创建ODS层数据表 导入ODS层数据 生成ODS层明细宽表 统计分析开发 流量分析 受访分析 访客visit分 ...

  8. 【Hadoop离线基础总结】Hive调优手段

    Hive调优手段 最常用的调优手段 Fetch抓取 MapJoin 分区裁剪 列裁剪 控制map个数以及reduce个数 JVM重用 数据压缩 Fetch的抓取 出现原因 Hive中对某些情况的查询不 ...

  9. 【Hadoop离线基础总结】Sqoop常用命令及参数

    目录 常用命令 常用公用参数 公用参数:数据库连接 公用参数:import 公用参数:export 公用参数:hive 常用命令&参数 从关系表导入--import 导出到关系表--expor ...

随机推荐

  1. 百度关键词搜索工具 v1.1|url采集工具 v1.1

    功能介绍:关键词搜索工具 批量关键词自动搜索采集 自动去除垃圾二级泛解析域名 可设置是否保存域名或者url 持续更新中

  2. 联通友华通信光纤猫PT952G设置无线路由光猫桥接拨号

    #0x1 登陆后台,点击网络,点击宽带设置.选择第二个接口. 0x2 只修改模式,改成Bridge,其他无需修改.然后直接接路由器拨号就行,或者电脑都行. 0x4  恢复默认拨号,这样修改以后,直接连 ...

  3. Java数组 —— 八大排序

    (请观看本人博文--<详解 普通数组 -- Arrays类 与 浅克隆>) 在本人<数据结构与算法>专栏的讲解中,本人讲解了如何去实现数组的八大排序. 但是,在讲解的过程中,我 ...

  4. [转载]利用分块传输绕过WAF进行SQL注入

    原理 客户端给服务器发送数据的时候,如果我们利用协议去制作payload,就可以绕过http协议的waf,实现SQL注入 分块传输编码(Chunked transfer encoding)是HTTP中 ...

  5. [javascript] jquery的父子兄弟节点查找

    jQuery.parent(expr) 找父亲节点,可以传入expr进行过滤,比如$("span").parent()或者$("span").parent(&q ...

  6. pytorch 中序列化容器nn.Sequential

    按下图顺序搭建以及执行

  7. pytorch中tensor张量的创建

    import torch import numpy as np print(torch.tensor([1,2,3])) print(torch.tensor(np.arange(15).reshap ...

  8. Solr搜索结果高级设置

    一.选择响应格式 XML是Solr的默认响应格式.从Solr的角度看,什么样的响应格式并不重要.Solr可以返回XML.JSON.Ruby.Python.PHP.二进制Java等,甚至是自定义格式.使 ...

  9. Go语言: 万物皆异步

    来源:https://www.jianshu.com/p/62c0cd107da3 同步和异步.阻塞和非阻塞 首先要明确的是,同步(Synchronous)和异步(Asynchronous),阻塞(B ...

  10. python学习24之异常

    '''''''''1.低级错误:纯语法错误2.中级错误:代码存在隐性错误,逻辑缺陷3.高级错误:软件面对不确定性的异常错误''''''一.捕获异常1.基本异常捕获语句try: #异常捕捉语句的开始 代 ...