Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据. Hue在数据库方面,默认使用的是SQLite数据库来管理自身的数据,包括用户认证和授权,另外,可以自定义为MySQL数据库、Postgresql数据库、以及Oracle数据库

目录:

功能介绍


  • 对HDFS的访问,通过浏览器来查阅HDFS的数据
  • Hive编辑器:可以编写HQL和运行HQL脚本,以及查看运行结果等相关Hive功能
  • 提供Solr搜索应用,并对应相应的可视化数据视图以及DashBoard
  • 提供Impala的应用进行数据交互查询
  • 最新的版本集成了Spark编辑器和DashBoard
  • 支持Pig编辑器,并能够运行编写的脚本任务
  • Oozie调度器,可以通过DashBoard来提交和监控Workflow、Coordinator以及Bundle
  • 支持HBase对数据的查询修改以及可视化
  • 支持对Metastore的浏览,可以访问Hive的元数据以及对应的HCatalog
  • 对Job的支持,Sqoop,ZooKeeper等的支持

安装部署


  • 安装配置过程参见:http://cloudera.github.io/hue/docs-3.6.0/manual.html
  • hue支持广,依赖多,系统环境有所缺失安装就比较麻烦,如make时会自建一个虚拟的运行环境,导致与系统默认有所偏差,造成编译安装过程遇到一些问题
  • 最简单的安装方式当然是使用CDH的RPM包,但是就要用到CDH的一整套集群环境,毕竟这在已有集群的情况下不太合理,可行性低

Azure 安装CDH


  1. Go to https://ms.portal.azure.com
  2. Click on resource groups on the left navigation bar
  3. Enter a name for your resource group, pick the subscription and availability region and click on “create”.This will create a resource group that we will use in the cluster setup
  4. Click on “New”, then on “Data + Analytics” and then on “Cloudera Enterprise Data Hub”
  5. In the blade that opens up, under “Select deployment model”, click on “Resource Manager”, the click “Create”
  6. In the blade that opens, click on “Basics, Configure basic settings”;  Here, enter the following: User name (Linux user)\password....
  • Next, click on “Inftrastructure information”;  See screenshot below for where you can customize, and where to leave defaults.
  • Next, click on “Cloudera setup information”;  Here, enter the following:  Cloudera Manager User Name \ Password \ Cluster Type (two options – POC and Production) \ Number of data nodes
  • Click on user information, enter some details about yourself.
  • Click on “Buy” and then create.  This will provision the cluster.
  • Step away for a long break; At the time this post was written, it took more than an hour.  You can monitor the progress from the portal.

Nodes and Roles


  • In the setup, we entered 3 data nodes, and selected Production,The following are the nodes and the roles running on them:

Connecting to the cluster


Hue的更多相关文章

  1. Solr实战:使用Hue+Solr实现标签查询

    公司最近在研究多条件组合查询方案,Google的一位技术专家Sam和我们讨论了几个备选方案. Sam的信: 我做了进一步研究,目前有这么几种做法: 1) 最直接粗暴,只做一个主index,比如按行业+ ...

  2. Ubuntu 14 Trusty安装hue

    想开始学习一下hive,需要一个使用起来方便的客户端,网上搜了一下发现hue是个很常用的工具.于是,就在自己的ubuntu14系统里,尝试安装hue.下面就是自己的安装步骤,记录如下: 1.先查看自己 ...

  3. #数据技术选型#即席查询Shib+Presto,集群任务调度HUE+Oozie

    郑昀 创建于2014/10/30 最后更新于2014/10/31   一)选型:Shib+Presto 应用场景:即席查询(Ad-hoc Query) 1.1.即席查询的目标 使用者是产品/运营/销售 ...

  4. Solr图形化界面banana:除Hue之外的选择

    最近Hue+Solr 方案原型验证有了一些进展.正好也收到了Google的大数据专家Sam的来件询问进展,我答复如下: Sam, 你好. 已经把Kafka+flume+solr的实时索引搭建起来了, ...

  5. hue install

    http://ju.outofmemory.cn/entry/105162 Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera ...

  6. json数据处理实战:Kafka+Flume+Morphline+Solr+Hue数据组合索引

    背景:Kafka消息总线的建成,使各个系统的数据得以在kafka节点中汇聚,接下来面临的任务是最大化数据的价值,让数据“慧”说话. 环境准备: Kafka服务器*3. CDH 5.8.3服务器*3,安 ...

  7. 使用hue+oozi构建任务调度系统

    oozie调度系统调研 1. 关于oozie的简单说明 oozie应用程序目录结构说明: 一个完整的oozie应用程序一般情况下至少包含三个文件及目录:job.properties.workflow. ...

  8. Hue整合Sqoop报空指针异常的解决方法

    hue是一个Apache基金会下的一个开源图形化管理工具,使用python语言开发,使用的框架是Django.而sqoop也是Apache的一个开源工具,是使用Java语言开发,主要用于进行hdfs和 ...

  9. HUE的时区问题

    转自 http://molisa.iteye.com/blog/1953390   我主要是根据这个说明调整的HUE的时区问题 在使用Cloudera Hue时遇到一问题: 1. 使用Sqoop导入功 ...

随机推荐

  1. 手机支持USB功能、驱动文件对应关系

    手机支持USB功能: 1.UMS(USB MASS Stronge) : 连接PC作为存储盘使用 2.ADB : 用于调试 3.MTP :连接PC作为存储盘使用(win XP需要安装WMP10 以上 ...

  2. 使用python编写一个壁纸网站的简单爬虫

    目标网站:http://www.netbian.com/ 目的:实现对壁纸各分类的第一页壁纸的获取 一:分析网站,编写代码: (ps:源代码在文章的最后) 1.获取网站目录部分的一大段代码,下一步再进 ...

  3. 如何启动一个Java Web应用

    最近使用一个开源项目写程序,为了方便沟通加入了相关的讨论群,经常在群里看到有人问项目怎么启动不起来,在此提供一下解决思路1.查看自己下载的项目目录通过文件夹结构,你能够看出来你下载的是一个maven项 ...

  4. BackTrack5-r3安装VMware Tools

    bt login:root //默认的BT系统账号password:toor //默认的BT系统密码,这里的密码是不显示的.root@bt:~#startx //进入图形模式 启动BT虚拟机系统-在V ...

  5. (转)appendChild()、insertBefore()是移动element节点!

    原文地址 appendChild().insertBefore()是移动element节点,看书的时候注意过,也可以做一个简单的例子测试一下: <div id="div1"& ...

  6. HTML5新增标签及具体用法

    html5自从推广普及以来,迅速被各大浏览器支持.采用html5设计的网页逐渐成为网页设计的时尚.下面就温习下html5的新增标签. HTML 5 中的新特性包括了嵌入音频.视频和图形的功能,客户端数 ...

  7. Android 中onConfigurationChanged问题

    onConfigurationChanged 不生效问题解决方案: 1).首先,需要重写onConfigurationChanged函数 @Override    public void onConf ...

  8. android摇一摇实现(仿微信)

    这个demo模仿的是微信的摇一摇,是一个完整的demo,下载地址在最下面.下面是demo截图:                 步驟: 1.手机摇动监听,首先要实现传感器接口SensorEventLi ...

  9. 出现( linker command failed with exit code 1)错误总结 (转)

    这种问题,通常出现在添加第三方库文件或者多人开发时. 这种问题一般是找不到文件而导致的链接错误. 我们可以从如下几个方面着手排查. 1.以如下错误为例,如果是多人开发,你同步完成后发现出现如下的错误. ...

  10. web安全之sqlload_file()和into outfile()

    load_file() 条件:要有file_priv权限 知道文件的绝对路径 能使用union 对web目录有读权限 如果过滤啦单引号,则可以将函数中的字符进行hex编码 步骤: 1.读/etc/in ...