Hue
Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据. Hue在数据库方面,默认使用的是SQLite数据库来管理自身的数据,包括用户认证和授权,另外,可以自定义为MySQL数据库、Postgresql数据库、以及Oracle数据库
目录:
- 功能介绍 (演示地址: http://gethue.com/)
- 安装部署
- Azure 安装CDH
功能介绍
- 对HDFS的访问,通过浏览器来查阅HDFS的数据
- Hive编辑器:可以编写HQL和运行HQL脚本,以及查看运行结果等相关Hive功能
- 提供Solr搜索应用,并对应相应的可视化数据视图以及DashBoard
- 提供Impala的应用进行数据交互查询
- 最新的版本集成了Spark编辑器和DashBoard
- 支持Pig编辑器,并能够运行编写的脚本任务
- Oozie调度器,可以通过DashBoard来提交和监控Workflow、Coordinator以及Bundle
- 支持HBase对数据的查询修改以及可视化
- 支持对Metastore的浏览,可以访问Hive的元数据以及对应的HCatalog
- 对Job的支持,Sqoop,ZooKeeper等的支持
安装部署
- 安装配置过程参见:http://cloudera.github.io/hue/docs-3.6.0/manual.html
- hue支持广,依赖多,系统环境有所缺失安装就比较麻烦,如make时会自建一个虚拟的运行环境,导致与系统默认有所偏差,造成编译安装过程遇到一些问题
- 最简单的安装方式当然是使用CDH的RPM包,但是就要用到CDH的一整套集群环境,毕竟这在已有集群的情况下不太合理,可行性低
Azure 安装CDH
- Go to https://ms.portal.azure.com
- Click on resource groups on the left navigation bar
- Enter a name for your resource group, pick the subscription and availability region and click on “create”.This will create a resource group that we will use in the cluster setup
- Click on “New”, then on “Data + Analytics” and then on “Cloudera Enterprise Data Hub”
- In the blade that opens up, under “Select deployment model”, click on “Resource Manager”, the click “Create”
- In the blade that opens, click on “Basics, Configure basic settings”; Here, enter the following: User name (Linux user)\password....
- Next, click on “Inftrastructure information”; See screenshot below for where you can customize, and where to leave defaults.
- Next, click on “Cloudera setup information”; Here, enter the following: Cloudera Manager User Name \ Password \ Cluster Type (two options – POC and Production) \ Number of data nodes
- Click on user information, enter some details about yourself.
- Click on “Buy” and then create. This will provision the cluster.
- Step away for a long break; At the time this post was written, it took more than an hour. You can monitor the progress from the portal.
Nodes and Roles
- In the setup, we entered 3 data nodes, and selected Production,The following are the nodes and the roles running on them:
Connecting to the cluster
Hue的更多相关文章
- Solr实战:使用Hue+Solr实现标签查询
公司最近在研究多条件组合查询方案,Google的一位技术专家Sam和我们讨论了几个备选方案. Sam的信: 我做了进一步研究,目前有这么几种做法: 1) 最直接粗暴,只做一个主index,比如按行业+ ...
- Ubuntu 14 Trusty安装hue
想开始学习一下hive,需要一个使用起来方便的客户端,网上搜了一下发现hue是个很常用的工具.于是,就在自己的ubuntu14系统里,尝试安装hue.下面就是自己的安装步骤,记录如下: 1.先查看自己 ...
- #数据技术选型#即席查询Shib+Presto,集群任务调度HUE+Oozie
郑昀 创建于2014/10/30 最后更新于2014/10/31 一)选型:Shib+Presto 应用场景:即席查询(Ad-hoc Query) 1.1.即席查询的目标 使用者是产品/运营/销售 ...
- Solr图形化界面banana:除Hue之外的选择
最近Hue+Solr 方案原型验证有了一些进展.正好也收到了Google的大数据专家Sam的来件询问进展,我答复如下: Sam, 你好. 已经把Kafka+flume+solr的实时索引搭建起来了, ...
- hue install
http://ju.outofmemory.cn/entry/105162 Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera ...
- json数据处理实战:Kafka+Flume+Morphline+Solr+Hue数据组合索引
背景:Kafka消息总线的建成,使各个系统的数据得以在kafka节点中汇聚,接下来面临的任务是最大化数据的价值,让数据“慧”说话. 环境准备: Kafka服务器*3. CDH 5.8.3服务器*3,安 ...
- 使用hue+oozi构建任务调度系统
oozie调度系统调研 1. 关于oozie的简单说明 oozie应用程序目录结构说明: 一个完整的oozie应用程序一般情况下至少包含三个文件及目录:job.properties.workflow. ...
- Hue整合Sqoop报空指针异常的解决方法
hue是一个Apache基金会下的一个开源图形化管理工具,使用python语言开发,使用的框架是Django.而sqoop也是Apache的一个开源工具,是使用Java语言开发,主要用于进行hdfs和 ...
- HUE的时区问题
转自 http://molisa.iteye.com/blog/1953390 我主要是根据这个说明调整的HUE的时区问题 在使用Cloudera Hue时遇到一问题: 1. 使用Sqoop导入功 ...
随机推荐
- The first day to learn Englisht
IF you want to go fast,to alone. IF you want to go far,go with others.
- 【转】Thread.sleep(0)的意义
Thread.sleep(0)的意义 2012-03-23 17:47 2188人阅读 评论(2) 收藏 举报 windows算法unixthread 我们可能经常会用到 Thread.Sleep 函 ...
- oracle xmltype导入并解析Excel数据 (二)规则说明
规则表字段说明如下: 其中RULE_FUNC_CUSTOMIZE表示,用户自己写函数,去判断数据是否合法,存储的是函数的名字 此函数的参数只有一个,该列的值,字段类型是Varchar2, 校验失败的话 ...
- linux命令:tar
1.命令介绍: tar用来打包,压缩和解压文件. 2.命令格式: tar [选项] 文件 3.命令参数: 必要参数有如下: -A 新增压缩文件到已存在的压缩 -B 设置区块大小 -c 建立新的压缩文件 ...
- spring.net 如何让xml智能提示
tools ->options ->Text Editor ->xml ->miscellaneous ->network ->勾选 automatically d ...
- 【转】浅思OC的语言特性
算了算,学习IOS已经有一段时间了.今天花了点时间思考一下OC的语言特性,让自己的心不要那么浮躁,注重基础,回归本源. OC做为一门面向对象语言,自然具有面向对象的语言特性,如封装.继承.多态.他具有 ...
- Dojo
dojo的类机制支持类声明.继承.调用父类方法等功能.dojo在底层实现上是通过操作原型链来实现其类机制的,而在实现继承时采用类式继承的方式.值得一提的是,dojo的类机制允许进行多重继承(注意,只有 ...
- 关于MOOC的学习总结
20125133 马国祥 原创作品转载请注明出处 + <Linux内核分析>MOOC课程http://mooc.study.163.com/course/USTC-1000029000 对 ...
- G - 小希的迷宫
Time Limit:1000MS Memory Limit:32768KB 64bit IO Format:%I64d & %I64u Submit Status Pract ...
- T卡热插拔
1.配置: GPIO 管脚 GPIO方向 Debounce polarity Sensitive_level Host1 CDpin (EINT16) 16 INPUT PULL UP Enable ...