centos 安装hue 4.0

Hue是Cloudera开源的一个Hadoop UI，由Cloudera Desktop演化而来。面向用户提供方便的UI用于平时的Hadoop操作中。Apache Ambari面向的是管理员，用于安装、维护集群，而不是使用集群。两者针对的是不同需求。

Hue安装：

 

官网教程：http://gethue.com/hadoop-hue-3-on-hdp-installation-tutorial/

 

 

依赖安装：

 

sudo yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel  gmp-devel openssl-devel  

（不同环境的依赖包参考这里）

JDK安装

这里必须安装oracle JDK（具体参考这里）

 

Maven和Ant安装

Hue的安装过程需要依赖于Maven和Ant，按常规方法安装Maven和Ant，配置MAVEN_HOME,ANT_HOME，并将bin目录加入PATH。具体步骤略。

 

MAV（apache-maven 或者  maven3 tarball ）这里安装的是apache-maven

 

sudo wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo

 

sudo sed -i s/\$releasever/6/g /etc/yum.repos.d/epel-apache-maven.repo

 

sudo yum install -y apache-maven

 

mvn --version

 

如果网络带宽足够可以略过此步骤，这里配置maven更新源，主要使用的是阿里的源

 

# 配置文件所在的位置是/etc/maven/settings.xml

<mirrors>

     <mirror>

         <id>alimaven</id>

         <mirrorOf>central</mirrorOf>

         <name>aliyun maven</name>

         <url>http://maven.aliyun.com/nexus/content/groups/public/</url>

     </mirror>

 

     <mirror>

         <id>ui</id>

         <mirrorOf>central</mirrorOf>

         <name>Human Readable Name for this Mirror.</name>

         <url>http://uk.maven.org/maven2/</url>

     </mirror>

 

     <mirror>

         <id>jboss-public-repository-group</id>

         <mirrorOf>central</mirrorOf>

         <name>JBoss Public Repository Group</name>

         <url>http://repository.jboss.org/nexus/content/groups/public</url>

     </mirror>

 </mirrors>

可以从本地导入hue安装包，也可以直接使用wget下载，wget需要sudo权限

下载安装hue

 

 sudo wget https://dl.dropboxusercontent.com/u/730827/hue/releases/4.0.1/hue-4.0.1.tgz

 tar zxvf hue-4.0.1.tgz

 cd hue-4.0.1.tgz

 #安装

 make apps

如果编译出现问题，需要重新clean，再编译

 

make clean

make apps

 

配置Hue

Hue的配置集中在$HUE_HOME/desktop/conf/hue.ini文件，针对不同的Hadoop组件分段配置。详细配置文件参考这里。下面是我的配置示例：

注意，这里设置的主机的域名为master，配置时需要根据实际情况进行配置

Hue

 

secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o

http_host=0.0.0.0

http_port=8888

server_user=hue

server_group=hue

default_user=hue

default_hdfs_superuser=hue

 注意：这默认的账户为hue，如果你配置的账户和我的不相同，请在hadoop代理配置中保持一致

否则会出现一些列关于权限的问题如：

Hadoop/HDFS

fs_defaultfs=hdfs://master:9000

webhdfs_url=http://master:50070/webhdfs/v1

hadoop_conf_dir=/home/hadoop/hadoop-2.6.0/etc/hadoop

 

YARN

 resourcemanager_host=master

 resourcemanager_port=8032

 resourcemanager_api_url=http://master:18088

 proxy_api_url=http://master:18088

 history_server_api_url=http://master:19888

 

 

HBase

 hbase_clusters=(Cluster|master:9090)

 hbase_conf_dir=/home/hadoop/hbase-1.0.1.1/conf

 

 

Hive

 hive_server_host=master

 hive_server_port=10000

 hive_conf_dir=/home/hadoop/apache-hive-1.2.1-bin/conf

 

 

Pig

 # Location of piggybank.jar on local filesystem.

 ## local_sample_dir=/usr/share/hue/apps/pig/examples

 # Location piggybank.jar will be copied to in HDFS.

 ## remote_data_dir=/user/hue/pig/examples

 

 

Sqoop2

 server_url=http://master:12000/sqoop

 sqoop_conf_dir=/home/sqoop-1.99.6/conf

hadoop配置

在hdfs-site.xml添加

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>

在core-site.xml添加

<!-- enable WebHDFS in the NameNode and DataNodes -->
<property> 
　　<name>dfs.webhdfs.enabled</name> 
　　<value>true</value> 
</property>
<!-- Hue WebHDFS proxy user setting -->
<property>
  <name>hadoop.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hue.groups</name>
  <value>*</value>
</property>

<property>
<name>hadoop.proxyuser.httpfs.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.httpfs.groups</name>
<value>*</value>
</property>  

注意：这里使用的webHDFS，如果需要httpFS，请参考官网进行配置

配置成功以后需要重新启动hadoop集群，注意需要将配置问题同步到所有主机上

启动及界面

启动

首先启动Hadoop集群中的HDFS，YARN，HBase等相关组件。
然后在$HUE_HOME目录下：

1. nohup build/env/bin/supervisor &

根据配置的端口访问，我这里是8888端口：

首次访问时，会让你设置用户名和密码，这个是超级管理账号。登陆后：

HBase界面

先要启动HBase的Thrift Server：

1. % start-hbase.sh
2. % hbase-daemon.sh start thrift -p 9090

Hive界面

首先要启动HiverServer2

1. % hiveserver2

Hive查询：

异常情况：

1. Hive metastore异常：
2. Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mechanism available: No worthy mechs found

解决方案：安装sasl缺失的依赖,确保安装了以下依赖：

Sqoop作业

Pig脚本

作业执行情况

启动Spark-shell后：

文件浏览

hue4的界面和hue3部分不相同，界面提供了切换选项：

hue参考资料

Hue项目：
http://gethue.com/
https://github.com/cloudera/hue

Hue安装配置实践：
http://www.tuicool.com/articles/zIrqemB

Hue3.9 Tarball安装：
http://blog.csdn.net/bluishglc/article/details/48393291

 

Hue安装及问题：

http://blog.csdn.net/wenlong237/article/details/19735603 http://blog.csdn.net/zhoujj303030/article/details/44832363