通过Cloudera Manager部署CDH5.15.1的webUI界面详解

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。

　　本篇博客CDH的部署完全通过Cloudera Manager的webUI的安装向导来完成的，关于CM的部署详情请参考：https://www.cnblogs.com/yinzhengjie/p/9495964.html。

一.安装CHD的服务

1>.CM的webUI界面默认的用户名/密码都是小写的admin,我们输入用户名和密码进行登录。操作如下：

2>.同一CM的协议，点击继续

3>.选择CM的免费版本

4>.点击继续

5>.为 CDH 群集安装指定主机

6>.选择CDH本地版本（即我们自己下载好的版本）

7>.CDH的默认存放路径介绍

8>.当CDH安装完毕后，点击继续

9>.等待检查主机完成

10>.我们可以根据下面的提示去相应的服务器做具体的操作，做完操作后点击“重新运行”以验证你是否配置成功！

11>.解决告警信息后，点击完成

  1. [root@node101 ~]# xcall.sh date -R
  2. ============= node101.yinzhengjie.org.cn : date -R ============
  3. Thu,  Sep  :: +
  4. 命令执行成功
  5. ============= node102.yinzhengjie.org.cn : date -R ============
  6. Thu,  Sep  :: +
  7. 命令执行成功
  8. ============= node103.yinzhengjie.org.cn : date -R ============
  9. Thu,  Sep  :: +
  10. 命令执行成功
  11. [root@node101 ~]#

验证时区是否修改过来了（[root@node101 ~]# xcall.sh date -R）

  1. [root@node101 ~]# xcall.sh "echo 10 > /proc/sys/vm/swappiness"
  2. ============= node101.yinzhengjie.org.cn : echo  > /proc/sys/vm/swappiness ============
  3. 命令执行成功
  4. ============= node102.yinzhengjie.org.cn : echo  > /proc/sys/vm/swappiness ============
  5. 命令执行成功
  6. ============= node103.yinzhengjie.org.cn : echo  > /proc/sys/vm/swappiness ============
  7. 命令执行成功
  8. [root@node101 ~]#
  9. [root@node101 ~]# xcall.sh cat /proc/sys/vm/swappiness
  10. ============= node101.yinzhengjie.org.cn : cat /proc/sys/vm/swappiness ============
  11.  
  12. 命令执行成功
  13. ============= node102.yinzhengjie.org.cn : cat /proc/sys/vm/swappiness ============
  14.  
  15. 命令执行成功
  16. ============= node103.yinzhengjie.org.cn : cat /proc/sys/vm/swappiness ============
  17.  
  18. 命令执行成功
  19. [root@node101 ~]#

[root@node101 ~]# xcall.sh "echo 10 > /proc/sys/vm/swappiness"

  1. [root@node101 ~]# xcall.sh "echo never > /sys/kernel/mm/transparent_hugepage/defrag"
  2. ============= node101.yinzhengjie.org.cn : echo never > /sys/kernel/mm/transparent_hugepage/defrag ============
  3. 命令执行成功
  4. ============= node102.yinzhengjie.org.cn : echo never > /sys/kernel/mm/transparent_hugepage/defrag ============
  5. 命令执行成功
  6. ============= node103.yinzhengjie.org.cn : echo never > /sys/kernel/mm/transparent_hugepage/defrag ============
  7. 命令执行成功
  8. [root@node101 ~]#
  9. [root@node101 ~]# xcall.sh cat  /sys/kernel/mm/transparent_hugepage/defrag
  10. ============= node101.yinzhengjie.org.cn : cat /sys/kernel/mm/transparent_hugepage/defrag ============
  11. always madvise [never]
  12. 命令执行成功
  13. ============= node102.yinzhengjie.org.cn : cat /sys/kernel/mm/transparent_hugepage/defrag ============
  14. always madvise [never]
  15. 命令执行成功
  16. ============= node103.yinzhengjie.org.cn : cat /sys/kernel/mm/transparent_hugepage/defrag ============
  17. always madvise [never]
  18. 命令执行成功
  19. [root@node101 ~]#

[root@node101 ~]# xcall.sh "echo never > /sys/kernel/mm/transparent_hugepage/defrag"

  1. [root@node101 ~]# xcall.sh "echo never > /sys/kernel/mm/transparent_hugepage/enabled"
  2. ============= node101.yinzhengjie.org.cn : echo never > /sys/kernel/mm/transparent_hugepage/enabled ============
  3. 命令执行成功
  4. ============= node102.yinzhengjie.org.cn : echo never > /sys/kernel/mm/transparent_hugepage/enabled ============
  5. 命令执行成功
  6. ============= node103.yinzhengjie.org.cn : echo never > /sys/kernel/mm/transparent_hugepage/enabled ============
  7. 命令执行成功
  8. [root@node101 ~]#
  9. [root@node101 ~]# xcall.sh "cat /sys/kernel/mm/transparent_hugepage/enabled"
  10. ============= node101.yinzhengjie.org.cn : cat /sys/kernel/mm/transparent_hugepage/enabled ============
  11. always madvise [never]
  12. 命令执行成功
  13. ============= node102.yinzhengjie.org.cn : cat /sys/kernel/mm/transparent_hugepage/enabled ============
  14. always madvise [never]
  15. 命令执行成功
  16. ============= node103.yinzhengjie.org.cn : cat /sys/kernel/mm/transparent_hugepage/enabled ============
  17. always madvise [never]
  18. 命令执行成功
  19. [root@node101 ~]#

[root@node101 ~]# xcall.sh "echo never > /sys/kernel/mm/transparent_hugepage/enabled"

12>.自定义需要安装的服务

13>.分配角色

14>.等待审核

15>.集群设置

16>.等待安装完成

17>.完成安装后，点击继续

18>.CDH部署成功界面

19>.进入CDH主界面

 二.验证CHD服务是否可用

1>.验证zookeeper是否可以正常使用

  1. [root@node101 ~]# zookeeper-client -server node101.yinzhengjie.org.cn
  2. Connecting to node101.yinzhengjie.org.cn
  3. -- ::, [myid:] - INFO  [main:Environment@] - Client environment:zookeeper.version=3.4.-cdh5.15.1--, built on // : GMT
  4. -- ::, [myid:] - INFO  [main:Environment@] - Client environment:host.name=node101.yinzhengjie.org.cn
  5. -- ::, [myid:] - INFO  [main:Environment@] - Client environment:java.version=1.8.0_131
  6. -- ::, [myid:] - INFO  [main:Environment@] - Client environment:java.vendor=Oracle Corporation
  7. -- ::, [myid:] - INFO  [main:Environment@] - Client environment:java.home=/soft/jdk1..0_131/jre
  8. -- ::, [myid:] - INFO  [main:Environment@] - Client environment:java.class.path=/opt/cloudera/parcels/CDH-5.15.-.cdh5.15.1.p0./lib/zookeeper/bin/../build/classes:/opt/cloudera/parcels/CDH-5.15.-.cdh5.15.1.p0./lib/zookeeper/bin/../build/lib/*.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/zookeeper/bin/../lib/slf4j-log4j12.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/zookeeper/bin/../lib/slf4j-log4j12-1.7.5.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/zookeeper/bin/../lib/slf4j-api-1.7.5.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/zookeeper/bin/../lib/netty-3.10.5.Final.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/zookeeper/bin/../lib/log4j-1.2.16.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/zookeeper/bin/../lib/jline-2.11.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/zookeeper/bin/../zookeeper-3.4.5-cdh5.15.1.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/zookeeper/bin/../src/java/lib/*.jar:/etc/zookeeper/conf::/etc/zookeeper/conf:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/bin/../lib/zookeeper/zookeeper.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/bin/../lib/zookeeper/zookeeper-3.4.5-cdh5.15.1.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/bin/../lib/zookeeper/lib/slf4j-log4j12.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/bin/../lib/zookeeper/lib/slf4j-log4j12-1.7.5.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/bin/../lib/zookeeper/lib/slf4j-api-1.7.5.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/bin/../lib/zookeeper/lib/netty-3.10.5.Final.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/bin/../lib/zookeeper/lib/log4j-1.2.16.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/bin/../lib/zookeeper/lib/jline-2.11.jar
  9. 2018-09-15 11:26:03,630 [myid:] - INFO  [main:Environment@100] - Client environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
  10. 2018-09-15 11:26:03,630 [myid:] - INFO  [main:Environment@100] - Client environment:java.io.tmpdir=/tmp
  11. 2018-09-15 11:26:03,630 [myid:] - INFO  [main:Environment@100] - Client environment:java.compiler=<NA>
  12. 2018-09-15 11:26:03,630 [myid:] - INFO  [main:Environment@100] - Client environment:os.name=Linux
  13. 2018-09-15 11:26:03,631 [myid:] - INFO  [main:Environment@100] - Client environment:os.arch=amd64
  14. 2018-09-15 11:26:03,631 [myid:] - INFO  [main:Environment@100] - Client environment:os.version=3.10.0-327.el7.x86_64
  15. 2018-09-15 11:26:03,631 [myid:] - INFO  [main:Environment@100] - Client environment:user.name=root
  16. 2018-09-15 11:26:03,631 [myid:] - INFO  [main:Environment@100] - Client environment:user.home=/root
  17. 2018-09-15 11:26:03,631 [myid:] - INFO  [main:Environment@100] - Client environment:user.dir=/root
  18. 2018-09-15 11:26:03,632 [myid:] - INFO  [main:ZooKeeper@438] - Initiating client connection, connectString=node101.yinzhengjie.org.cn sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@506c589e
  19. Welcome to ZooKeeper!
  20. 2018-09-15 11:26:03,650 [myid:] - INFO  [main-SendThread(node101.yinzhengjie.org.cn:2181):ClientCnxn$SendThread@975] - Opening socket connection to server node101.yinzhengjie.org.cn/172.30.1.101:2181. Will not attempt to authenticate using SASL (unknown error)
  21. JLine support is enabled
  22. 2018-09-15 11:26:03,710 [myid:] - INFO  [main-SendThread(node101.yinzhengjie.org.cn:2181):ClientCnxn$SendThread@852] - Socket connection established, initiating session, client: /172.30.1.101:60205, server: node101.yinzhengjie.org.cn/172.30.1.101:2181
  23. 2018-09-15 11:26:03,720 [myid:] - INFO  [main-SendThread(node101.yinzhengjie.org.cn:2181):ClientCnxn$SendThread@1235] - Session establishment complete on server node101.yinzhengjie.org.cn/172.30.1.101:2181, sessionid = 0x265db13b97d0001, negotiated timeout = 30000
  24.  
  25. WATCHER::
  26.  
  27. WatchedEvent state:SyncConnected type:None path:null
  28. [zk: node101.yinzhengjie.org.cn(CONNECTED) 0]

登录zookeeper集群（[root@node101 ~]# zookeeper-client -server node101.yinzhengjie.org.cn Connecting to node101.yinzhengjie.org.cn）

  1. [zk: node101.yinzhengjie.org.cn(CONNECTED) ] ls /
  2. [zookeeper]
  3. [zk: node101.yinzhengjie.org.cn(CONNECTED) ] quit
  4. Quitting...
  5. -- ::, [myid:] - INFO  [main:ZooKeeper@] - Session: 0x265db13b97d0001 closed
  6. -- ::, [myid:] - INFO  [main-EventThread:ClientCnxn$EventThread@] - EventThread shut down
  7. You have new mail in /var/spool/mail/root
  8. [root@node101 ~]#
  9. [root@node101 ~]#

2>.查看hdfs目录信息（注意权限，如果你想要往指定目录写数据的话，可以指定ACL）

  1. [root@node101 ~]# hdfs dfs -ls -R /
  2. drwxrwxrwt   - hdfs supergroup           -- : /tmp
  3. drwxrwxrwt   - mapred hadoop               -- : /tmp/logs
  4. drwxr-xr-x   - hdfs   supergroup           -- : /user
  5. drwxrwxrwx   - mapred hadoop               -- : /user/history
  6. drwxrwx---   - mapred hadoop               -- : /user/history/done
  7. ls: Permission denied: user=root, access=READ_EXECUTE, inode="/user/history/done":mapred:hadoop:drwxrwx---
  8. drwxrwxrwt   - mapred hadoop               -- : /user/history/done_intermediate
  9. [root@node101 ~]#

3>.查看hdfs的webUI界面

　　查看hdfs的界面如下，试试有种似曾相识的感脚？

通过Cloudera Manager部署CDH5.15.1的webUI界面详解的更多相关文章

  1. Ubuntu安装Cloudera Manager以及CDH5.15.2

    一.机子分配 注意,本安装教程是在真机上进行,而非虚拟机.另,此次搭建主要的目的是搭建测试环境,让Hadoop各组件能够运作起来即可,完成搭建后,将用小数据量进行相关数据的计算与测试.线上环境将会使用 ...

  2. 手动安装cloudera manager 5.x（tar包方式）详解

    官方共给出了3中安装方式:第一种方法必须要求所有机器都能连网,由于最近各种国外的网站被墙的厉害,我尝试了几次各种超时错误,巨耽误时间不说,一旦失败,重装非常痛苦.第二种方法下载很多包.第三种方法对系统 ...

  3. CentOS 7下Cloudera Manager及CDH 6.0.1安装过程详解

    目录 一.概念介绍 1.CDH 概览 2.Cloudera Manager 概览 二.环境准备 1.软件版本选择 2.节点准备(四个节点) 3.配置主机名和hosts解析(所有节点) 4.关闭防火墙 ...

  4. 使用Cloudera Manager部署Kafka消息队列

    使用Cloudera Manager部署Kafka消息队列 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.下载需要安装的Kafka版本 1>.查看Cloudera Dis ...

  5. 使用Cloudera Manager部署HUE

    使用Cloudera Manager部署HUE 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.   一.添加HUE服务 1>.进入CM服务安装向导 2>.选择需要安装的h ...

  6. 使用Cloudera Manager部署oozie

    使用Cloudera Manager部署oozie 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 1>.进入CM服务安装向导 2>.选择要添加的oozie服务 3> ...

  7. 使用Cloudera Manager部署Spark服务

    使用Cloudera Manager部署Spark服务 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 1>.点击添加服务进入CM服务安装向导 2>.选择需要安装的spa ...

  8. Cloudera CDH 、Impala本地通过Parcel安装配置详解及什么是Parcel

    本文引用自:Cloudera CDH .Impala本地通过Parcel安装配置详解及什么是Parcelhttp://www.aboutyun.com/forum.php?mod=viewthread ...

  9. Cloudera Manager 安装 CDH5

    文档说明 本文是针对Linux CentOS6服务器与CDH5.15的安装手册. 关于CDH和ClouderaManager CDH(Cloudera's Distribution, includin ...

随机推荐

  1. 《Linux内核设计与实现》读书笔记 1&2

    第一章    Linux内核简介 1.2追寻Linus足迹:linux简介 Linus开发.Linux是类Unix系统.Linux内核也是自由软件. 1.3操作系统和内核简介 操作系统:在整个系统中负 ...

  2. 《面向对象程序设计》第三次作业 Calculator

    c++第三次作业 Calculator git上的作业展示点这里. ps:有一点不是很明确,作业要求:将数字和符号提取出来,得到一组string,然后才将这些string存入队列中.按我的理解是需要将 ...

  3. 【软件工程Ⅱ】作业四 |个人项目-小学四则运算 “软件”之初版(C语言)

    本次作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2186 本次作业代码的github地址:https://gith ...

  4. DockerHub使用简介

    常用的Docker镜像文件都有,就不用自己费劲的一点点配置了,这才是Docker的真正目的.就像Ghost里边含office,直接还原,不用一台台机器安装呢,省时省力,与高效工作的理念相契合. 至于, ...

  5. Linux中gcc与g++编译器的区别

    一.对于C文件 对于C文件gcc和g++所做的事情确实是一样的,g++在编译C文件时调用了gcc. 二.对于C++文件 1.预处理 预处理gcc与g++做了相同的事. 2.编译 gcc无法自动和c++ ...

  6. php 7.1 openssl_decrypt() 代替 mcrypt_module_open() 方法

    公司开发微信第三方平台,之前用着一直是没有问题的.后来服务器到期进行项目搬迁就怎么也接收不到微信每10分钟的ticketle. 经过调试发现php版本由原来的7.0升到了7.1(该死....为什么没人 ...

  7. ubuntu ftp服务

    apt-get install vsftpd apt-get update vi /etc/apt/sources.list vim  /etc/vsftpd.conf service vsftpd ...

  8. 二叉排序树类的： C++ 实现

    #include<iostream> using namespace std; template<class T> struct TreeNode { T element; T ...

  9. React learn path

    React learn path The Road to learn React https://github.com/the-road-to-learn-react https://roadtore ...

  10. 如何禁止复制电脑文件到U盘、禁止U盘拷贝文件

    在公司局域网中,有时候我们处于保护电脑文件安全和商业机密的需要,会禁止局域网电脑使用U盘.禁用USB存储设备:或者禁止通过U盘复制电脑文件.禁止U盘拷贝公司电脑文件.那么,怎样实现呢?本文提供两种方法 ...