Cloudera Manager 4.6 安装详解

1. Cloudera Manager介绍

1.1. 功能介绍

Cloudera Manager是一个针对hadoop集群的管理工具,功能包括:cdh的安装,集群的活动监控、各个性能指标的监控,以及各个组件的管理等。

1.2. 架构介绍

Cloudera Manager分为客户端(Cloudera Manager Agent)和服务端(Cloudera Manager Server),客户端会把采集到的数据发送到服务端,服务端把这些数据存放在数据库中,用户可以在Cloudera Manager管理页面查看数据以及相关的图表。如下图:

1.3. 版本支持

笔者这里安装的的CDH版本是4.6,所以安装的Cloudera Manager版本是4.6,支持CDH3 Update 1 (cdh3u1)或更新版,还有CDH4.0或更新版。强烈建议安装CDH3 Update2或更新版。

1.4. Cloudera Manager会安装哪些组件

  • 安装Cloudera Manager时

安装Cloudera Manager时会在安装Cloudera Manager Server的主机上安装Cloudera Manager和Oracle的jdk(支持1.6和1.7)

  • 使用Cloudera Manager安装集群时

在安装完Cloudera Manager后第一次打开后台管理界面时,会自动跳转到向导页。

集群中的每个主机上都会安装Cloudera Manager Agent和Oracle的jdk。

可以根据自己的选择来安装CDH和Impala等。

2. Cloudera Manager安装前准备

2.1. 数据库准备

  • 如果使用Cloudera Manager来安装默认的数据库,默认安装的话,Cloudera Manager会给oozie配置Derby数据库,为Hue配置SQLite数据库,会使用嵌入式的PostgreSQL数据库来提供存放Hive的元数据。活动监控,服务监控,报告监控以及主机监控的数据会存放在嵌入式的PostgreSQL数据库里。这种方法不需要额外配置数据库,Cloudera Manager可自行安装配置。
  • 为Cloudera Manager配置外部的数据库服务

笔者比较习惯用mysql,在安装Cloudera Manager之前,需要给支好mysql,用Cloudera Manager安装集群的话,安装选项中只有为hive、服务监控、活动监控、主机监控配置外部数据库的选项,oozie、hue等数据可在安装完成后,在管理界面中配置安装。具体操作见下。

  • 数据库中各个服务产生的数据量

  Cloudera Manager数据库:

这是数据库中最重要的数据库,包含了所有服务的配置:角色分配、配置历史、命令、用户以及运行的进程这个数据库一般只有100MB大小左右。

  活动监控数据库:

包含了集群中过往的活动信息,在一个大的集群中数据量是很大的,GB级别。

  服务监控数据库:

包含了后台进程的监控信息。在大的集群中,这个库的大小会很大的。

  报告管理数据库:

全天候监控磁盘使用情况。数据库的大小适中。

  主机管理数据库:

记录了主机的状态。集群中的主机个数将会直接影响数据库的大小。

  • 数据库的最大连接数设置

给每个数据库要允许设置100个最大的连接数,另外在额外添加50个连接数。若有2个服务使用一个数据库系统,则给该数据库系统设置250个最大连接数。

例如:给活动监控、服务监控、报告管理、主机监控、Cloudera Manager服务器、Cloudera仪表和Hive元数据这7个服务使用同一个数据库,那么数据库的最大连接数设置最少为750个。

2.2. 操作系统的需要

在Cloudera Manager4.6.0下,支持一下操作系统(本文中的实验环境是Ubuntu12.04 64-bit):

  • Red Hat

    • Red Hat Enterprise Linux 5.7 and CentOS 5.7, 64-bit
    • Red Hat Enterprise Linux 6.2 and 6.4, and CentOS 6.2 and 6.4, 64-bit
    • Oracle Enterprise Linux 5.6 with Unbreakable Enterprise Kernel, 64-bit
  • SLES
    • SUSE Linux Enterprise Server 11, 64-bit. Service Pack 1或更新,需要组件SUSE Linux Enterprise Software Development Kit 11 SP1
  • Debian
    • Debian 6.0 (Squeeze), 64-bit
  • Ubuntu
    • Ubuntu 10.04  64-bit
    • Ubuntu 12.04  64-bit

2.3. 浏览器的需要

  • Firefox 11 或 更新
  • Google Chrome
  • Internet Explorer 9
  • Safari 5 或 更新

2.4. 安全验证的需要

安装过程中有两种安全验证的方法:

  • 集群中的所有主机都需要配置配置一个同样的拥有sudo权限的账户名和密码
  • 用Cloudera Manager的ssh公钥来连接其它的主机,前提是已配置好了

3. 安装Cloudera Manager

3.1. 数据库安装(MySQL)

  • 安装MySQL服务
  1. $ sudo apt-get install mysql-server
  • 启动MySQL守护进程
  1. $ sudo service mysql start
  • 配置InnoDB引擎

不同版本的数据库设置可能不一样的,登进mysql后查看数据库是否已经启用了InnoDB引擎,笔者用的版本是5.5.38,默认是启用了。

为使得数据库能有发挥更好的性能,推荐一下配置:

  1. [mysqld]
  2. transaction-isolation=READ-COMMITTED
  3. # Disabling symbolic-links is recommended to prevent assorted security risks;
  4. # to do so, uncomment this line:
  5. # symbolic-links=
  6.  
  7. key_buffer = 16M
  8. key_buffer_size = 32M
  9. max_allowed_packet = 16M
  10. thread_stack = 256K
  11. thread_cache_size =
  12. query_cache_limit = 8M
  13. query_cache_size = 64M
  14. query_cache_type =
  15. # Important: see Configuring the Databases and Setting max_connections
  16. max_connections =
  17.  
  18. # log-bin should be on a disk with enough free space
  19. log-bin=/x/home/mysql/logs/binary/mysql_binary_log
  20.  
  21. # For MySQL version 5.1. or later. Comment out binlog_format for older versions.
  22. binlog_format = mixed
  23.  
  24. read_buffer_size = 2M
  25. read_rnd_buffer_size = 16M
  26. sort_buffer_size = 8M
  27. join_buffer_size = 8M
  28.  
  29. # InnoDB settings
  30. innodb_file_per_table =
  31. innodb_flush_log_at_trx_commit =
  32. innodb_log_buffer_size = 64M
  33. innodb_buffer_pool_size = 4G
  34. innodb_thread_concurrency =
  35. innodb_flush_method = O_DIRECT
  36. innodb_log_file_size = 512M
  37.  
  38. [mysqld_safe]
  39. log-error=/var/log/mysqld.log
  40. pid-file=/var/run/mysqld/mysqld.pid
  • 配置数据库允许远程连接
  1. mysql>grant all privileges on *.* to 'root'@'%' identified by 'mysqlpasswd’ with grant option;

其中的root是用户,mysqlpasswd是密码。

  • 在集群中的每台主机上安装mysql的jdbc包
  1. $ sudo apt-get install libmysql-java
  • 在/etc/mysql/my.cnf里配置mysql所在主机的ip
  1. bind-address=127.0.0.1

127.0.0.1是连接数据库使用的ip。

3.2. 安装Cloudera Manager

  • 去http://www.cloudera.com/content/support/en/downloads/cloudera_manager/cm-4-6-0.html这里下载你需要的Cloudera Manager。笔者这里使用的是4.7。
  • 将下载好的cloudera-manager-installer.bin上传到Cloudera Manager Server主机上,可以不是集群里的主机。
  • 给它可执行的权限:
  1. $ chmod u+x cloudera-manager-installer.bin
  • 运行cloudera-manager-installer.bin
  1. $ sudo ./cloudera-manager-installer.bin

出现README如下图:

选择NEXT出现证书信息:

选择Next,进入证书确认的画面:

选择YES,进入Oracle证书信息页面:

选择NEXT,进入Oracle的证书确认界面:

选择YES进入JDK安装画面,默认安装的是Oracle的JDK1.6:

安装完成后进入下边画面,这里有你访问Cloudera Manager的链接(默认端口是7180)和账户名密码(admin)等信息:

后边一直选择ok,结束安装:

到此,可以确定访问Cloudera Manager的链接是http://192.168.1.130:7180。

4. 用Cloudera Manager安装CDH

4.1. 选择安装的版本

第一次访问上述链接时,登陆后会自动跳转到Cloudera Manager安装向导上,默认的账户名和密码都是admin:

笔者在这里选择的是Cloudera Standard版(标准版),点击Continue进入下个页面:

4.2. 确定集群中的主机

点击Continue进入下个页面:

在这里可以填写集群中各个主机的地址或是主机名,你可以指定多个地址和地址范围,可以用逗号、分号、制表符、空格键或是换行符来把它们隔开。这样可以实行更具体的搜索,而不是在一个过宽的范围里搜索。如果使用IP范围或主机名范围来搜索的话,具体格式如下表格:

使用这个扩展范围

指定了这些主机

10.1.1.[1-4]

10.1.1.1, 10.1.1.2, 10.1.1.3, 10.1.1.4

host[1-3].company.com

host1.company.com, host2.company.com, host3.company.com

host[07-10].company.com

host07.company.com, host08.company.com, host09.company.com, host10.company.com

画面如下:

点击Search进入搜索结果画面:

4.3. 确定安装的CDH的仓库,以及其它组件

确认主机没有问题的话,点击Continue,进入安装仓库配置页面:

这里推荐是使用Parcels安装,可以在More Options里填写你选择的安装仓库,这个仓库就决定了你安装的CDH版本,这里选择的是http://archive.cloudera.com/cdh4/parcels/4.6.0/。注意,如果你添加了别的仓库,这里的CDH版本将可能会发生变化,如果你需要安装SOLR和IMPALA,请添加新的SOLR和IMPALA仓库,确保CDH、SOLR、IMPALA三者的版本能保持兼容。如果在这里没有选择SOLR和IMPALA,那么在后边选择安装服务的时候,也不能选择它们,切记!

4.4. 配置使用用户名密码还是公钥验证主机登录

如下图:

4.5. 安装JDK和Cloudera Manager Agent

点击Continue进入安装Oracle的JDK和Cloudera Manager Agent,如下图:

上面这一步若是出错,很有可能是你没有配置合适的主机名,请检查主机名和hosts文件里的列表。

4.6. 分配安装包到集群中的各个节点上

安装完成后点击Continue,进入Parcel的安装:

安装完成后会出现核对的画面:

4.7. 选择安装的组件

确认没有问题的话,点击Continue进入下边画面:

在这个页面里,选择你要安装的组件,注意,如果你在之前没有选择添加Impala的仓库,在这里不要选择它,否则后边的安装会出现错误。

点击Inspect Role Assignment进入各节点的角色分配列表,如下:

Cloudera Manager会经过一系列(硬件性能)的计算自动给各个节点分配最适合的角色。在这里你可以根据自己的需求对角色的分配进行适当的修改。

4.8. 配置数据库

然后点击Continue进入数据库的配置画面:

配置好数据库的InnoDB引擎、远程连接、主机的地址等在这里才可以测试成功,具体配置见上文。点击Continue,进入配置确认页面:

4.9. 完成安装

确认无误,点击Continue,进行集群的首次启动。启动成功后选择Continue,进入了后台管理的主界面。

这里出现这些提示主要是因为各个节点的内存小了,重新添加内存后,集群环境健康:

至于如何使用Cloudera Manager来管理这个集群环境,稍加熟悉后应该就可以掌握了。

4.10. Oozie的数据库配置

如果有必要修改oozie使用其它的数据库,请继续看下边:

  • 在Service里进入oozie服务,在Oozie Server(Default)里选择Database,然后对数据库类型、数据库名、数据库地址、用户名以及密码进行设置,保存修改。
  • 然后在数据库中手动建一个上边填写的数据库(Cloudera Manager后台管理里在Action里是可以建库的,但在这里暂时出了点问题,建不了。手动建库其实是一种妥协)。
  • 启动Oozie服务。

Cloudera Manager 4.6 安装部署hadoop CDH集群的更多相关文章

  1. Cloudera Manager安装_搭建CDH集群

    2017年2月22日, 星期三 Cloudera Manager安装_搭建CDH集群 cpu   内存16G 内存12G 内存8G 默认单核单线 CDH1_node9 Server  || Agent ...

  2. Centos7 安装部署Kubernetes(k8s)集群

    目录 一.系统环境 二.前言 三.Kubernetes 3.1 概述 3.2 Kubernetes 组件 3.2.1 控制平面组件 3.2.2 Node组件 四.安装部署Kubernetes集群 4. ...

  3. hadoop学习笔记之一步一步部署hadoop分布式集群

    一.准备工作 同一个局域网中的三台linux虚拟机,我用的是redhat6.4,如果主机是windows操作系统,可以先安装vmware workstation, 然后在workstation中装上3 ...

  4. Hadoop集群部署-Hadoop 运行集群后Live Nodes显示0

    可以尝试以下步骤解决: 1 ,分别删除:主节点从节点的  /usr/local/hadoop-2.6.2/etc/tmp   下得所有文件; 2: 编辑cd usr/local/hadoop-2.6. ...

  5. Hadoop教程(五)Hadoop分布式集群部署安装

    Hadoop教程(五)Hadoop分布式集群部署安装 1 Hadoop分布式集群部署安装 在hadoop2.0中通常由两个NameNode组成,一个处于active状态,还有一个处于standby状态 ...

  6. 使用docker搭建hadoop分布式集群

    使用docker搭建部署hadoop分布式集群 在网上找了非常长时间都没有找到使用docker搭建hadoop分布式集群的文档,没办法,仅仅能自己写一个了. 一:环境准备: 1:首先要有一个Cento ...

  7. Cloudera Manager Free Edition 4.1 和CDH 4.1.2 简易安装教学

    转载:http://fenriswolf.me/2012/12/06/cloudera-manager-free-edition-4-1-和-cdh-4-1-2-简易安装教学/ 安装及管理一个大的Ha ...

  8. hadoop再次集群搭建(4)-Cloudera Manager Installation

       决定选择 Cloudera Manager 进行安装,阅读官方文档,掌握大概脉络.         Cloudera Manager在集群已经实现ssh免秘钥登录,能够访问网络资源和本地资源的情 ...

  9. CentOS7安装CDH 第七章:CDH集群Hadoop的HA配置

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

随机推荐

  1. 3YAdmin-专注通用权限控制与表单的后台管理系统模板

    3YAdmin基于React+Antd构建.GitHub搜索React+Antd+Admin出来的结果没有上百也有几十个,为什么还要写这个东西呢? 一个后台管理系统的核心我认为应该是权限控制,表单以及 ...

  2. jQuery源码分析-03构造jQuery对象-源码结构和核心函数

    3. 构造jQuery对象 3.1源码结构 先看看总体结构,再做分解: (function( window, undefined ) { var jQuery = (function() { // 构 ...

  3. SpringMVC中文件上传

    在SpringMVC中上传文件是比较方便的.主要分为以下几个步骤: 1)在applicationContext.xml中增加相应类的引用 <bean id="multipartReso ...

  4. mysql 修改初始化密码【转】

    转:http://www.jb51.net/article/39454.htm 方法1: 用SET PASSWORD命令 首先登录MySQL. 格式:mysql> set password fo ...

  5. git ssh key生成

    重装系统后,需要重新安装git,ssh key便是遇到的其中一个问题,具体解决办法如下: 1.安装好git客户端后,查看本地是否有.ssh文件,命令如下:mkdir ~/.ssh 2.如果没有该文件, ...

  6. Java 获取当前时间前一个小时的时间

    /** * 获取当前时间前一个小时的时间 */ public static void beforeOneHourToNowDate() { Calendar c = new Calendar.getI ...

  7. javascript数组元素全排列

    多个数组(数量不定)例如三个数组 {a,b} {1,2} {d}排列组合后为a,1,da,2,db,1,db,2,d是js的算法哦 var arr = [["a","b& ...

  8. Ubuntu中网络配置interfaces与界面网络配置NetworkManager

    [Server版本] 在Ubuntu Server版本中,因为只存有命令行模式,所以要想进行网络参数设置,只能通过修改 /etc/network/interfaces .具体设置方法如下: (1) U ...

  9. JSPatch 可以让你用 JavaScript 书写原生 iOS APP

    简介   JSPatch 可以让你用 JavaScript 书写原生 iOS APP.只需在项目引入极小的引擎,就可以使用 JavaScript 调用任何 Objective-C 的原生接口,获得脚本 ...

  10. cnpm 淘宝镜像设置

    很简单,一句话 npm install -g cnpm --registry=https://registry.npm.taobao.org