文章全部来自：Cloudera Manager （centos）安装详细介绍
http://www.aboutyun.com/thread-9190-1-1.html
(出处: about云开发)

这里已经有很多关于CDH的文章，此篇虽然不是把所有的问题都描述了。但是整体的过程还算描述的比较清楚。
问题导读： 1.安装需要做哪些准备？ 2.如何安装CM？ 3.如何通过CM安装CDH？ 4.CM及CDH安装的过程都包含什么？

相信通过这篇文章大家都对Cloudera Manager及CDH安装有一个整体的认识

目 录

1           准备工作...........................................................................................................................................3 1.1       说明...............................................................................................................................................3 1.2       集群网络环境介绍..........................................................................................................................3 2           环境搭建...........................................................................................................................................5 2.1       设置IP...........................................................................................................................................5 2.2       设置hosts......................................................................................................................................5 2.3       关闭防火墙....................................................................................................................................6 2.4       关闭SElinux....................................................................................................................................8 2.5       设置机器名....................................................................................................................................8 3           ClouderaManager安装................................................................................................................... 11 3.1       下载Cloudera Manager安装文件................................................................................................... 11 3.2       下载Cloudera Manager所需的rpm包............................................................................................ 11 3.3       安装rpm文件............................................................................................................................... 11 3.4       安装CM....................................................................................................................................... 11 3.5       登录CM....................................................................................................................................... 12 4           ClouderaManager配置及本地源配置.............................................................................................. 13 4.1       配置config.ini文件........................................................................................................................ 13 4.2       配置本地源.................................................................................................................................. 14 5           Hadoop及其组件安装......................................................................................................................17 5.1       选择Cloudera版本........................................................................................................................ 17 5.2       选中受管理的主机........................................................................................................................ 17 5.3       选择安装方式（Cloudera推荐使用Parcel）................................................................................... 18 5.4       把Parcel分配到主机..................................................................................................................... 18 5.5       选择服务...................................................................................................................................... 19 5.6       测试数据库连接........................................................................................................................... 20 5.7       等待所有服务启动........................................................................................................................ 20
6           向集群增加节点............................................................................................................................... 22 6.1       添加主机...................................................................................................................................... 22 6.2       输入IP或主机名........................................................................................................................... 23 6.3       提供SSH登录凭据........................................................................................................................ 24 6.4       安装............................................................................................................................................. 24

使用Cloudera Manager安装Hadoop

运行环境软硬件环境l  主机操作系统：Windows 64 bit，双核4线程，主频2.2G，8G内存 l  虚拟软件：VMware®Workstation 9.0.0 build-812388 l  虚拟机操作系统：CentOs 64bit，单核，2G内存 l  JDK：1.7.0_45 64 bit l  Hadoop：2.2.0

集群网络环境集群包含三个节点：1个namenode，1个datanode，节点之间局域网连接，可以相互ping通。节点IP地址和主机名分布如下： l  192.168.188.141  hadoo1 (namenode)) l  192.168.188.139  hadoo2 (datanode01) l  192.168.188.140  hadoo3 (datanode03) 所有节点均是CentOS系统，防火墙iptables均禁用
环境搭建 本集群分为三个节点，先安装节点hadoop1（192.168.188.141），完成2.1~2.6步骤后，在步骤2.7中复制虚拟机并命名为hadoop2（192.168.188.139）和hadoop3（192.168.188.140）。
设置IP1.    点击System-->Preferences-->Network Connections，如下图所示：
<ignore_js_op>

1.png (213.99 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

2.    删除原来的连接信息，新建一个“”连接，设置该连接为手工方式，设置如下信息：

      IP地址： 10.88.147.221
      子网掩码： 255.255.255.0
      网关：     10.88.147.1
      DNS：    10.*.*.* (使用DNS上网需要设置)
<ignore_js_op>

2.png (165.97 KB, 下载次数: 3)

下载附件  保存到相册

2014-9-16 17:06 上传

 

3.    在命令行中查看设置的IP地址信息，如果不能够正确可以在执行2.5重启机器后再次确认：
<ignore_js_op>

3.png (57.31 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

设置Host文件1.    编辑/etc/hosts文件，设置IP地址与机器名的映射，设置信息如下： l     10.88.147.141 hadoop1.localdomain l    10.88.147.139 hadoop2.localdomain l    10.88.147.140 hadoop2.localdomain
<ignore_js_op>

4.png (20.47 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

2.    使用如下命令对网络设置进行重启

sudo /etc/init.d/network restart

3.    验证设置是否成功 <ignore_js_op>

5.png (30.25 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

关闭防火墙 在Hadoop安装过程中需要关闭防火墙和SElinux，否则会异常
1.    service iptables status 查看防火墙状态，如下所示表示iptables已经开启 <ignore_js_op>

6.png (46.07 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

2.    使用如下命令关闭iptables，执行该命令后重启机器生效

chkconfig iptables off

关闭SElinux1.    使用getenforce命令查看是否关闭
<ignore_js_op>

7.png (16.03 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

2.    修改/etc/selinux/config 文件 将SELINUX=enforcing改为SELINUX=disabled，执行该命令后重启机器生效
<ignore_js_op>

8.png (38.67 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

设置机器名以root用户登录，使用 vi/etc/sysconfig/network 打开配置文件，修改主机名称为hadoop1

<ignore_js_op>

9.png (14.47 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

复制虚拟机关闭机器，复制当前节点两份，分别命名为：hadoop2和hadoop3
SSH无密码验证配置(这一步可省略) 3.    在三个节点中使用ssh-keygen -t rsa生成私钥和公钥；
<ignore_js_op>

10.png (53.72 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

 

4.    在三个节点中分别把公钥命名为authorized_keys_hadoop1、authorized_keys_hadoop2、authorized_keys_hadoop3；
<ignore_js_op>

11.jpg (21.61 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

5.    把两个从节点的公钥使用scp authorized_keys_hadoop2 jan@hadoop1:/home/jan/.ssh 命令传送到hadoop1节点的/home/jan/.ssh文件夹中；
<ignore_js_op>

12.png (45.94 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

<ignore_js_op>

13.png (34.79 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

 

6.    把三个节点的公钥信息保存到authorized_key文件中
使用cat authorized_keys_hadoop1 >> authorized_keys命令
<ignore_js_op>

14.png (78.62 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:06 上传

 

7.    把该文件分发到其他两个从节点上 使用scp authorized_keys jan@hadoop2:/home/jan/.ssh把密码文件分发出去
<ignore_js_op>

15.png (65.84 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:06 上传

 

<ignore_js_op>

16.png (36.32 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 

8.    测试ssh免密码登录是否生效
<ignore_js_op>

17.png (54.92 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:07 上传

 

Cloudera Manager安装 下载Cloudera Manager安装文件

Cloudera Manager的可以从如下网址获得：
这里选择Cloudera Manager 最新版5.0.1

下载Cloudera Manager所需的rpm包

下载网址为：

安装rpm文件 l 将下载的rpm包放入文件夹rpm（文件夹名随意） l cd  ./rpm（进入rpm目录） l yum localinstall –-nogpgcheck  *.rpm(安装rpm包)
3.4 安装rpm文件l 进入cloudera-manager-installer.bin的下载目录 l chmod u+x cloudera-manager-installer.bin（给下载的bin文件权限） l 执行 ./cloudera-manager-installer.bin（大约十分钟左右）
3.5登录CM浏览器输入localhost：7180初次登录 用户名：admin 密码：admin
<ignore_js_op>

18.png (32.94 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:07 上传

 

Cloudera Manager文件配置及本地源配置 配置config.ini文件 修改主机名 修改前为：localhost   修改后为：localhost.localdomain
<ignore_js_op>

19.png (48.64 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:07 上传

 

本地源配置

Parcel的可以从如下网址获得，下载.parcel文件和manifest.json文件：
因为这里用的是CentOS6.5,所以选择CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
http://archive.cloudera.com/cdh5/parcels/5.0.1/CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
注意：Parcel文件对应不同的系统版本

l  把以下载的.parcel文件和manifest.json文件拷贝到/opt/cloudera/parcel-repo/文件夹下 l  新建文件命名为：CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha l  打开manifest.json文件查看CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号，并拷贝到CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha文件中
以下是manifest.json中CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号，这里是：ec68971d2969a5a31e720a2a79ce7a7c1d38e397

{
           "parcelName":"CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel",
           "components": [
                {
                   "pkg_version": "0.7.0+cdh5.0.1+0",
                   "pkg_release": "1.cdh5.0.1.p0.30",
                   "name": "bigtop-tomcat",
                   "version": "6.0.37-cdh5.0.1"
                },
                {
                   "pkg_version": "0.9.0+cdh5.0.1+23",
                    "pkg_release":"1.cdh5.0.1.p0.25",
                   "name": "crunch",
                   "version": "0.9.0-cdh5.0.1"
                },
              .........
                {
                   "pkg_version": "0.9.0+cdh5.0.1+8",
                   "pkg_release": "1.cdh5.0.1.p0.25",
                   "name": "whirr",
                   "version": "0.9.0-cdh5.0.1"
                },
                {
                   "pkg_version": "3.4.5+cdh5.0.1+30",
                    "pkg_release":"1.cdh5.0.1.p0.31",
                   "name": "zookeeper",
                   "version": "3.4.5-cdh5.0.1"
                }
            ],
           "replaces": "IMPALA, SOLR, SPARK",
            "hash":"ec68971d2969a5a31e720a2a79ce7a7c1d38e397"
        }

l  现在本地源已配好，总之parcel-repo文件中包含一下三个文件： CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha Manifest.json
l  重启系统
Hadoop及其组件安装选择Cloudera版本

<ignore_js_op>

20.png (116.13 KB, 下载次数: 4)

下载附件  保存到相册

2014-9-16 17:07 上传

 

选中受管理的主机 <ignore_js_op>

21.png (150.82 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 

选择安装方式（Cloudera推荐使用Parcel）
<ignore_js_op>

22.png (95.56 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:07 上传

 

把Parcel分配到主机 <ignore_js_op>

23.png (50.38 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 

<ignore_js_op>

24.png (52.74 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:07 上传

 

添加服务 <ignore_js_op>

25.png (204.92 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 

测试数据库连接 <ignore_js_op>

26.png (89.17 KB, 下载次数: 4)

下载附件  保存到相册

2014-9-16 17:07 上传

 

等待所有服务开启等待所有服务开启，时间可能会有点长
<ignore_js_op>

27.png (88.87 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:07 上传

 

<ignore_js_op>

28.png (151.91 KB, 下载次数: 5)

下载附件  保存到相册

2014-9-16 17:07 上传

 

向集群增加节点增加主机
<ignore_js_op>

29.png (122.26 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 

输入IP或主机名 <ignore_js_op>

30.png (66.56 KB, 下载次数: 3)

下载附件  保存到相册

2014-9-16 17:07 上传

 

<ignore_js_op>

31.png (91.02 KB, 下载次数: 4)

下载附件  保存到相册

2014-9-16 17:07 上传

 

提供SSH登录凭据
<ignore_js_op>

32.png (91.05 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:07 上传

 

安装 <ignore_js_op>

33.png (60.04 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

 
注：本资料所有省略界面，直接点击继续即可

Cloudera Manager （centos）安装详细介绍的更多相关文章

  1. Cloudera Manager(CentOS)安装介绍

    相信通过这篇文章大家都对Cloudera Manager及CDH安装有一个整体的认识 目 录 1           准备工 作.................................... ...

  2. [How to]Cloudera manager 离线安装手册

    2016-01-1910:54:05  增加kafka 1.简介 本文介绍在离线环境下安装Cloudera manager和简单使用方法 2.环境 OS:CentOS 6.7 Cloudera man ...

  3. CDH 2、Cloudera Manager的安装

    1.Cloudera Manager • Cloudera Manager是一个管理CDH的端到端的应用. • 作用: – 管理 – 监控 – 诊断 – 集成 • 架构 • Server – 管理控制 ...

  4. Cloudera Manager的安装

    1.  cloudera manager的概念 简单来说,Cloudera Manager是一个拥有集群自动化安装.中心化管理.集群监控.报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个 ...

  5. CM (Cloudera Manager) 的安装，便于CDH的离线部署

    一.准备工作 主机个数:n台 操作系统:CentOS 6.5 安装所需软件包: CM: cloudera-manager-el6-cm5.4.3_x86_64.tar.gz CDH parcel: C ...

  6. Go语言环境安装详细介绍

    工具链介绍 go有两套编译工具链,分别是从plant9移植过来的gc和依赖gcc的gccgo. 官方为gc工具链提供了二进制安装包和源码, 可以根据需要选择一种安装方式.gc工具链对操作系统和CPU类 ...

  7. 离线安装Cloudera Manager 5和CDH5

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Cloudera 完全开源的Hadoop  ...

  8. Cloudera Manager 4.6 安装部署hadoop CDH集群

    Cloudera Manager 4.6 安装详解 1. Cloudera Manager介绍 1.1. 功能介绍 Cloudera Manager是一个针对hadoop集群的管理工具,功能包括:cd ...

  9. 通过Cloudera Manager安装CDH 5.6

    CDH的简介 大家常常说CDH.其全称是:Cloudera's Distribution Including Apache Hadoop.简单的说是Cloudera公司的Hadoop平台,是在Apac ...

随机推荐

  1. SVN更新的时候报断言失败解决办法

    解决办法:没啥好方法,重新检出代码就好使了.

  2. mysql数据库导入、导出、数据传输

    Navicat数据库之间导入导出1.双击要导出的数据库,右键选转储SQL文件...,选择要保存的文件夹. 2.点击开始后,开始导出. 数据库导入1.新建数据库,数据库的名字必须和导入的数据库文件一致. ...

  3. Django QuerySet API

    https://docs.djangoproject.com/en/2.1/ref/models/querysets/

  4. autofac.webapi2

    quick start https://autofaccn.readthedocs.io/en/latest/integration/webapi.html#quick-start To get Au ...

  5. orecle触发器

    一.触发器简介 触发器的定义就是说某个条件成立的时候,触发器里面所定义的语句就会被自动的执行.因此触发器不需要人为的去调用,也不能调用.然后,触发器的触发条件其实在你定义的时候就已经设定好了.这里面需 ...

  6. c++ learning

    迟到了三年的学习笔记.. 野指针:造了一个指针,不是NULL或者没有指向正经内存.比如刚造出来又不赋值,并不知道它指向了哪里 内存泄漏:造了一个指针,给他分配了空间,xxxxx,又分配了一块空间,指针 ...

  7. Android开发中的logcat工具使用

    http://os.51cto.com/art/200905/126051.htm 用adb直接查看log:    adb logcat 清除之前的log: adb logcat -c 加过滤查看lo ...

  8. CSS 实现隐藏滚动条同时又可以滚动（转）

    CSS 实现隐藏滚动条同时又可以滚动 移动端页面为了更接近原生的体验,是否可以隐藏滚动条,同时又保证页面可以滚动? 使用 overflow:hidden 隐藏滚动条,但存在的问题是:页面或元素失去了滚 ...

  9. redis key 通配符 查询相应的key

    keys pattern 查询相应的key 在redis里,允许模糊查询key 有3个通配符 *, ? ,[] *: 通配任意多个字符 ?: 通配单个字符 []: 通配括号内的某1个字符 redis  ...

  10. MVVM架构说明1

    MVVM是Model-View-ViewModel的简写.微软的WPF带来了新的技术体验,如Sliverlight.音频.视频.3D.动画……,这导致了软件UI层更加细节化.可定制化.同时,在技术层面 ...