选择三台同一局域网的阿里云服务器

最初使用阿里云、京东云、百度云的三台不同的服务器,遇到一些问题,没有解决,公网速度也没有保障,还是选择同一局域网的服务器吧

CM有三种不同的安装方式:

  • 通过 Cloudera 公司提供的 bin 文件来安装
    这种方式只能用来安装 CM Server,节点机器上的 Agent 只能再另外通过 Web 页面等其他方式来安装
    采用 bin 文件的安装方式本质上也是用 yum 来安装的,主要是会安装 CM Server、JDK、Deamons Tools、PostgreSQL,并且会自动帮忙配置好,这一点从 CM 的 yum 源就能看出来
  • 通过 yum 来安装
    这种方式对比第一种来说其实就是将其中的安装步骤拆分下来,并且可以弃用默认提供的 PostgreSQL 自己选择一个数据库,如果选择的是 MySQL,还需要再提供额外的 JDBC 库。JDK 也需要自己提供
  • 通过 tar 文件来离线安装
    其实就是将一个已有的 tar 包解压缩,修改下配置,然后起服务。对比上面两种方式的优点是:
    • 完全离线
    • 一切自己定制,包括 JDK、数据库、文件路径,由于 yum 方式安装最终的程序是放在 ROOT 分区下的,日志也是打在 ROOT 分区下,所以有将 ROOT 分区打满的危险

离线方式最为稳妥,我们采用离线方式。

一、前提工作

1.关闭防火墙 centos6 chkconfig iptables off

2.关闭SELINUX 临时关闭setenforce 0,永久关闭要修改配置文件vim /etc/selinux/config

3.JDK安装

4.配置主机名,配置/etc/hosts文件,使用私有网络IP

5.SSH免密登陆

6.MySQL安装,这里选择5.6

7.创建CM用的数据库

在MySQL中依次创建监控数据库、Hive数据库、Oozie数据库、Hue数据库

1)启动数据库

[root@node01 ~]# mysql -uroot -p000000

2)集群监控数据库

mysql> create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

3)Hive数据库

mysql> create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

4)Oozie数据库

mysql> create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

5)Hue数据库

mysql> create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

6)关闭数据库

mysql> quit;

8.下载第三方依赖

依次在三台节点(所有Agent的节点)上执行下载第三方依赖

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

二、安装CM

CM下载地址:http://archive.cloudera.com/cm5/cm/5/

离线库下载地址:http://archive.cloudera.com/cdh5/parcels

1.CM安装

注:以下所有操作均使用root用户

1)创建/bigdata/cm目录

[root@node01 ]# mkdir –p /bigdata/cm

2)上传cloudera-manager-el6-cm5.12.1_x86_64.tar.gz到node01的/root/downloads目录,并解压到/bigdata/cm目录

[root@node01 downloads]# tar -zxvf cloudera-manager-el6-cm5..1_x86_64.tar.gz -C /bigdata/cm

3)分别在node01、node02、node03创建用户cloudera-scm

useradd \

--system \

--home=/bigdata/cm/cm-5.12./run/cloudera-scm-server \

--no-create-home \

--shell=/bin/false \

--comment "Cloudera SCM User" cloudera-scm

参数说明:

--system 创建一个系统账户

--home 指定用户登入时的主目录,替换系统默认值/home/<用户名>

--no-create-home 不要创建用户的主目录

--shell 用户的登录 shell 名

--comment 用户的描述信息

注意:Cloudera Manager默认去找用户cloudera-scm,创建完该用户后,将自动使用此用户。

4)修改CM Agent配置

修改文件/bigdata/cm/cm-5.12.1/etc/cloudera-scm-agent/ config.ini的主机名称

[root@node01 cloudera-scm-agent]# vim /bigdata/cm/cm-5.12./etc/cloudera-scm-agent/config.ini

修改主机名称

server_host=node01

5)配置CM的数据库

拷贝mysql-connector-java-5.1.27-bin.jar文件到目录 /usr/share/java/

改名为 mysql-connector-java.jar

[root@node01 ]# mv /usr/share/java/mysql-connector-java-5.1.-bin.jar /usr/share/java/mysql-connector-java.jar

注意:jar包名称要修改为mysql-connector-java.jar
6)使用CM自带的脚本,在MySQL中创建CM库

[root@node01 cm-5.12.]#/bigdata/cm/cm-5.12./share/cmf/schema/scm_prepare_database.sh mysql cm -hnode01 -uroot -p000000 --scm-host node01 scm scm scm

参数说明

-h:Database host

-u:Database username

-p:Database Password

--scm-host:SCM server's hostname

7)分发cm目录到其他节点

8)创建Parcel-repo

[root@hadoop102  ~]# mkdir -p /root/cloudera/parcel-repo

[root@hadoop102 ~]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

9)拷贝下载文件manifest.json 、CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 、CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel到node01的/opt/cloudera/parcel-repo/目录下

[root@node01 parcel-repo]# ls

CDH-5.12.-.cdh5.12.1.p0.-el6.parcel  CDH-5.12.-.cdh5.12.1.p0.-el6.parcel.sha1 

manifest.json

10)将CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1:需改名为CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha

[root@node01 parcel-repo]# mv CDH-5.12.-.cdh5.12.1.p0.-el6.parcel.sha1 CDH-5.12.-.cdh5.12.1.p0.-el6.parcel.sha

11)在node01上创建目录/opt/cloudera/parcels,并修改该目录的所属用户及用户组为cloudera-scm

[root@node01 ~]# mkdir -p /root/cloudera/parcels

[root@node01 ~]# chown cloudera-scm:cloudera-scm /root/cloudera/parcels

12)分发/opt/cloudera/

1.3.3 启动CM服务

1)启动服务节点:node01

[root@node01 cm]# /bigdata/cm/cm-5.12./etc/init.d/cloudera-scm-server start

Starting cloudera-scm-server:                              [确定]

2)启动工作节点:node01、node02、node03

/bigdata/cm/cm-5.12./etc/init.d/cloudera-scm-agent start

注意:启动过程非常慢,Manager启动成功需要等待5分钟左右,过程中会在数据库中创建对应的表需要耗费一些时间。

3)查看被占用则表示安装成功了!!!

[root@node01 cm]# netstat -anp | grep 

tcp               0.0.0.0:                0.0.0.0:*                   LISTEN      /java

4)访问http://node01:7180,(用户名、密码:admin)

1.3.4 关闭CM服务

1)关闭工作节点:node01、node02、node03

/bigdata/cm/cm-5.12./etc/init.d/cloudera-scm-agent stop

Stopping cloudera-scm-agent:                               [确定]

2)关闭服务节点:node01

[root@node01 cm]# /bigdata/cm/cm-5.12./etc/init.d/cloudera-scm-server stop

停止 cloudera-scm-server:                                 [确定]

二、CM的集群部署

1.接受条款和协议

2.选择免费

3.指定主机

4.选择CDH的版本5.12.1

5.等待下载安装

角色分配

重启

阿里云安装Cloudera Manager(草稿)的更多相关文章

  1. Ubuntu安装Cloudera Manager以及CDH5.15.2

    一.机子分配 注意,本安装教程是在真机上进行,而非虚拟机.另,此次搭建主要的目的是搭建测试环境,让Hadoop各组件能够运作起来即可,完成搭建后,将用小数据量进行相关数据的计算与测试.线上环境将会使用 ...

  2. 离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...

  3. 离线安装 Cloudera Manager 5 和 CDH5.10

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...

  4. 阿里云安装mysql后查看不到初始密码的解决办法

    在阿里云安装mysql后用grep 'A temporary password' /var/log/mysqld.log命令查看MySQL初始密码,毛线都没有看到,然后直接到/var/log/mysq ...

  5. 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(六)CM的安装

    一.角色分配 Cloudera Manager Agent:向server端报告当前机器服务状态. Cloudera Manager Server:接受agent角色报告服务状态,以视图界面展现,方便 ...

  6. 安装Cloudera manager agent步骤详解

    安装Cloudera manager agent步骤详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客主要是针对:https://www.cnblogs.com/yinz ...

  7. 安装Cloudera manager Server步骤详解

    安装Cloudera manager Server步骤详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客主要是针对:https://www.cnblogs.com/yin ...

  8. 2.3、CDH 搭建Hadoop在安装(安装Cloudera Manager Server)

    第3步:安装Cloudera Manager Server 在此步骤中,您将在Cloudera Manager主机上安装JDK和Cloudera Manager Server软件包. 安装Cloude ...

  9. 2、CDH 搭建Hadoop在安装(安装Cloudera Manager,CDH和托管服务)

    安装Cloudera Manager,CDH和托管服务 建议使用此过程为生产环境安装Cloudera Manager和CDH.对于非生产“易于安装”,请参阅安装概念证明群集. 在开始安装之前,请确保已 ...

随机推荐

  1. PHPSTORM破解版激活方式方法

    方法一. 通过Licence Server 激活PHPStorm(快速) 方法原理是通过搭建服务器激活,不过网上有许多搭建好的. http://idea.goxz.gq http://v2mc.net ...

  2. CocoaPods中pod search报错的解决办法

    pod search报错的原因: 每次使用pod search命令的使用会在该目录下生成一个search_index.json文件,会逐渐的增大,文件达到一定大小后,ruby解析里面的json字符就会 ...

  3. [LightOJ1070]Algebraic Problem

    题目:Algebraic Problem 链接:https://vjudge.net/problem/LightOJ-1070 分析: 1)$ a^n+b^n = ( a^{n-1}+b^{n-1} ...

  4. [CSP-S模拟测试]:y(DP+bitset)

    题目背景 $\frac{1}{4}$遇到了一道水题,叕完全不会做,于是去请教小$D$.小$D$懒得理$\frac{1}{4}$,直接就离开了.于是,$\frac{1}{4}$只好来问你,这道题是这样的 ...

  5. 使用DataV制作实时销售数据可视化大屏(实验篇)

    课时1:背景介绍 任务说明 ABC是一家销售公司,其客户可以通过网站下单订购该公司经营范围内的商品,并使用信用卡.银行卡.转账等方式付费.付费成功后,ABC公司会根据客户地址依据就近原则选择自己的货仓 ...

  6. error MSB8008: 指定的平台工具集(v110)未安装或无效

    转自VC错误:http://www.vcerror.com/?p=318 问题描述: 平台工具集(v110)是vs2012下用的,你是用vs2010打开工程,它默认是用v100, 所以这个工程可能用v ...

  7. UI:UI 目录

    ylbtech-UI:UI 目录 1.返回顶部   2.返回顶部   3.返回顶部   4.返回顶部   5.返回顶部     6.返回顶部   作者:ylbtech出处:http://ylbtech ...

  8. English-accomplish、complete、finish、achieve and fulfill

    accomplish to succeed in doing something, especially after trying very hard vt. 完成:实现:达到 complete us ...

  9. SetWindowsHookEx 其他进程的 记录

    SetWindowsHookEx(  WH_GETMESSAGE,CallWndProc, HInstance, h2); WH_GETMESSAGE  这个类型 hook  其他窗体的 线程是正常的 ...

  10. 面试题:Nginx 是如何实现高并发?常见的优化手段有哪些?

    面试题: Nginx 是如何实现并发的?为什么 Nginx 不使用多线程?Nginx常见的优化手段有哪些?502错误可能原因有哪些? 面试官心理分析 主要是看应聘人员的对NGINX的基本原理是否熟悉, ...