主节点安装cloudera manager

准备工作:下载CM和mysql连接驱动包:

CM各版本下载地址:http://archive.cloudera.com/cm5/cm/5/

从里面选择:http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz 下载即可。

Mysql JDBC下载地址:http://download.softagency.net/MySQL/Downloads/Connector-J/mysql-connector-java-5.1.40.zip

这里驱动的版本要比Mysql的版本相符或稍低,否则安装CM和CDH时创建数据库时会出现访问失败或连接失败等错误。

在主节点cdh1中解压安装cloudera manager。

首先把我们下载好的cloudera-manager-*.tar.gz包和mysql驱动包mysql-connector-java-*-bin.jar放到主节点cm0的/opt中。

我下载的版本分别是:cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz和mysql-connector-java-5.1.40.zip。

cloudera manager的目录默认位置在/opt下

所以我们在opt目录解压安装文件,命令如下:

cd  /opt

tar xzvf  cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz

使用命令

ls

确保cm-5.14.0和cloudera目录在/opt目录下。

Cloudera Manager建立数据库

我们把mysql-connector-java-5.1.40.zip也解压一下。

unzip mysql-connector-java-5.1.40.zip

ls

cd  mysql-connector-java-5.1.40

发现jar包mysql-connector-java-5.1.40-bin.jar已经解压出来了。

使用命令

cp mysql-connector-java-5.1.40-bin.jar   /opt/cm-5.14.0/share/cmf/lib/

把mysql-connector-java-5.1.40-bin.jar放到/opt/cm-5.14.0/share/cmf/lib/中。

cd /opt/cm-5.14.0/share/cmf/lib/

ls|more

确认已经放进去了。

在主节点初始化CM5的数据库

使用命令

在命令里scm_prepare_database.sh后面的参数分别是:数据库类型 数据库名称(可以随便起一个名称)   数据库主机名  数据库用户名 密码 --scm-host 主节点机名 scm scm scm

/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql cm  -h cdh1  -u  root  -p  123456  --scm-host  cdh1  scm scm scm

如果出现如下提示,则证明CM元数据创建成功。

All done, your SCM database is configured correctly!

参考下图:

Agent配置

主节点修改agent配置文件。

/opt/cm-5.14.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

使用命令

vim  /opt/cm-5.14.0/etc/cloudera-scm-agent/config.ini

在主节点cdh1用命令同步Agent到其他所有节点
scp -r   /opt/cm-5.14.0     root@cdh2:/opt/

scp -r   /opt/cm-5.14.0     root@cdh3:/opt/ (如果有的话)

参考下图:

在所有节点创建cloudera-scm用户

在每台机子中

使用命令

useradd --system --home=/opt/cm-5.14.0/run/cloudera-scm-server/  --no-create-home  --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm 

启动cm和agent

主节点cdh1通过命令

/opt/cm-5.14.0/etc/init.d/cloudera-scm-server start

启动服务端。

所有节点通过命令

/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start

启动Agent服务。 (所有节点都要启动Agent服务,包括服务端)

我们启动的其实是个service脚本,需要停止服务将以上的start参数改为stop就可以了,重启是restart,查看状态是status。

Cloudera Manager Server和Agent都启动以后,等待1分钟左右,就可以进行尝试访问了。

http://master:7180/cmf/login

我这里master是主节点cdh1,也就是应该访问

http://192.168.43.101:7180/cmf/login

安装CM成功。

安装到此处,可以考虑备份节点,为将来的节点拓展做准备。

参考文章:https://www.cnblogs.com/felixzh/p/9082344.html

CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-7主节点CM安装子节点Agent配置的更多相关文章

  1. CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-总目录

    CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-总目录: 0.Windows 10本机下载Xshell,以方便往Linux主机上上传大文件 1.CentOS7+CDH5.14.0安 ...

  2. CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-8CDH5安装和集群配置

    Cloudera Manager Server和Agent都启动以后,就可以进行CDH5的安装配置了.      准备文件 从 http://archive.cloudera.com/cdh5/par ...

  3. CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-5安装JDK及安装mysql数据库

    1.安装JDK 可以不用卸载自带的openjdk,配好环境变量即可. 下载文件:jdk-8u151-linux-x64.tar.gz 附:JDK各版本下载地址:https://www.oracle.c ...

  4. CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-4配置NTP服务

    配置NTP服务.标准的做法是配置NTP服务器,但是这里为了方便就用简化的方式配置了. 这个在安装初期,不是必须的,只要保证各机器的时间同步就行,使用如下命令可以查看时间是否同步: [root@cdh1 ...

  5. CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-1虚拟机安装及环境初始化

    1.软件准备: VMware-workstation-full-14.1.2-8497320.exe CentOS-7-x86_64-DVD-1804.iso 2.VMare激活码: AU5WA-0E ...

  6. CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-6CM安装前环境检查

    检查环境 在正式开始安装CDH之前最好先检查一下能不能相互免密ssh,以及防火墙是否关闭,集群中的时间是否统一,java版本是否是oracle的版本,主节点mysql是否安装正确等. ssh测试 例如 ...

  7. CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-3禁止交换和禁用大页面

    1.禁止交换(每台机器都要做): 执行命令:vim /etc/sysctl.conf 增加一行:vm.swappiness=0 执行命令:sudo sysctl vm.swappiness=0 2.禁 ...

  8. CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-2设置SSH免密登录

    因为hadoop集群在安装的时候需要集群中所有机器的权限. 所以我们需要打通所有节点的ssh无密码登陆,思路是生成每台机子的密钥,集中在一个文件中,再分发到每台机子上. 为了确保下面的命令能顺利执行, ...

  9. Ubuntu14.04下Mongodb(离线安装方式|非apt-get)安装部署步骤(图文详解)(博主推荐)

    不多说,直接上干货! 说在前面的话  首先,查看下你的操作系统的版本. root@zhouls-virtual-machine:~# cat /etc/issue Ubuntu LTS \n \l r ...

随机推荐

  1. 再说项目 Dec 27th 2018

    其实对于任何项目来说,最难不是开发或者系统等技术的问题,反而是需求的问题,需求一直变,一直定不下来,导致流程变来变去,系统方案层面也确定不下来.而需求的问题,归根结底还是人的问题.项目的关键用户对现有 ...

  2. centos上 小程序部署 nginx+https+ssL 提示错误:对应的服务器 TLS 为 TLS 1.0 ,小程序要求的 TLS 版本必须大于等于 1.2

    解决办法: 1.nginx版本必须是1.0.6以上 2.修改配置文件,修改server内的ssl_protocols内容,增加TLSv1.2 3.重启nginx. ./nginx -s reload ...

  3. 【HDFS API编程】查看HDFS文件内容、创建文件并写入内容、更改文件名

    首先,重点重复重复再重复: /** * 使用Java API操作HDFS文件系统 * 关键点: * 1)创建 Configuration * 2)获取 FileSystem * 3)...剩下的就是 ...

  4. 离职有感(CVTE,创业公司,求职...)

    最近几个月,真的各种心酸......体现出来的就是对自己身体的,心里的.......6月底离职以来,一直到现在,经历了两个公司...才这么三个月,就经历了两个公司......我都忍不住怀疑自己,是不是 ...

  5. vue cli 3

    介绍 Vue CLI 是一个基于 Vue.js 进行快速开发的完整系统 通过 @vue/cli 搭建交互式的项目脚手架. 通过 @vue/cli + @vue/cli-service-global 快 ...

  6. rsync 文件同步和备份

    rsync 是同步文件的利器,一般用于多个机器之间的文件同步与备份,同时也支持在本地的不同目录之间互相同步文件.在这种场景下,rsync 远比 cp 命令和 ftp 命令更加合适,它只会同步需要更新的 ...

  7. MyBatis 生命周期

    一.SqlSessionFactoryBuilder SqlSessionFactoryBuilder是利用XML或是Java编码获得资源来构建SqlSessionFactory的,通过他可以构建多个 ...

  8. Excle批量导入到mysql调查

    1.使用navicat Premium 导入时候提示打不开.问题的链接如下: https://blog.csdn.net/wsyzxss/article/details/77864313 2.只能使用 ...

  9. 自学PHP的正确方法与经验

    我是2015年开始接触认识到PHP编程方面的知识,2012年我还是一名刚毕业的大学生开始踏入社会从事自己一份学校推荐的自动化职业,自动化工作枯燥无味,每天基本上3点一线,食堂-公司机器-宿舍,做了3年 ...

  10. 浏览器端时间循环与nodejs端时间循环的不同之处(宏任务与微任务)

    浏览器端与node端都有宏任务与微任务的概念.字面意思上看宏任务就是耗时间比较长的任务,而微任务是耗时短的任务. 在浏览器端,宏任务包括setTimeout,setInterval,微任务则包括Pro ...