CDH升级
升级主要分为两部分1.CM的升级、2.CDH的升级
CM的升级###
两种升级方法
- 1.使用package
- 2.使用Tarballs升级方法,参照官方升级指引,Tarball中包含了
Cloudera Manager Server
和Cloudera Manager Agent
通常情况下升级CM和升级CDH是两个独立的过程,可以在不关闭CDH服务的情况下升级CM,然后再升级CDH,升级CM主要分为以下几个步骤
1.收集升级信息####
在升级之前收集与CM相关的信息,包括账户、密码、数据库URLs等。
1.有root用户权限或者起码有sudo权限
2.查看CM、JDK的版本
3.CDH的版本
进入CM主页面
4.所安装的服务
5.查看系统版本
hosts->All Hosts 随便点击一个主机
2.完成升级前的准备####
1.本次要升级到的版本为5.13.X,支持的OS版本
2.查看用户自定义的服务
Administration->setting->Custom Service Descriptors
3.升级JDK####
升级JDK到1.8.
在页面设置java的目录:主机(Hosts)->所有主机(All Hosts)->配置(Configuration)->类别(CATEGORY)->高级(Advanced)。这样做仅仅修改了CM和CDH依赖的JDK,并不会影响要其他的进程
4.升级CM####
- 1.停止CM server、DB和agent
- a.关闭CM服务
Cluster->Cloudera Managent service->Action->Stop
, - b.在server上面运行
sudo service cloudera-scm-server stop
- c.在agent上面运行
sudo service cloudera-scm-agent stop
- a.关闭CM服务
- 2.下载CM文件网址,5.13x的tarballs链接。rpm安装包路径
方法一 4.1 package升级CM#####
- 1.确保所有主机上进程服务都关闭
sudo service cloudera-scm-agent status #查看状态
sudo service cloudera-scm-server-db stop #关闭内嵌数据库,如果没有这个服务可跳过
sudo service cloudera-scm-server stop #关闭server
sudo service cloudera-scm-agent stop # 关闭agent
- 2.备份CM数据库
在CM的server机器上/etc/cloudera-scm-server
文件
[hadoop@175-45-5-195 cloudera-scm-server]$ sudo cat db.properties
# Auto-generated by initialize_embedded_db.sh
com.cloudera.cmf.db.type=postgresql
com.cloudera.cmf.db.host=localhost:7432
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=3Emd1VtlcK
根据上面的内容备份postgresql数据库
pg_dump -hlocalhost -p 7432 -U scm > /tmp/scm_server_db_backup.$(date +%Y%m%d)
如果使用rpm安装,需要配置/etc/yum.repos.d/cloudera-manager.repo
的源
sudo yum clean all
sudo yum upgrade cloudera-manager-server cloudera-manager-daemons cloudera-manager-server-db-2 cloudera-manager-agent
上面是自动下载组件,CM的安装包比较的大不到1G,如果网速不够好可以下载到本地
sudo yum localinstall cloudera-manager-*
在Agent上面安装成功之后,在/etc/cloudera-scm-agent
下面生成了、config.ini.rpmnew
文件,这个是一些比较新的配置,你需要将原来config.ini
文件中的一些用户配置添加到config.ini.rpmnew中,并将其修改为config.ini,删掉老的config.ini文件。
需要在server和agent上面开启相关服务
sudo service cloudera-scm-server-db start
sudo service cloudera-scm-server start
sudo service cloudera-scm-agent start
方法二 4.2 tarball升级CM#####
- 1.解压Tarball包
解压文件到/opt/
目录
sudo tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
- 2.默认情况下tarball安装方式会有一个
var
子目录用来存储状态文件,非tarball安装方式的状态存储在/var
目录下,CM建议使用/var
或者tarball外部的目录,这样在升级的过程中新的tarball就可以访问这些状态文件,那么该如何设置这个目录呢?修改\cm-5.13.0\etc\default\
下面cloudera-scm-agent
文件,设置CMF_VAR
的值。
CDH的升级###
使用parcels方法升级参照官网
备份数据库,parcels目录
接下来就是根据提示进行选择
ref###
CDH升级的更多相关文章
- CDH升级 5.7.5 --> 5.13.3(tar包方式)
博客园首发,转载请注明出处:https://www.cnblogs.com/tzxxh/p/9123231.html 一.准备 1.关闭cdh中的服务 hdfs.yarn等所有服务:关闭 cm-ser ...
- CDH CM版本 6.0.1 升级到 CM 6.2.0 当前最新版本(CentOS 7.x)
CDH 的 6.0.1 是一个尴尬的版本,那时候 cloudera 还没有将 spark 更新到 2.4 还使用的是 spark 2.2版本. 但后来我们发现 2.3 | 2.4 更新了非常多的 fe ...
- CentOS7安装CDH 第十一章:离线升级CDH版本
相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...
- 入门大数据---安装ClouderaManager,CDH和Impala,Hue,oozie等服务
1.要求和支持的版本 (PS:我使用的环境,都用加粗标识了.) 1.1 支持的操作系统版本 操作系统 版本 RHEL/CentOS/OL with RHCK kernel 7.6, 7.5, 7.4, ...
- 数据仓库005 - 复习Linux shell命令 - crontab调度 sh脚本 后台执行 软连接
一.crontab调度 对于linux 自带crontab而言, xxx.sh的一般编写格式以#!/bin/bash 解释器开头,可在脚本中加入: date 但是,shell脚本执行 需要 ...
- shell命令、调度工具、后台执行线程和软连接
一.shell命令 1.后缀.sh 第一行需要加#!/bin/bash 没有的话,需呀sh 命令执行 示例test.sh: #!/bin/bash date ./test.sh 提示没有权限,此时,需 ...
- CDH中如何升级Spark
公司平时使用的CDH版本的hadoop生态,spark任务是基于yarn来管理的,而不是基于原生的spark master slave集群管理. 因此任务的大致启动模式是: 如果是Cluster模式: ...
- CDH 版本 6.0.1 升级到 6.2.0 当前最新版本(CentOS 7.x)
前文「CDH CM版本 6.0.1 升级到 CM 6.2.0 当前最新版本(CentOS 7.x)」 承接上文,当我们完成 CM 6.2.0 的升级之后,我们已经相当于完成了80% minor 的升级 ...
- cdh集群hive升级,数据不丢失
1.下载hive-1.2.1安装包 http://archive.apache.org/dist/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz 2.将安装包 ...
随机推荐
- js实现一个简单钟表动画(javascript+html5 canvas)
第一次在博客园注册发博.有一次去人家单位开标,看到开标网站上有个钟表动画,一时兴起,就写了个简单的钟表动画. 用js和html5 canvas对象实现一个简单钟表程序 主要用到的就是h5的canvas ...
- 如何在openlayer接入矢量数据
先说矢量数据集接入,我们通过GeoJSON的示例代码(http://openlayers.org/en/latest/examples/geojson.html)了解Openlayers的源代码,确定 ...
- 学习笔记TF052:卷积网络,神经网络发展,AlexNet的TensorFlow实现
卷积神经网络(convolutional neural network,CNN),权值共享(weight sharing)网络结构降低模型复杂度,减少权值数量,是语音分析.图像识别热点.无须人工特征提 ...
- 使用jQuery中trigger()方法自动触发事件
一.常用事件 在页面加载完成时 自动触发input的点击事件,在移动端可以实现自动弹出输入法,获得焦点 $("input").trigger("click") ...
- css超过一定长度显示省略号
overflow: hidden; white-space: nowrap; text-overflow: ellipsis;
- 【翻译】.Net Core的意义
想要了解.Net Core的意义,就必须要了解拥有很长历史的.Net Framework,.Net Framework1.0于2002年发布.从那开始,每隔两年就会有一个主版本推出.伴随着Visual ...
- js with用法
有标签的语句 with 语句用于设置代码在特定对象中的作用域. 它的语法: with (expression) statement 例如: var sMessage = "hello&quo ...
- javascript中原型链与instanceof 原理
instanceof:用来判断实例是否是属于某个对象,这个判断依据是什么呢? 首先,了解一下javascript中的原型继承的基础知识: javascript中的对象都有一个__proto__属性,这 ...
- 逻辑卷lvm创建、扩展、缩小
系统环境:CentOS Linux release 7.3.1611 (Core) 3.10.0-514.el7.x86_64 CentOS6与7配置方法大同小异.通常是在系统安装的时候创建lvm,然 ...
- web前端学习路线和步骤
H5+全栈工程师 (学习下列技术可以加QQ: 1416 7596 61)第一阶段:初级入门阶段基本功 1.HTML入门 Windows概述.浏览器概述.HTML简介.HTML标签详解.前端开发工具概 ...