hadoop2.3.0cdh5.0.2 升级到cdh5.7.0
后儿就放假了,上班这心真心收不住,为了能充实的度过这难熬的两天,我决定搞个大工程。。。。。ps:我为啥这么期待放假呢,在沙发上像死人一样躺一天真的有意义嘛。。。。。。。
当然版本:hadoop2.3.0cdh5.0.2
机器:
nn | dn | jn | rm | nm | jh | hmaster | hregionserver | |
mast1 | 是 | 是 | 是 | 是 | 是 | 是 | 是 | |
mast2 | 是 | 是 | 是 | 是 | 是 | 是 | 是 | |
mast3 | 是 | 是 | 是 | 是 | 是 |
目标版本:hadoop2.6.0cdh5.7.0
升级方式:Upgrading Unmanaged CDH Using the Command Line
升级注意事项:①从低于cdh5.4.0升级到cdh5.4.0或更高版本,需要进行hdfs元数据升级;
②从低于cdh5.2.0版本升级需要做如下升级:升级hdfs元数据
升级Sentry database
升级hive数据库
升级sqoop2数据库
③另外还要确保如下升级:升级Oozie数据库和共享数据库
如果向hdfs上传了spark集合jar文件,要上传文件的最新版本
升级步骤:
1.为升级做准备:
①使namenode进入安全模式,备份fsimage
[hadoop@mast1 conf]$ hdfs haadmin -getServiceState mast1
active
[hadoop@mast1 conf]$ hdfs dfsadmin -safemode enter
Safe mode is ON
[hadoop@mast1 conf]$ hdfs dfsadmin -saveNamespace
②确认无hadoop服务在运行
[root@mast1 ~]# ps -aef|grep java
root 9540 8838 0 15:34 pts/0 00:00:00 grep java
③在namenode(ha中active的namenode)中备份元数据(注意过程中如果发现lock文件,则从头开始再执行一遍)
[root@mast1 ~]# cd /app/hdp/dfs/name
[root@mast1 name]# tar -cvf /root/nn_backup_data.tar .
./
./edits/
./edits/current/
./edits/current/edits_inprogress_0000000000000000624
./edits/current/edits_0000000000000000413-0000000000000000533
./edits/current/edits_0000000000000000620-0000000000000000621
./edits/current/edits_0000000000000000618-0000000000000000619
./edits/current/edits_0000000000000000062-0000000000000000180
./edits/current/edits_0000000000000000622-0000000000000000623
./edits/current/edits_0000000000000000038-0000000000000000050
./edits/current/edits_0000000000000000534-0000000000000000615
./edits/current/edits_0000000000000000181-0000000000000000182
./edits/current/edits_0000000000000000284-0000000000000000412
./edits/current/edits_0000000000000000051-0000000000000000061
./edits/current/seen_txid
./edits/current/edits_0000000000000000183-0000000000000000283
./edits/current/VERSION
./edits/current/edits_0000000000000000616-0000000000000000617
./current/
./current/fsimage_0000000000000000000
./current/seen_txid
./current/VERSION
./current/fsimage_0000000000000000000.md5
./namesecondary/
2.下载CDH 5 "1-click" repository
https://archive.cloudera.com/cdh5/one-click-install/redhat/6/x86_64/cloudera-cdh-5-0.x86_64.rpm
3.更新
hadoop2.3.0cdh5.0.2 升级到cdh5.7.0的更多相关文章
- Oracle数据库版本10.2.0.1升级到10.2.0.3(转)
Oracle数据库版本10.2.0.1升级到10.2.0.3 1.停止OEM/isqlplus/监听/DB实例 $ emctl stop dbconsole $ isqlplusctl stop $ ...
- rac 10g 10.2.0.1升级到10.2.0.5具体解释
RAC 10.2.0.1 升级到 10.2.0.5 一. 准备: Patch 包:p8202632_10205_LINUX.zip 节点数:3个节点 RAC1 RAC2 ...
- Oracle11.2.0.1升级到11.2.0.3
Oracle数据库升级也并非简单的事,这篇博客,博主对Oracle那点事做了较详细的介绍: http://blog.itpub.net/9599/viewspace-473003/ 我还属于Oracl ...
- Linux下Oracle 10.2.0.1升级到10.2.0.4总结
最近部署测试环境时,将测试环境ORACLE数据库从10.2.0.1升级到了10.2.0.4,顺便整理记录一下升级过程. 实验环境: 操作系统:Oracle Linux Server release 5 ...
- oracle--10.2.0.3升级到11.2.0.4
一,环境 01,待升级的系统 升级仅支持10.2.0.2版本之后的系统,如果不是,请把10G升级至高版本! 本次实验环境10.2.0.3 02,挂载11G系统 03,升级须知 1) 做好备份 二,DB ...
- CDH 版本 6.0.1 升级到 6.2.0 当前最新版本(CentOS 7.x)
前文「CDH CM版本 6.0.1 升级到 CM 6.2.0 当前最新版本(CentOS 7.x)」 承接上文,当我们完成 CM 6.2.0 的升级之后,我们已经相当于完成了80% minor 的升级 ...
- 【Oracle】10.2.0.1升级到10.2.0.5
升级数据库到10.2.0.5 因是测试环境,不需要备份:如是生产系统,建议进行全备份后再进行升级操作,预防数据丢失造成不必要的影响. 步骤: 上传并解压补丁,安装前准备,安装补丁,预升级检查, ...
- LINUX中ORACLE 11.2.0.1 升级到11.2.0.4
11.2.0.4补丁号13390677,共7个文件,分别是 其中1&2是db,3是grid,4是client,5是gateways,6是example,7是deinstall 上传安装介质并解 ...
- DPA从DPA 10.0.352升级到DPA 11.0.373
1: 解压安装文件SolarWinds-DPA-11.0.373-64bit.tar.gz [root@lnxmonitor tmp]# tar -xzvf SolarWinds-DPA-11.0.3 ...
随机推荐
- How to: Set Properties of Web Application Projects
https://msdn.microsoft.com/library/aa983454(v=vs.100).aspx ASP.NET Web application projects share th ...
- 动态DNS——本质上是IP变化,将任意变换的IP地址绑定给一个固定的二级域名。不管这个线路的IP地址怎样变化,因特网用户还是可以使用这个固定的域名 这样看的话,p2p可以用哇
动态域名是因应网络远程访问的需要而产生的一项应用技术.因为没有固定IP,只能运用二级域名来应对经常变化的IP,动态域名的由来因此而产生. 它当前主要应用在:路由器.网络摄像机.带网络监控的硬盘录像机. ...
- linux下打开windows txt文件中文乱码问题 (转载)
转自:http://blog.csdn.net/imyang2007/article/details/7448177 在linux操作系统下,我们有时打开在windows下的txt文件,发现在wind ...
- [App Store Connect帮助]二、 添加、编辑和删除用户(2)查看并编辑您的个人帐户
您可以在 App Store Connect 的“编辑个人资料”中查看和编辑个人信息.如果您的 Apple ID 与多个帐户相关联,您可以在您的用户帐户之间切换. 查看您的个人帐户 在任意 App S ...
- ThreadLocal原理及用法详解
背景 一直以来对ThreadLocal用法模棱两可,不知道怎么用今天好好研究了下给大家分享下. 1.讲解ThreadLocal之前先回顾下什么是取模.x^y.弱引用. 1. 取模运算实际上是计算两数相 ...
- Spring实例化bean之后的处理, 关于BeanPostProcessor接口的使用
业务需求:缓存页面,展示需要缓存的所有对象,每类对象在字典表中有编码对应,点击某个对象可以缓存某类对象,每类对象都有自己的缓存runner(弱弱的说一句,本人看到这里的第一反应就是if-else,捂脸 ...
- cookie和seesion区别
cookie 和session 的区别详解 这些都是基础知识,不过有必要做深入了解.先简单介绍一下. 二者的定义: 当你在浏览网站的时候,WEB 服务器会先送一小小资料放在你的计算机上,Cookie ...
- 涨知识 --- VI
1.空类所占空间大小 空类所占空间为1,单一继承的空类空间也为1,多继承的空类空间还是1.但是虚继承涉及虚表(虚指针),所以sizeof(C)的大小为4. 2.内联函数与宏定义 Ans:内联函数和普通 ...
- ActiveMQ 5.10.0 安装与配置
先在官网下载activeMQ,我这里是5.10.0. 然后在解压在一个文件夹下即可. 我这里是:D:\apache-activemq-5.10.0-bin 然后进入bin目录:D:\apache-ac ...
- MVC系列学习(二)-初步了解ORM框架-EF
1.新建 一个控制台项目 2.添加一个数据项 a.选择数据库 注:数据库中的表如下: b.选择EF版本 c.选择表 3.初步了解EF框架 看到了多了一个以 edmx后缀的文件 在edmx文件上,右击打 ...