由于前期的集群规划问题，导致当前Hadoop集群中的硬件并没有完全利用起来。当前机器的内存CPU比例为2G：1core，但一般的MapReduce任务（数据量处理比较大，逻辑较复杂）的MR两端都需要将近4G的内存，于是原有的瓶颈就在于内存不够大，周末就和运维部门一起执行当前集群的机器加内存操作（我在这边主要是打酱油＋学习，运维方面经验欠缺）。
 
此次加内存是针对当前所有的DataNode节点，与NameNode无关，在操作之前需要整理所有的DataNode节点。 
 
DataNode节点加内存不能影响当前线上任务的正常执行，因此需要串行地执行加内存操作（本意是这样，但是还是影响了大部分的任务运行，只能保证HDFS上的文件能够在此期间被访问到）。
 
针对每个节点操作的具体步骤为：
 
  1. 停止DataNode节点上的DataNode和NodeManager服务；
  2. 将节点停机；
  3. 通知机房人员加内存条，系统需要预留8G；
  4. 机房人员添加内存成功后，将通知我们启动DataNode节点；
  5. 重启完成后，检查服务器内存是否添加成功(free命令)，并确认硬盘挂载信息是否正常(df -u, 如果没有正确挂载上，手动执行/etc/rc.local中的mount命令)；
  6. 检查hadoop各个分目录的权限以及文件夹是否正确，一切正常之后，修改hadoop内存配置文件(yarn-site.xml中的yarn.nodemanager.resource.memory-mb参数)。
  7. 启动相关的hadoop服务: nodemanager和DataNode服务；
 
在重置完成后，检查一下防火墙，以避免某些服务无法访问。 
 
当然前面都是一切操作顺利时的状况，在这些操作完成之前，我们需要考虑最坏的情况，如果安装内存条失败了怎么办？需要进行回滚操作，重启机器，如果不能重启，可能需要重装系统，DataNode中的数据可能会丢失。如果其中有2台机器发生这种情况，那么立即停止后续的升级操作（HDFS默认的replication为3）。
 
如果没有在预计的时间内恢复集群，需要通知所有相关人员原因以及折中的方案，并尽快执行恢复操作。
 
在换内存停机器的时候，不能进行跑MR任务，因为可能会发生block读取失败的信息：

Error: org.apache.hadoop.hdfs.BlockMissingException:

Could not obtain block: BP-714842383-192.168.7.11-1393991369860:blk_1098537659_1099556437863 file=xxx

at org.apache.hadoop.hdfs.DFSInputStream.chooseDataNode(DFSInputStream.java:838)

at org.apache.hadoop.hdfs.DFSInputStream.blockSeekTo(DFSInputStream.java:526)

at org.apache.hadoop.hdfs.DFSInputStream.readWithStrategy(DFSInputStream.java:749)

at org.apache.hadoop.hdfs.DFSInputStream.read(DFSInputStream.java:793)

at org.apache.hadoop.hdfs.DFSInputStream.read(DFSInputStream.java:601)

at java.io.DataInputStream.readInt(DataInputStream.java:387)

at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.moveToNext(MapTask.java:197)

at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.next(MapTask.java:183)

at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:52) at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:429)

at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)

at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:162)

at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Subject.java:415)

at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)

at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:157)
这次还好是在周末进行操作的，影响稍微小一点，但是线上跑的任务基本都失败了，hadoop的失败任务节点判断估计也都失败了，因为所有的DataNode都进行了一次升级。总结一下，如果是工作日做这项操作，可以将整个流程拉的稍微长一点，每天加一台机器的内存，这样集群少一台机器对线上任务的影响降低地太小，任务不会失败过多。
 

一次hadoop集群机器加内存的运维过程的更多相关文章

  1. [hadoop] 集群启动和内存调优

    1.启动Hadoop集群 #首先查看下zoo.cfg里面配置的server.id和集群主机的id是否一致 #如果不一致会造成yarn控制不了从节点的启动 cat /home/hadoop/zookee ...

  2. Hadoop集群管理之内存管理

    1.内存 Hadoop为各个守护进程(namenode,secondarynamenode,jobtracker,datanode,tasktracker)统一分配的内存在hadoop-env.sh中 ...

  3. hadoop集群中zkfc的作用和工作过程

    一. 简单了解NameNode的ZKFC机制 NameNode的HA可以个人认为简单分为共享editLog机制和ZKFC对NameNode状态的控制 一般导致NameNode切换的原因 ZKFC的作用 ...

  4. ElasticSearch 集群的规划部署与运维

    公号:码农充电站pro 主页:https://codeshellme.github.io 1,常见的集群部署方式 ES 有以下不同类型的节点: Master(eligible)节点:只有 Master ...

  5. Kubernetes实战 高可用集群搭建，配置，运维与应用

    1-1 K8S导学 1-2 搭建K8S集群步骤和要点介绍 1-3 搭建三节点Ubuntu环境 1-4 安装容器引擎 1-5 下载Kubeadm.node组件和命令行工具 1-6 向集群中加入worke ...

  6. 零基础学习云计算及大数据DBA集群架构师【企业级运维技术及实践项目2015年1月29日周五】

    LNMP/LEMP项目搭建 { 项目框架 # Linux_____WEB_____PHP_____DB # rhel7_____apache__-(libphp5.so)-__php__-(php-m ...

  7. Hadoop集群（第2期）_机器信息分布表

    1.分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群. 图1 集群的架构 其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点.这四台机器彼 ...

  8. Hadoop集群（第3期）机器信息分布表

    1.分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群. 图1 集群的架构 其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点.这四台机器彼 ...

  9. [转]大数据hadoop集群硬件选择

      问题导读 1.哪些情况会遇到io受限制? 2.哪些情况会遇到cpu受限制? 3.如何选择机器配置类型? 4.为数据节点/任务追踪器提供的推荐哪些规格? 随着Apache Hadoop的起步,云客户 ...

随机推荐

  1. 12.18 分布式系统下的session

    广义的session: 会话控制,可以理解成为一种保存key-value的机制 从key的方面来看:sessionId和token sessionId: 服务端请求客户端的时候,服务端通过setcoo ...

  2. APUE学习笔记——5.5~5.7数据流的打开与读写

    1.open #include <stdio.h> FILE *fopen(const char *restrict pathname,const char *restrict type) ...

  3. 关于$_SERVER['PHP_AUTH_USER']

    http://www.cnblogs.com/thinksasa/p/3421379.html PHP 的 HTTP 认证机制仅在 PHP 以 Apache 模块方式运行时才有效,因此该功能不适用于 ...

  4. about system (pause) in cpp

    Which is best way to pause the console in C++ programs? using cin.get() or using system("pause& ...

  5. Slice Header中的field_pic_flag的含义？

    编码模式指帧编码.场编码.帧场自适应编码.当这个句法元素取值为1时属于场编码:0为非场编码. 序列参数集中的句法元素frame_mbs_only_flag和mb_adaptive_frame_fiel ...

  6. [数据处理] LabelEncoder编码

    原创博文,转载请注明出处! # LabelEncoder介绍       LabelEncoder是对不连续的数字或文本编号. # LabelEncoder例子 # -*- coding: utf-8 ...

  7. javascript的slice()与splice()方法

    (1)数组和String对象都有slice()方法. //Array var list = ['A','B','C','D','DS']; console.log(list.slice(,));//截 ...

  8. maven报错【Could not calculate build plan: Plugin org.apache.maven.plugins:maven-resources-plugin:2.6 or one of】

    [自己的操作] (1)windows -> Preferences -> maven 的settings.xml文件中.m2的位置已经失效,更改正确后尝试 (2)pom.xml还有下面错误 ...

  9. Loj 2534 异或序列

    Loj 2534 异或序列 考虑莫队离线处理.每加一个数,直接询问 \(a[x]\oplus k\) 的前/后缀数目即可,减同理. 利用异或的优秀性质,可以维护异或前缀和,容易做到每次 \(O(1)\ ...

  10. CF1117D Magic Gems

    CF1117D Magic Gems 考虑 \(dp\) , \(f[i]\) 表示用 \(i\) 个单位空间的方案数,答案即为 \(f[n]\). 对于一个位置,我们可以放 \(Magic\) 的, ...