1. namenode 如何判断datanode节点是否宕机?
  2. 先决条件:
  3. datanode每隔一段时间像namenode汇报,汇报的信息有两点
  4. ()自身datanode的状态信息;
  5. ()自身datanode所持有的所有的数据块的信息。
  6. 如果namenode连续十次没有收到datanode的汇报,那么namenode就会认为该datanode存在宕机的可能。
  7. datanode启动以后会专门启动一个进程负责给namenode发送心跳数据包,如果datanode没有问题,仅仅只是发送信息数据包的进程挂了,namenode会发送命令像这个datanode进行确认,
  8. 查看这个发送心跳包的进程是否还能正常运行,namenode会向datanode确认两遍,每五分钟确认一次。如果两次都没有返回结果,那么namenode就会认为datanode已经宕机了。
  9. 最终namenode判断一个datanode死亡的时间计算公式:
  10. timeout = * 心跳间隔时间 + * 检查一次消耗的时间
  11. 心跳间隔时间
  12. 配置参数:dfs.heartbeat.interval
  13. 默认值:3s,单位s
  14. 检查一次消耗的时间
  15. 配置参数:dfs.namenode.heartbeat.recheck-interval
  16. 默认值: ,单位ms
  17.  
  18. 、数据块读写操作的一些配置项
  19. ()配置参数:dfs.blocksize
  20. 参数说明:客户端数据分块的大小
  21. 默认值:(128M);单位:字节
  22. ()dfs.client-write-packet-size
  23. 参数说明:客户端写入数据时packet数据包的大小
  24. 默认值:(64K),单位字节
  25. ()dfs.bytes-per-checksum
  26. 参数说明:chunk(写入数据时最小的一个单位),数据校验的粒度
  27. 默认值:512字节
  28. 注:事实上一个chunk还包含4B的校验值,因而chunk写入packet时是516B;数据与检验值的比值为128:,所以对于一个128Mblock会有一个1M的校验文件与之对应;
  29.  
  30. 、集群数据损坏以后,自动删除时长
  31. 配置项:dfs.blockreport.intervalMsec
  32. 默认值:(36分钟),单位:ms
  33.  
  34. 、元数据checkPount
  35. 在分布式或者伪分布集群中,每隔一段时间,会由 secondary namenode namenode 上积累的所有 edits 和一个最新的 fsimage 下载到本地,并加载到内存进行 merge(这个过程称为 checkpoint
  36. dfs.namenode.checkpoint.check.period= ##检查触发条件是否满足的频率, 秒
  37. dfs.namenode.checkpoint.dir=file://${hadoop.tmp.dir}/dfs/namesecondary
  38. ##以上两个参数做 checkpoint 操作时,secondary namenode 的本地工作目录
  39. dfs.namenode.checkpoint.edits.dir=${dfs.namenode.checkpoint.dir}
  40. dfs.namenode.checkpoint.max-retries= ##最大重试次数
  41. dfs.namenode.checkpoint.period= ##两次 checkpoint 之间的时间间隔 秒
  42. dfs.namenode.checkpoint.txns= ##两次 checkpoint 之间最大的操作记录
  43.  
  44. jvm重用
  45. 配置参数:mapred.job.reuse.jvm.num.tasks
  46. 参数解释:一个jvm内部跑多少个task,默认是1,可以设置为多个。这个参数在2..2版本中未找到。

Hadoop NameNode判断 DataNode 节点宕机的时间的更多相关文章

  1. redis集群节点宕机

    redis集群是有很多个redis一起工作,那么就需要这个集群不是那么容易挂掉,所以呢,理论上就应该给集群中的每个节点至少一个备用的redis服务.这个备用的redis称为从节点(slave). 1. ...

  2. clickhouse高可用-节点宕机数据一致性方案-热扩容

    1. 集群节点及服务分配 说明: 1.1. 在每个节点上启动两个clickhouse服务(后面会详细介绍如何操作这一步),一个数据分片,一个数据备份,为了确保宕机数据一致性,数据分片和数据备份不能同一 ...

  3. Redis生产环境节点宕机问题报错及恢复排错

    Redis故障发现 主观下线 当cluster-node-timeout时间内某节点无法与另一个节点顺利完成ping消息通信时,则将该节点标记为主观下线状态. 客观下线 当某个节点判断另一个节点主观下 ...

  4. Vertica集群单节点宕机恢复方法

    Vertica集群单节点宕机恢复方法 第一种方法: 直接通过admintools -> 5 Restart Vertica on Host 第二种方法: 若第一种方法无法恢复,则清空宕机节点的c ...

  5. Vertica节点宕机处理一例

    Vertica节点宕机处理一例: 查询数据库版本和各节点状态 常规方式启动宕机节点失败 进一步查看宕机节点的详细日志 定位问题并解决 1. 查询数据库版本和各节点状态 dbadmin=> sel ...

  6. elasticsearch介绍集群,模拟横向扩展节点、节点宕机、改变分片

        出处:[http://www.cnblogs.com/dennisit/p/4133131.html] ,防楼主删博,故保留一份! elasticsearch用于构建高可用和可扩展的系统.扩展 ...

  7. openstack高可用集群20-openstack计算节点宕机迁移方案

    openstack计算节点宕机迁移方案   情景一:/var/lib/nova/instances/ 目录不共享的处理方法(类似手动迁移云主机到其他节点)

  8. 『叶问』#41,三节点的MGR集群,有两个节点宕机后还能正常工作吗

    『叶问』#41,三节点的MGR集群,有两个节点宕机后还能正常工作吗 每周学点MGR知识. 1. 三节点的MGR集群,有两个节点宕机后还能正常工作吗 要看具体是哪种情况. 如果两个节点是正常关闭的话,则 ...

  9. mongodb副本集中其中一个节点宕机无法重启的问题

    2-8日我还在家中的时候,被告知mongodb副本集中其中一个从节点因未知原因宕机,然后暂时负责代管的同事无论如何就是启动不起来. 当时mongodb的日志信息是这样的: 实际上这里这么长一串最重要的 ...

随机推荐

  1. 使用jQuery开发tab选项卡插件(可以右键关闭多个标签)

    在前一篇“使用jQuery开发tab选项卡插件”的基础上添加了tab标签右键关闭菜单功能,菜单主要包括:关闭当前标签.关闭左侧标签.关闭右侧标签.关闭其他.关闭全部. 一.插件效果 二.实现思路 为w ...

  2. java容易混淆的概念

    容易混淆的内容 1.JVM内存模型 2.Java内存模型 3.Java对象模型 JVM内存模型 1.堆 2.虚拟机栈 3.本地方法栈 4.程序计数器 5.方法区 Java内存模型 Java堆和方法区的 ...

  3. 【spark】spark-2.4.4的安装与测试

    4.2.1 下载并安装spark 下载文件名:spark-2.4.4-bin-without-hadoop.tgz [hadoop@hadoop01 ~]$ tar -zxvf spark-2.4.4 ...

  4. es6 javascript的Class 类的继承

    原文链接:https://blog.csdn.net/qq_30100043/article/details/53542531 1 基本用法 Class 之间可以通过extends关键字实现继承, 这 ...

  5. prometheus operator 部署

    prometheus operator 部署自定义记录 环境: k8s 1.11集群版本,kubeadm部署 docker 17.3.2版本 Centos 7系统 阿里云服务器 operator 源码 ...

  6. Django图书管理系统(前端对数据库的增删改查)

    图书管理系统 出版社的管理 源码位置:https://gitee.com/machangwei-8/learning_materials/tree/master/%E9%A1%B9%E7%9B%AE/ ...

  7. Buffer Latch Timeout的解析

    [问题描述] 我们可能会在数据库的错误日志里,发现这么一条信息: A time-out occurred while waiting for buffer latch -- type 4, bp 00 ...

  8. 在DEV c++ 中如何设置默认的代码模板

    /*菜单,工具=>编辑器选项(弹出对话框)=>代码(属性页)=>缺省源(属性页),写入一些代码确定即可(勾选“向项目初始源文件插入代码”).版本是5.11,中文版 */ #inclu ...

  9. 【转】spring 自定义注解(annotation)与 aop获取注解

    首先我们先介绍Java自定义注解. 在开发过程中,我们实现接口的时候,会出现@Override,有时还会提示写@SuppressWarnings.其实这个就是Java特有的特性,注解. 注解就是某种注 ...

  10. IDEA -01 -忽略指定文件夹 -防止加载Vue-cli执行"npm install"命令后的项目时卡死

    问题描述 Vue的"npm install" 命令执行后,会生成一个很大的目录层次的"node_modules",文件十分繁多; idea加载这个项目下的文件夹 ...