这一讲主要深入使用HDFS命令行工具操作Hadoop分布式集群,主要是通过实验的配置hdfs-site.xml文件的心跳来测试replication具体的工作和流程。

通过HDFS的心跳来测试replication具体的工作机制和流程的PDF版本请猛击这里

王家林的“云计算分布式大数据Hadoop实战高手之路”之完整发布目录

,每天都会在群中发布云计算实战性资料,欢迎大家加入!

王家林 第六讲Hadoop图文训练课程:使用HDFS命令行工具操作Hadoop分布式集群初体验中,我们配置了hadoop.main这台主机的hdfs-site.xml这个配置文件的“dfs.replication”的值为2:

当我们上传文件时候文件会保存2份副本:

下面我们通过实验的方式探究replication属性配置的作用。

首先关闭集群:

然后修改hadoop.main这台机器上的hdfs-site.xml配置文件:

在这个配置文件中加入新的配置信息:

保存退出。

新加入的配置信息:

的具体含义是当DataNode和NameNode的心跳失去连接的时间超过15秒之后,Hadoop系统就会认为这个DataNode已经死亡,此时Hadoop会把这个DataNode标记为不能工作的状态,以后如果客户端去 访问数据的时候,Hadoop就不会尝试到这个DataNode去获取数据。

下面看一下其工作的具体方式:

首先启动HDFS:

进入HDFS的Web监控台的Node页面:

我们发现hadoop.main和hadoop.slave这两个DataNode均在正常的工作中。

我们观察到“Last Contact”选项的数据,该数据是表明DataNode和NameNode最近联系的心跳成功的时间,我们再次刷新页面看一下这个数据:

我们发现这个具体的数据时比较低的。

此时我们通过命令行工作查看datanode进程:

我们发现hadoop.main上运行的DataNode节点的进程是16228,我们把这个DataNode杀掉:

我们再次刷新HDFS的Node的控制台:

继续刷新:

继续刷新:

可以发现第一个DataNode的心跳时间不断的在增加,同时在第三次刷新的时候心跳间隔时间为25,这个数据超过我们配置文件中的15,再刷新一次:

此时发现只有一个正在服务的DataNode,因为我们的Hadoop.main中的DataNode心跳间隔时间超过了15秒,Hadoop此时把把该节点标记为无效节点。

我们返回文件系统页面看一下我们上传的文件存储信息:

此外发现文件的可访问信息只是存放在了hadoop.slave这个节点中了,当然,此时我们还是可以正常的访问文件,虽然只有一份可用副本,这就是replication节点的作用,我们在配置该节点的时候把值设置为2,表明同一个文件在HDFS中有两个副本,当一个运行DataNode的进程因为某些原因不能工作的时候,我们依旧可以使用剩余的一份副本工作,这不会影响客户端对数据的访问。

云计算分布式大数据Hadoop实战高手之路第七讲Hadoop图文训练课程:通过HDFS的心跳来测试replication具体的工作机制和流程的更多相关文章

  1. 云计算分布式大数据Hadoop实战高手之路第八讲Hadoop图文训练课程:Hadoop文件系统的操作实战

    本讲通过实验的方式讲解Hadoop文件系统的操作. “云计算分布式大数据Hadoop实战高手之路”之完整发布目录 云计算分布式大数据实战技术Hadoop交流群:312494188,每天都会在群中发布云 ...

  2. Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈与熟练的掌握Scala语言【大数据Spark实战高手之路】

    Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈 大数据的概念与应用,正随着智能手机.平板电脑的快速流行而日渐普及,大数据中图的并行化处理一直是一个非常热门的话题.图计算正在被广泛地应用于社交 ...

  3. 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第十一讲Hadoop图文训练课程:MapReduce的原理机制和流程图剖析

    这一讲我们主要剖析MapReduce的原理机制和流程. “云计算分布式大数据Hadoop实战高手之路”之完整发布目录 云计算分布式大数据实战技术Hadoop交流群:312494188,每天都会在群中发 ...

  4. 王家林的81门一站式云计算分布式大数据&移动互联网解决方案课程第14门课程:Android软硬整合设计与框架揭秘: HAL&Framework &Native Service &App&HTML5架构设计与实战开发

    掌握Android从底层开发到框架整合技术到上层App开发及HTML5的全部技术: 一次彻底的Android架构.思想和实战技术的洗礼: 彻底掌握Andorid HAL.Android Runtime ...

  5. 一站式Hadoop&Spark云计算分布式大数据和Android&HTML5移动互联网解决方案课程(Hadoop、Spark、Android、HTML5)V2的第一门课程

    Hadoop是云计算的事实标准软件框架,是云计算理念.机制和商业化的具体实现,是整个云计算技术学习中公认的核心和最具有价值内容. 如何从企业级开发实战的角度开始,在实际企业级动手操作中深入浅出并循序渐 ...

  6. 云计算分布式大数据神器Spark实战高手之旅

    从2012年1月份研究Spark到如今已经两年多的时间了. 在这两年多的时间里比較彻底的研究了Spark的源码并已经在2014年4月24日编写完毕了世界上第一本Spark书籍. 鉴于CSDN在大陆IT ...

  7. 云计算、大数据、编程语言学习指南下载,100+技术课程免费学!这份诚意满满的新年技术大礼包,你Get了吗?

    开发者认证.云学院.技术社群,更多精彩,尽在开发者会场 近年来,新技术发展迅速.互联网行业持续高速增长,平均薪资水平持续提升,互联网技术学习已俨然成为学生.在职人员都感兴趣的“业余项目”. 阿里云大学 ...

  8. 大数据开发实战:Hadoop数据仓库开发实战

    1.Hadoop数据仓库架构设计 如上图. ODS(Operation Data Store)层:ODS层通常也被称为准备区(Staging area),它们是后续数据仓库层(即基于Kimball维度 ...

  9. 终于有人把云计算、大数据和 AI 讲明白了

    最近学习hadoop以及生态,顺便看到了这篇文章,总结的很到位,转载下. 我今天要讲这三个话题,一个是云计算,一个大数据,一个人工智能,我为什么要讲这三个东西呢?因为这三个东西现在非常非常的火,它们之 ...

随机推荐

  1. PHP文件上传代码和逻辑详解

    文件上传的逐步完善------ [简单的上传:]   <form action="upload.php"  method="post"  enctype= ...

  2. 第九篇 ERP实施项目中需求分析及方案设计的通用思路

    顾问实施ERP就好想医生给患者看病抓药,不但具有类似的过程,而且具有其通用的思路. --详见http://bbs.erp100.com/thread-272856-1-1.html 顾问实施ERP就好 ...

  3. mongodb添加用户和认证

    Mongodb默认启动是不带认证,也没有账号,只要能连接上服务就可以对数据库进行各种操作,这样可不行.现在,我们得一步步开启使用用户和认证. 第一步,我们得定位到mongodb的安装目录.我本机的是C ...

  4. C语言之字节对齐

    在C语言编程中,有时为了达到减少运行的时间的目的,需要浪费一些空间:而有时为了节省空间,使它的运行时间增长.而字节对齐则是为了访问效率,用空间换取时间. 要掌握字节对齐,首先得明确一下四个概念: 1. ...

  5. [Swift 语法点滴]—— Struct Vs Class

    摘自:stackoverflow.com/questions/24232799/why-choose-struct-over-class Structure instances are always ...

  6. python练习程序(批量重命名)

    # -*- coding: cp936 -*- import sys,os,string d=0; path="F://test" srcfile=os.listdir(path) ...

  7. RNN 与 LSTM 的应用

    之前已经介绍过关于 Recurrent Neural Nnetwork 与 Long Short-Trem Memory 的网络结构与参数求解算法( 递归神经网络(Recurrent Neural N ...

  8. 【英语】Bingo口语笔记(41) - 有关爱情的表达

  9. 【英语】Bingo口语笔记(70) - 最易忽略的2个连读技巧

  10. Ant编译环境

    使用ant编译有关于C compiler(cc task)的时候,需要确认vs的环境有无配置, 否则会遇到形形色色的问题,比如各种 vs编译工具找不到的错误, 一个比较简单的解决方案,就是在执行ant ...