HDFS的读数据过程分析

【HDFS的读数据过程分析】的更多相关文章

HDFS的读数据过程分析

我们继续在 FileSystem 类分析,读数据使用的是 open(-)方法,我们可以看到源码 FSDataInputStream in = fileSystem.open(new Path("/d100/f1")); 点击open /** * Opens an FSDataInputStream at the indicated Path. * @param f the file to open */ public FSDataInputStream open(Path f) thr…

HDFS的写数据过程分析

HDFS的写数据过程分析我们通过FileSystem类可以操控HDFS, 那我们就从这里开始分析写数据到HDFS的过程. 在我们向 HDFS 写文件的时候,调用的是 FileSystem.create(Path path)方法,我们查看这个方法的源码,通过跟踪内部的重载方法,可以找到 /** * Opens an FSDataOutputStream at the indicated Path with write-progress * reporting. * @param f the fi…

HDFS数据流——读数据流程

HDFS读数据流程假设客户端请求下载文件/user/atguigu/ss.avi,HDFS读数据流程如下: 1)客户端向namenode请求下载文件,namenode通过查询元数据,找到文件所有文件块及所在的datanode地址. 2)挑选一台datanode(就近原则,然后随机)服务器,请求读取数据. 3)datanode开始传输数据给客户端(从磁盘里面读取数据放入流,以packet为单位来做校验). 4)客户端以packet为单位接收,先在本地缓存,然后合并写入目标文件.…

Hadoop日记Day11---主从节点接口分析

一.NameNode 的接口分析 1. NameNode本质经过前面的学习,可以知道NameNode 本身就是一个java 进程.观察RPC.getServer()方法的第一个参数,发现是this,说明NameNode 本身就是一个位于服务端的被调用对象,即NameNode 中的方法是可以被客户端代码调用的.根据RPC 运行原理可知,NameNode暴露给客户端的方法是位于接口中的.我们查看NameNode 的源码,如图1.1所示. 图 1.1 可以看到NameNode 实现了ClientPr…

hadoop入门级总结一：HDFS

虽然hadoop经历了多年的发展,作为技术人员都或多或少的使用过或者了解过.这里还是做一个简单的总结,主要原因是之前主要是做hadoop的开发,对hadoop的运维知之甚少,但真正的接触到hadoop运维的工作的时候,其实会发现,对hadoop的一整套框架和理论知识都需要系统的学习,才能把工作做得更好,同时做基于hadoop的数据分析工作的时候,也时常会涉及到一些hadoop参数的调优.因此,在这里做一个简单的总结.由于是自己查阅资料并结合工作进行总结的,不免有疏漏或者错误之处,遇到了敬请一并指…

hadoop之HDFS学习笔记（一）

主要内容:hdfs的整体运行机制,DATANODE存储文件块的观察,hdfs集群的搭建与配置,hdfs命令行客户端常见命令:业务系统中日志生成机制,HDFS的java客户端api基本使用. 1.什么是大数据基本概念 <数据处理> 在互联网技术发展到现今阶段,大量日常.工作等事务产生的数据都已经信息化,人类产生的数据量相比以前有了爆炸式的增长,以前的传统的数据处理技术已经无法胜任,需求催生技术,一套用来处理海量数据的软件工具应运而生,这就是大数据! 处理海量数据的核心技术: 海量数据存储:分布…

Hadoop(8)-HDFS的读写数据流程以及机架感知

1. HDFS的写数据流程 1.客户端通过fs模块向NameNode申请文件上传,NameNode检查请求是否合法,如用户权限,目标文件是否已存在,父目录是否存在等等 2.NameNode返回是否可以上传,如果是的话,建立连接通道 3.客户端通过FSDataOutputStream模块请求上传block,NameNode根据网络拓扑距离计算返回的节点,dn1,dn2,dn3 4.客户端与dn1建立连接通道,dn1收到请求后会向dn2发起连接请求,dn2收到请求后会向dn3发起请求.请求通道全部打…