HDFS下载数据机制的底层分析

HDFS下载数据机制的底层分析

Hadoop中的RPC（Remote Procedure Call）框架

hadoop中结点间的通信采用的是RPC。

RPC框架的实现机制图解：

从hdfs下载数据的源码分析

在自行在客户端编写download方法的时候，如果不使用封装好的方法，较为底层的写法是：

    Configuration conf = new Configuration();
    conf.set("fs.defaultFS", "hdfs://node01:9000/");
	FileSystem fs = FileSystem.get(new URI("hdfs://node01:9000/"), conf, "thousfeet");
	FSDataInputStream is = fs.open(new Path("/test.txt"));
	FileOutputStream os  = new FileOutputStream("c:/xxx.txt");
	IOUtils.copy(is,os);

跟踪查看在HDFS源码的内部实现：

getFileSystem

关键代码的流程图解：

inputstream

关键代码：