Hadoop源码分析之客户端向HDFS写数据
转自:http://www.tuicool.com/articles/neUrmu
在上一篇博文中分析了客户端从HDFS读取数据的过程,下面来看看客户端是怎么样向HDFS写数据的,下面的代码将本地文件系统中/home/hadoop/input目录下的文件写入到本地搭建的HDFS的/test文件中,代码如下:
01.
import
java.io.IOException;
02.
import
java.net.URI;
03.
04.
import
org.apache.hadoop.conf.Configuration;
05.
import
org.apache.hadoop.fs.FSDataInputStream;
06.
import
org.apache.hadoop.fs.FSDataOutputStream;
07.
import
org.apache.hadoop.fs.FileStatus;
08.
import
org.apache.hadoop.fs.FileSystem;
09.
import
org.apache.hadoop.fs.Path;
10.
/**
11.
* Hadoop版本1.2.1
12.
* 系统ubuntu 12.04
13.
* JDK 1.7
14.
*/
15.
public
class
PutMerge {
16.
17.
public
static
void
main(String[] args)
throws
IOException {
18.
Configuration conf =
new
Configuration();
19.
Path inputDir =
new
Path(
"/home/hadoop/input"
);
21.
Path hdfsfile =
new
Path(serverPath);
22.
FileSystem hdfs = FileSystem.get(URI.create(serverPath), conf);
23.
//根据上面的serverPath,获取到的是一个org.apache.hadoop.hdfs.DistributedFileSystem对象
24.
FileSystem local = FileSystem.getLocal(conf);
25.
FileStatus[] status = local.listStatus(inputDir);
26.
FSDataOutputStream out = hdfs.create(hdfsfile);
27.
28.
for
(
int
i =
0
; i < status.length; i++) {
29.
FSDataInputStream in = local.open(status[i].getPath());
30.
byte
buffer[] =
new
byte
[
256
];
31.
int
byteread =
0
;
32.
while
((byteread = in.read(buffer)) >
0
) {
33.
out.write(buffer);
34.
}
35.
in.close();
36.
}
37.
out.close();
38.
}
39.
}
在上面的代码中,与从HDFS中读取数据的代码类似,首先得到代表HDFS的FileSystem类的一个对象(即org.apache.hadoop.hdfs.DistributedFileSystem类的对象),与从HDFS中读取数据不同的是,这里是调用FileSystem.create()方法创建一个输出流FSDataOutputStream类对象,这个对象将数据流管道中的数据写入到HDFS中的hdfsfile的文件中。
HDFS客户端的输出流的类继承结构
HDFS客户端处理输出流的类是org.apache.hadoop.hdfs.DFSClient.DFSOutputStream,这个类用于向HDFS文件写入数据,继承自类org.apache.hadoop.fs.FSOutputSummer,这个类提供在流上计算校验和并输出的能力,可以看到FSOutputSummer是java.io.OutputStream的子类。
在上面的PutMerge类的代码中,调用FileSystem.create()方法返回的是一个FSDataOutputStream对象,所以这里与HDFS客户端输入流类继承结构类似,也是使用的装饰器模式,在FSDataOutputStream中有一个OutputStream对象的引用,FSDataOutputStream的与数据流输出相关的处理由OutputStream对象完成。
与HDFS客户端输入流类对比,发现客户端的类中多了一个DFSDataInputStream类,那么为什么输出流中没有DFSDataOutputStream?从DFSDataInputStream的源代码中可以看到,这个类中定义了四个方法,四个方法的作用分别是获取当前正在读的数据节点(DataNode),获取当前读的数据块,获取已定位到的所有数据块和获取文件长度,这些信息在读HDFS中的数据时可能会用到,但是向HDFS写数据时,数据是按照数据流管道写的,这个过程中不需要知道除数据流管道第一个数据节点之外的其他数据节点的信息,客户端只需要将数据写入到第一个数据节点中,剩下的事情由数据节点完成,对比DFSDataInputStream,没有DFSDataOutputStream类的原因可能是这样的。
HDFS客户端的输出流类继承结构相对输入流,少了DFSDataInputStream,但是在写数据的过程中,涉及多个线程,所以还是比较复杂的。
HDFS客户端写数据的流程
向HDFS中写入数据,首先需要创建一个数据流输出管道,这个数据流输出管道将数据输出到HDFS集群中。在上面的代码中,hdfs.create(hdfsfile)创建了一个FSDataOutputStream对象,这个对象就是一个输出管道,通过这个管道可以将数据写入HDFS集群。
对上面的代码中,调用FileSystem.create()会通过调用DistributedFileSystem.create()方法来实现,该方法代码如下:
01.
public
FSDataOutputStream create(Path f, FsPermission permission,
02.
boolean
overwrite,
03.
int
bufferSize,
short
replication,
long
blockSize,
04.
Progressable progress)
throws
IOException {
05.
06.
statistics.incrementWriteOps(
1
);
07.
//创建一个FSDataOutputStream对象返回,FSDataOutputStream的第一个参数是OutputStream引用
08.
return
new
FSDataOutputStream
09.
(dfs.create(getPathName(f), permission,
10.
overwrite,
true
, replication, blockSize, progress, bufferSize),
11.
statistics);
12.
}
参数f表示将要在HDFS中建立的文件路径,permission表示客户端的权限信息,overwrite如果为true,则同名文件将被覆盖,如果为false,则有同名文件会抛出错误,bufferSize表示写文件过程中的缓存大小,replication表示文件写入到HDFS中后拥有的副本数量,blockSize表示数据块大小,progress用于客户端向HDFS报告进度。
该方法首先通过DFSClient.create()方法创建一个DFSOutputStream对象,然后使用FSDataOutputStream的构造方法创建目标文件的输出流管道对象返回给客户端,这样客户端就可以通过这个管道向HDFS写入数据了。DFSClient.create()共有7个重载方法,对任何一个方法的调用都会调用下面这个方法:
01.
public
OutputStream create(String src,FsPermission permission,
boolean
overwrite,
02.
boolean
createParent,
short
replication,
long
blockSize,
03.
Progressable progress,
int
buffersize)
throws
IOException {
04.
checkOpen();
//检查DFSClient是否关闭
05.
if
(permission ==
null
) {
06.
permission = FsPermission.getDefault();
07.
}
08.
FsPermission masked = permission.applyUMask(FsPermission.getUMask(conf));
09.
LOG.debug(src +
": masked="
+ masked);
10.
final
DFSOutputStream result =
new
DFSOutputStream(src, masked,
11.
overwrite, createParent, replication, blockSize, progress, buffersize,
12.
conf.getInt(
"io.bytes.per.checksum"
,
512
));
13.
beginFileLease(src, result);
14.
return
result;
15.
}
参数src是目标文件的路径的字符串表示,因为HDFS中的文件的路径在NameNode中是使用/分隔的字符串表示的,参数createParent如果为true,则会创建不存在的父目录。在这个方法中首先检查DFSClient是否关闭,然后通过DFSOutputStream的构造方法创建了一个DFSOutputStream对象,最后,通过beginFileLease()方法开启客户端向HDFS写文件的租约。
在DFSOutputStream类中定义了3个内部类,分别是Packet,DataStreamer和ResponseProcessor,其中Packet是在客户端发往HDFS集群过程中的数据包的抽象,同时也用于构造数据包的特殊形式-心跳包,DataStreamer用于在数据流管道中向DataNode发送数据包。它从NameNode上检索新的blockid和block的位置,然后开始向DataNode组成的数据流管道中发送数据包。每个数据包都有一个序列号。当一个数据块的所有的数据包,都发送完毕并且每个数据包的确认消息都被接收,那么DataStreamer就关闭当前的数据块。ResponseProcessor类用于发送客户端向DataNode发送数据包后的响应处理,即DataNode接收到数据包后,会向客户端发送一个确认,ResponseProcessor就是用来处理这些确认信息的。DataStreamer和ResponseProcessor分别代表单独的线程。
DFSOutputStream中定义了一些成员变量,用于与HDFS中的DataNode进行通信,这些变量如下:
01.
class
DFSOutputStream
extends
FSOutputSummer
implements
Syncable {
02.
/**与HDFS中的DataNode节点进行网络通信**/
03.
private
Socket s;
04.
/**标识数据输出流是否关闭**/
05.
boolean
closed =
false
;
06.
/**文件名**/
07.
private
String src;
08.
/**用于写出数据流**/
09.
private
DataOutputStream blockStream;
10.
/**响应流**/
11.
private
DataInputStream blockReplyStream;
12.
private
Block block;
13.
private
Token<BlockTokenIdentifier> accessToken;
14.
/**数据块大小**/
15.
final
private
long
blockSize;
16.
private
DataChecksum checksum;
17.
/**保存了输出流中要发送的数据包**/
18.
private
LinkedList<Packet> dataQueue =
new
LinkedList<Packet>();
19.
/**保存已经发送的,但是还没有收到确认的数据包**/
20.
private
LinkedList<Packet> ackQueue =
new
LinkedList<Packet>();
21.
/**当前数据包**/
22.
private
Packet currentPacket =
null
;
23.
private
int
maxPackets =
80
;
// each packet 64K, total 5MB
24.
// private int maxPackets = 1000; // each packet 64K, total 64MB
25.
private
DataStreamer streamer =
new
DataStreamer();;
26.
private
ResponseProcessor response =
null
;
27.
private
long
currentSeqno =
0
;
28.
private
long
lastQueuedSeqno = -
1
;
29.
/**当前收到应答的最后一个数据包**/
30.
private
long
lastAckedSeqno = -
1
;
31.
/**在当前数据块中的位置**/
32.
private
long
bytesCurBlock =
0
;
// bytes writen in current block
33.
/**数据包的大小**/
34.
private
int
packetSize =
0
;
// write packet size, including the header.
35.
private
int
chunksPerPacket =
0
;
36.
/**当前数据块要输出到的数据节点**/
37.
private
DatanodeInfo[] nodes =
null
;
// list of targets for current block
38.
/**存放创建数据流管道时失败的DataNode节点,将这个DataNode排除在外,以免再次访问到故障节点**/
39.
private
ArrayList<DatanodeInfo> excludedNodes =
new
ArrayList<DatanodeInfo>();
40.
/**是否出现错误或者异常**/
41.
private
volatile
boolean
hasError =
false
;
42.
/**创建数据流管道时标识哪个DataNode出错**/
43.
private
volatile
int
errorIndex =
0
;
44.
/**保存调用过程中最后出现的一个异常**/
45.
private
volatile
IOException lastException =
null
;
46.
private
long
artificialSlowdown =
0
;
47.
private
long
lastFlushOffset =
0
;
// offset when flush was invoked
48.
private
boolean
persistBlocks =
false
;
// persist blocks on namenode
49.
private
int
recoveryErrorCount =
0
;
// number of times block recovery failed
50.
private
int
maxRecoveryErrorCount =
5
;
// try block recovery 5 times
51.
private
volatile
boolean
appendChunk =
false
;
// appending to existing partial block
52.
private
long
initialFileSize =
0
;
// at time of file open
53.
/**用于向HDFS报告进度**/
54.
private
Progressable progress;
55.
/**文件的数据块副本数**/
56.
private
short
blockReplication;
// replication factor of file
其中部分变量会在构造DFSOutputStream对象是初始化,而有些则是在与DataNode通信的过程中会不断的改变,具体会在下面详细分析,在DFSClient.create()方法中调用的DFSOutputStream构造方法的代码如下:
01.
DFSOutputStream(String src, FsPermission masked,
boolean
overwrite,
02.
boolean
createParent,
short
replication,
long
blockSize, Progressable progress,
03.
int
buffersize,
int
bytesPerChecksum)
throws
IOException {
04.
//初始化成员变量
05.
this
(src, blockSize, progress, bytesPerChecksum, replication);
06.
computePacketChunkSize(writePacketSize, bytesPerChecksum);
07.
try
{
08.
//旧版本的HDFS集群的create()方法不含createParent参数,使用createParent参数来兼容就版本
09.
//create()方法在NameNode上创建一个新的处于构建状态的文件
10.
if
(createParent) {
11.
namenode.create(
12.
src, masked, clientName, overwrite, replication, blockSize);
13.
}
else
{
14.
namenode.create(
15.
src, masked, clientName, overwrite,
false
, replication, blockSize);
16.
}
17.
}
catch
(RemoteException re) {
18.
throw
re.unwrapRemoteException(AccessControlException.
class
,FileAlreadyExistsException.
class
,
19.
FileNotFoundException.
class
,NSQuotaExceededException.
class
,DSQuotaExceededException.
class
);
20.
}
21.
streamer.start();
22.
}
这个DFSOutputStream构造方法的最后一个参数代表多少字节计算一次校验和,默认是512字节的数据计算一次校验和。在方法中首先调用另一个构造方法初始化成员变量,然后调用方法computePacketChunkSize来计算发往数据节点的数据包能包含多少校验块,以及包的长度,一般来说数据包最大能达到64K字节。HDFS传输数据时使用的校验方式有两种选择,一种是空校验,即不对数据进行校验,一种是CRC32校验,关于CRC校验方法参考http://zh.wikipedia.org/wiki/%E5%BE%AA%E7%8E%AF%E5%86%97%E4%BD%99%E6%A0%A1%E9%AA%8C。一般选择使用CRC32校验方式。
然后调用NameNode节点上的IPC方法create()来创建文件,即按照给定的src路径,在NameNode的目录树结构中创建一个文件,同时传入这个文件的数据块大小,副本数等参数信息,这个远程方法执行完之后,在NameNode的目录树中就创建好了一个条目,在NameNode上创建文件成功后,就启动DataStreamer线程,向HDFS集群中写入数据。
在DFSOutputStream的构造方法的执行完之后,返回到DFSClient.create()方法,执行beginFileLease(src, result);这行语句,获取写文件的租约。对于HDFS来说,租约是NameNode节点给予租约持有者在规定时间内一定权限(写文件)的合同。NameNode节点通过租约管理器管理管理租约,客户端在写文件过程中,需要定期更新租约,否则,租约过期后,NameNode节点会通过租约恢复机制关闭文件。
至此,就完成了HDFS集群中文件的创建,接下来就是获得保存文件的数据块的DataNode节点的信息,然后建立数据流管道向DataNode中写入文件数据。
在HDFS写文件的过程中为了提高效率,会在写数据前创建一个数据流管道,在这个管道中有replication(副本数)个DataNode节点,逻辑上这些DataNode节点线性排列,组成一条管道。按照这个线性排列给各个DataNode编号分别为DataNode-1,DataNode-2,DataNode-3,假设副本数为3,那么客户就在数据包中保存这3个DataNode节点的信息,并将数据包发送给DataNode-1,DataNode-1接收到数据包之后就在本地保存数据,同时将数据推送到DataNode-2,随后照这样进行,直到数据到达最后一个DataNode(这里的最后一个DataNode是DataNode-3),最后一个DataNode保存了数据后,就向前一个DataNode发送确认包,收到确认包的节点再向它上一个DataNode节点发送确认包,这样逆流而上,最后DataNode-1将确认包发送给客户端。
HDFS客户端写文件的具体过程是由3个线程配合完成的,这三个线程分别是DataStreamer线程,ResponseProcessor线程和DFSOutputStream线程。在上面的PutMerge类的代码中调用了out.write(buffer);这行代码来向HDFS写数据,其中out对象是FSDataOutputStream类的一个对象,FSDataoutputStream.write()方法的调用最终会执行其内部out变量(java.io.FilterOutputStream类的成员变量)的write()方法,由于在构造FSDataOutputStream类时传入的是一个DFSOutputStream对象,所以会调用DFSOutputStream.write()方法(其实是DFSOutputStream父类FSOutputSummer的write方法),根据调用关系,最后会进入到DFSOutputStream.writeChunk()方法,在这个方法中进行具体的写数据逻辑。
先来看看DFSOutputStream.writeChunk()方法,这个方法负责将数据准备好发送数据,代码如下:
01.
protected
synchronized
void
writeChunk(
byte
[] b,
int
offset,
int
len,
byte
[] checksum)
02.
throws
IOException {
03.
checkOpen();
//检查DFSClient对象的状态
04.
isClosed();
//检查DFSOutputStream对象的状态
05.
06.
int
cklen = checksum.length;
07.
int
bytesPerChecksum =
this
.checksum.getBytesPerChecksum();
08.
if
(len > bytesPerChecksum) {
//输出的数据比一个校验块还大
09.
throw
new
IOException(
"writeChunk() buffer size is "
+ len +
10.
" is larger than supported bytesPerChecksum "
+
11.
bytesPerChecksum);
12.
}
13.
if
(checksum.length !=
this
.checksum.getChecksumSize()) {
//校验数据的大小不正确
14.
throw
new
IOException(
"writeChunk() checksum size is supposed to be "
+
15.
this
.checksum.getChecksumSize() +
16.
" but found to be "
+ checksum.length);
17.
}
18.
synchronized
(dataQueue) {
19.
// If queue is full, then wait till we can create enough space
20.
while
(!closed && dataQueue.size() + ackQueue.size() > maxPackets) {
21.
try
{
22.
dataQueue.wait();
23.
}
catch
(InterruptedException e) {
24.
}
25.
}
26.
isClosed();
27.
28.
if
(currentPacket ==
null
) {
29.
currentPacket =
new
Packet(packetSize, chunksPerPacket,
30.
bytesCurBlock);
31.
}
32.
currentPacket.writeChecksum(checksum,
0
, cklen);
//向Packet中写入校验数据
33.
currentPacket.writeData(b, offset, len);
//向Packet中写入要发送的数据
34.
currentPacket.numChunks++;
35.
bytesCurBlock += len;
36.
37.
// If packet is full, enqueue it for transmission
38.
//当前数据包已经满了,将其放入待发送对列中
39.
if
(currentPacket.numChunks == currentPacket.maxChunks ||
40.
bytesCurBlock == blockSize) {
41.
//当前数据块写入完成了,那么重置bytesCurBlock为0
42.
if
(bytesCurBlock == blockSize) {
43.
currentPacket.lastPacketInBlock =
true
;
44.
bytesCurBlock =
0
;
45.
lastFlushOffset =
0
;
46.
}
47.
enqueueCurrentPacket();
//将数据包放入待发送队列
48.
if
(appendChunk) {
//处理追加数据的情况
49.
appendChunk =
false
;
50.
resetChecksumChunk(bytesPerChecksum);
51.
}
52.
int
psize = Math.min((
int
)(blockSize-bytesCurBlock), writePacketSize);
53.
computePacketChunkSize(psize, bytesPerChecksum);
54.
}
55.
}
56.
//LOG.debug("DFSClient writeChunk done length " + len +
57.
// " checksum length " + cklen);
58.
}
这个方法提供带校验数据输出流和具体存储系统的适配,对于DFSOutputStream,这里的具体存储系统就是数据节点,即HDFS集群中的DataNode节点,方法的四个形参作用分别是,b表示要写入HDFS集群中的原始数据,offset表示要输出的原始数据在数组b中的起始位置,len表示要输出数据的长度,checksum为要输出的数据的CRC32校验和,为什么会有offset和len这两个形参?因为数组b中并不是所有数据都是有效数据。
在方法中先检查了参数的合法性之后,就对dataQueue对象进行同步,dataQueue队列中保存的是输出流中要发送的数据包,而ackQueue对象中保存的则是已经发送的,但是还没有收到确认的数据包,在writeChunk方法中只需要将要发送的数据包放入队列dataQueue中,然后由DataStreamer线程发送数据包。使用在同步块内,先判断dataQueue队列是否已经满了,如果满了那么就调用dataQueue.wait()方法让当前线程阻塞,进入等待,否则就继续向下执行(线程被唤醒以后,该线程是从wait()方法那里开始执行)。在继续向下执行之前,要再次调用isClosed()方法判断这个输出流是否被关闭了,然后判断当前数据包对象currentPacket是否为空,如果为空,则表示需要新创建一个数据包来保存要发送的数据,数据包满了之后就将其放入待发送队列dataQueue中,此外变量appendChunk表示当前是否是追加数据的情况,这中情况稍微复杂一些,先不考虑。将数据包入队之后,再调用computePacketChunkSize方法计算下一次要发送的数据包大小。
在writeChunk()方法中执行enqueueCurrentPacket()方法之后,就会将待发送数据包放入队列dataQueue中,在DataStreamer线程中则会从dataQueue队列中取出队列中的第一个待发送数据包,发送给HDFS集群,DataStreamer线程的run()方法代码如下:
001.
public
void
run() {
002.
long
lastPacket =
0
;
003.
004.
while
(!closed && clientRunning) {
005.
//如果出现错误,关闭应答,处理数据节点故障
006.
if
(hasError && response !=
null
) {
007.
try
{
008.
response.close();
009.
response.join();
010.
response =
null
;
011.
}
catch
(InterruptedException e) {
012.
}
013.
}
014.
015.
Packet one =
null
;
016.
synchronized
(dataQueue) {
017.
018.
// process IO errors if any
019.
boolean
doSleep = processDatanodeError(hasError,
false
);
020.
021.
// wait for a packet to be sent.
022.
long
now = System.currentTimeMillis();
023.
while
((!closed && !hasError && clientRunning
024.
&& dataQueue.size() ==
0
&&
025.
(blockStream ==
null
|| (
026.
blockStream !=
null
&& now - lastPacket < timeoutValue/
2
)))
027.
|| doSleep) {
028.
long
timeout = timeoutValue/
2
- (now-lastPacket);
029.
timeout = timeout <=
0
?
1000
: timeout;
030.
031.
try
{
032.
dataQueue.wait(timeout);
033.
now = System.currentTimeMillis();
034.
}
catch
(InterruptedException e) {
035.
}
036.
doSleep =
false
;
037.
}
038.
if
(closed || hasError || !clientRunning) {
039.
//如果有错误或者DataStreamer/DFSClient已经关闭,通过continue
040.
//重新执行循环或退出循环(DataStreamer/DFSClient已经关闭时)
041.
continue
;
042.
}
043.
044.
try
{
045.
// get packet to be sent.
046.
if
(dataQueue.isEmpty()) {
//队列为空,发送心跳包
047.
one =
new
Packet();
// heartbeat packet
048.
}
else
{
049.
one = dataQueue.getFirst();
// regular data packet,队列不为空,发送正常包
050.
}
051.
052.
long
offsetInBlock = one.offsetInBlock;
//在数据节点中的偏移
053.
054.
// get new block from namenode.
055.
if
(blockStream ==
null
) {
//blockStream为null,表明还没有和数据节点建立联系,或者需要与数据节点重新建立连接
056.
LOG.debug(
"Allocating new block"
);
057.
nodes = nextBlockOutputStream();
//建立数据流管道
058.
this
.setName(
"DataStreamer for file "
+ src +
059.
" block "
+ block);
060.
response =
new
ResponseProcessor(nodes);
//应答处理器
061.
response.start();
062.
}
063.
064.
if
(offsetInBlock >= blockSize) {
065.
throw
new
IOException(
"BlockSize "
+ blockSize +
066.
" is smaller than data size. "
+
067.
" Offset of packet in block "
+
068.
offsetInBlock +
069.
" Aborting file "
+ src);
070.
}
071.
072.
ByteBuffer buf = one.getBuffer();
073.
074.
// move packet from dataQueue to ackQueue
075.
//如果不是一个心跳包,则要发送这个包,所以要将这个包从dataQueue移到ackQueue中
076.
if
(!one.isHeartbeatPacket()) {
077.
dataQueue.removeFirst();
078.
dataQueue.notifyAll();
079.
synchronized
(ackQueue) {
080.
ackQueue.addLast(one);
081.
ackQueue.notifyAll();
082.
}
083.
}
084.
085.
// write out data to remote datanode
086.
//将这个数据包写入到远程数据节点中
087.
blockStream.write(buf.array(), buf.position(), buf.remaining());
088.
089.
if
(one.lastPacketInBlock) {
//如果是数据块中的最后一个数据包,则写一个0到数据节点,表示这个数据块结束
090.
blockStream.writeInt(
0
);
// indicate end-of-block
091.
}
092.
blockStream.flush();
093.
lastPacket = System.currentTimeMillis();
094.
095.
if
(LOG.isDebugEnabled()) {
096.
LOG.debug(
"DataStreamer block "
+ block +
097.
" wrote packet seqno:"
+ one.seqno +
098.
" size:"
+ buf.remaining() +
099.
" offsetInBlock:"
+ one.offsetInBlock +
100.
" lastPacketInBlock:"
+ one.lastPacketInBlock);
101.
}
102.
}
catch
(Throwable e) {
103.
LOG.warn(
"DataStreamer Exception: "
+
104.
StringUtils.stringifyException(e));
105.
if
(e
instanceof
IOException) {
106.
setLastException((IOException)e);
107.
}
108.
hasError =
true
;
109.
}
110.
}
111.
112.
if
(closed || hasError || !clientRunning) {
113.
continue
;
114.
}
115.
116.
// Is this block full?
117.
if
(one.lastPacketInBlock) {
//数据块已经写完了
118.
synchronized
(ackQueue) {
119.
while
(!hasError && ackQueue.size() !=
0
&& clientRunning) {
120.
try
{
121.
ackQueue.wait();
// wait for acks to arrive from datanodes
122.
}
catch
(InterruptedException e) {
123.
}
124.
}
125.
}
126.
LOG.debug(
"Closing old block "
+ block);
127.
this
.setName(
"DataStreamer for file "
+ src);
128.
129.
response.close();
// ignore all errors in Response,关闭应答处理器
130.
try
{
131.
response.join();
132.
response =
null
;
133.
}
catch
(InterruptedException e) {
134.
}
135.
136.
if
(closed || hasError || !clientRunning) {
137.
continue
;
//前面的代码处理出错
138.
}
139.
140.
synchronized
(dataQueue) {
141.
//关闭流并释放资源
142.
IOUtils.cleanup(LOG, blockStream, blockReplyStream);
143.
nodes =
null
;
144.
response =
null
;
145.
blockStream =
null
;
146.
blockReplyStream =
null
;
147.
}
148.
}
149.
if
(progress !=
null
) { progress.progress(); }
150.
151.
// This is used by unit test to trigger race conditions.
152.
if
(artificialSlowdown !=
0
&& clientRunning) {
153.
LOG.debug(
"Sleeping for artificial slowdown of "
+
154.
artificialSlowdown +
"ms"
);
155.
try
{
156.
Thread.sleep(artificialSlowdown);
157.
}
catch
(InterruptedException e) {}
158.
}
159.
}
160.
}
这个方法比较长,包含了发送数据,处理错误等一系列处理过程,首先在进入循环发送数据包之前,将lastPacket变量置0,这个变量表示上一次发送数据包的时间。然后执行while循环,while循环退出的条件是客户端在执行(clientRunning==true)并且当前输出流没有关闭(closed==false)。在while循环体的最前面处理可能出现的错误,再对dataQueue对象进行同步,同步块中先调用processDatanodeError方法处理可能的数据节点错误,这个方法处理数据流管道上出现错误的处理过程。下面一个while循环比较复杂,用于执行等待一段时间,首先是!closed && !hasError && clientRunning这三个条件,比较好理解,即当前输出流没有关闭,没有错误且客户端正处于执行状态,那么可以执行等待,否则跳出循环要么退出外层循环终止该线程,要么在外层循环中处理错误,dataQueue.size() == 0这个条件则表示待发送队列为空,需要等待其他线程准备好要发送的数据包,(blockStream == null || (blockStream != null && now - lastPacket < timeoutValue/2))),这个条件中blockStream是一个输出流,用于将数据写到HDFS集群中,如果blockStream为null,那么就表明客户端还没有和数据节点建立连接,或者需要与数据节点重新建立连接,如果blockStream不为null,但是当前时间与上一次发送数倨包或心跳的时间间隔小于timeoutValue/2,这种情况下,线程可以阻塞一段时间,doSleep是processDatanodeError方法返回的结果,如果为true,则就表明线程要阻塞一段时间,实际上如果doSleep为true,那么就一定执行了processDatanodeError方法,这种情况下相当于等待一段时间后再执行processDatanodeError方法。
下面就是判断dataQueue是否为空,如果为空,就表示当前没有数据包要发送,但是客户端要与HDFS集群保持连接状态,那么就创建一个数据包,当作心跳发送到HDFS集群,告诉集群,客户端还活着,如果dataQueue中包含数据包,就获取第一个数据包对象,检查这个数据包是否属于当前待发送数据块(即检查数据包在数据块中的偏移)。再检查blockStream是否为null,如果为null,就要建立与HDFS集群的连接,首先调用DFSOutputStream.nextBlockOutputStream()方法建立数据流管道,用于输出这个数据块,DFSOutputStream.nextBlockOutputStream()方法的代码如下:
01.
private
DatanodeInfo[] nextBlockOutputStream()
throws
IOException {
02.
LocatedBlock lb =
null
;
03.
boolean
retry =
false
;
04.
DatanodeInfo[] nodes;
05.
int
count = conf.getInt(
"dfs.client.block.write.retries"
,
3
);
06.
boolean
success;
07.
do
{
08.
hasError =
false
;
09.
lastException =
null
;
10.
errorIndex =
0
;
11.
retry =
false
;
12.
nodes =
null
;
13.
success =
false
;
14.
15.
long
startTime = System.currentTimeMillis();
16.
17.
DatanodeInfo[] excluded = excludedNodes.toArray(
new
DatanodeInfo[
0
]);
18.
//分配一个新的数据块
19.
lb = locateFollowingBlock(startTime, excluded.length >
0
? excluded :
null
);
20.
block = lb.getBlock();
//数据块信息
21.
accessToken = lb.getBlockToken();
22.
nodes = lb.getLocations();
//数据节点信息
23.
24.
//
25.
// Connect to first DataNode in the list.
26.
//创建数据流管道
27.
success = createBlockOutputStream(nodes, clientName,
false
);
28.
29.
if
(!success) {
//创建数据流管道失败,调用anandonBlock()方法放弃已经申请的数据块
30.
LOG.info(
"Abandoning "
+ block);
31.
namenode.abandonBlock(block, src, clientName);
32.
33.
if
(errorIndex < nodes.length) {
34.
LOG.info(
"Excluding datanode "
+ nodes[errorIndex]);
35.
//将这个节点放入excludeNodes中
36.
excludedNodes.add(nodes[errorIndex]);
37.
}
38.
// Connection failed. Let's wait a little bit and retry
39.
retry =
true
;
//进行重试,即向NameNode申请一个新的数据块
40.
}
41.
}
while
(retry && --count >=
0
);
42.
43.
if
(!success) {
44.
throw
new
IOException(
"Unable to create new block."
);
45.
}
46.
return
nodes;
47.
}
这个方法主要在循环内完成,循环的条件retry表示进行重试,即上次执行失败,count表示重试的次数,这个值是从配置中取出的。lastException表示上一次抛出的异常,errorIndex表示第一个在创建数据流管道中第一个出错的节点,excludedNodes列表存放创建数据流管道时失败的DataNode节点,将这个DataNode排除在外,以免再次访问到故障节点。
在循环中,先调用方法DFSOutputStream.locateFollowingBlock()来向NameNode申请一个数据块,即在NameNode节点中建立一个与当前写入数据的文件对应的数据块,这个方法返回将这个数据块保存在哪些DataNode中,在给定的实参中如果excludedNodes中有元素,则传递这个列表,那么在NameNode执行对应的方法时会将这些节点排除在外,如果没有元素,那么传递一个null值。locateFollowingBlock方法返回了下一个数据块保存在哪些DataNode节点中,那么就需要建立这些节点的数据流管道,DFSOutputStream.createBlockOutputStream()方法就是完成这个工作,它创建客户端到这些节点的数据流管道,客户端的创建数据流管道只需要向第一个DataNode节点写入请求,即建立到第一个DataNode的TCP连接,写入DataNode节点流式接口的80请求包,并等待应答。在这个过程中会初始化blockStream对象与blockReplyStream对象,其中blockReplyStream对象用于读入数据流管道中的DataNode节点的响应。如果createBlockOutputStream方法执行出错,那么errorIndex变量会记录第一个出错的节点,在nextBlockOutputStream方法中会将这个节点加入到excludedNodes列表中。
建立数据流管道成功后,返回到DataStreamer.run()方法中,设置线程名,并且创建处理数据包响应的应答处理器,即ResponseProcessor线程对象response,并且启动这个线程,等待数据流管道的应答。
然后就可以向数据流管道中发送数据了,if (!one.isHeartbeatPacket()) 这个if语句判断从这个数据包是否是心跳包,如果不是心跳包,则需要将这个数据包从dataQueue队列中移除,如果writeChunk方法所在的线程因为dataQueue队列满而进入阻塞,那么就使用dataQueue.notifyAll();这行代码将这个阻塞的线程唤醒,再对ackQueue队列进行同步,将数据包one,加入到ackQueue队列中,同样如果ResponseProcessor线程因为ackQueue为空而阻塞,使用ackQueue.notifyAll();将其唤醒。
下面就将数据包通过blockStream发送给数据流管道的第一个DataNode节点,如果当前发送的数据包是数据块中的最后一个数据包,则写一个0到数据节点,表示这个数据块结束。
从对dataQueue进行同步的代码块退出后,就判断刚刚发送的数据包是否是这个数据块的最后一个数据包,如果是并且ackQueue队列中还有元素,那么DataStreamer线程就进入等待,否则就关闭关闭应答处理器线程response(调用response.close()方法),并且释放其他资源。
客户端将数据包发送给数据流管道中的数据节点之后,数据流管道中的节点收到数据包还需要向客户端发送确认数据包,在客户端ResponseProcessor线程就是用于处理这个过程,ResponseProcessor.run()方法代码如下:
01.
public
void
run() {
02.
03.
this
.setName(
"ResponseProcessor for block "
+ block);
04.
PipelineAck ack =
new
PipelineAck();
05.
06.
while
(!closed && clientRunning && !lastPacketInBlock) {
07.
// process responses from datanodes.
08.
try
{
09.
// read an ack from the pipeline
10.
ack.readFields(blockReplyStream);
//从应答数据流中读入ack对象
11.
if
(LOG.isDebugEnabled()) {
12.
LOG.debug(
"DFSClient for block "
+ block +
" "
+ ack);
13.
}
14.
15.
// processes response status from all datanodes.
16.
//处理应答
17.
for
(
int
i = ack.getNumOfReplies()-
1
; i >=
0
&& clientRunning; i--) {
18.
short
reply = ack.getReply(i);
19.
if
(reply != DataTransferProtocol.OP_STATUS_SUCCESS) {
20.
errorIndex = i;
// first bad datanode,有故障数据节点
21.
throw
new
IOException(
"Bad response "
+ reply +
22.
" for block "
+ block +
23.
" from datanode "
+
24.
targets[i].getName());
25.
}
26.
}
27.
28.
long
seqno = ack.getSeqno();
29.
assert
seqno != PipelineAck.UNKOWN_SEQNO :
30.
"Ack for unkown seqno should be a failed ack: "
+ ack;
31.
if
(seqno == Packet.HEART_BEAT_SEQNO) {
// a heartbeat ack
32.
continue
;
33.
}
34.
35.
Packet one =
null
;
36.
synchronized
(ackQueue) {
37.
one = ackQueue.getFirst();
38.
}
39.
40.
if
(one.seqno != seqno) {
//应答包中包序号与ackQueue中第一个包的序号不等
41.
throw
new
IOException(
"Responseprocessor: Expecting seqno "
+
42.
" for block "
+ block +
" "
+
43.
one.seqno +
" but received "
+ seqno);
44.
}
45.
lastPacketInBlock = one.lastPacketInBlock;
46.
47.
synchronized
(ackQueue) {
48.
assert
ack.getSeqno() == lastAckedSeqno +
1
;
49.
lastAckedSeqno = ack.getSeqno();
50.
ackQueue.removeFirst();
51.
ackQueue.notifyAll();
52.
}
53.
}
catch
(Exception e) {
54.
if
(!closed) {
55.
hasError =
true
;
//设置错误标识
56.
if
(e
instanceof
IOException) {
57.
setLastException((IOException)e);
58.
}
59.
LOG.warn(
"DFSOutputStream ResponseProcessor exception "
+
60.
" for block "
+ block +
61.
StringUtils.stringifyException(e));
62.
closed =
true
;
63.
}
64.
}
65.
66.
synchronized
(dataQueue) {
67.
dataQueue.notifyAll();
68.
}
69.
synchronized
(ackQueue) {
70.
ackQueue.notifyAll();
71.
}
72.
}
73.
}
这个线程的开始处首先创建一个PipelineAck对象,然后从数据流管道中的应答数据流blockReplyStream中读入一个ack数据包。PipelineAck类有两个成员变量,分别是seqno和replies数组,其中seqno表示该确认数据包对应的写请求数据包的序列号,replies数据包含了管道上的各个节点对写请求数据包的处理结果,如果DataNode顺利将数据写入磁盘,则结果为DataTransferProtocol.OP_STATUS_SUCCESS,否则为DataTransferProtocol.OP_STATUS_ERROR。所以在ResponseProcessor线程中,通过一个for循环来处理应答数据包。这个for循环遍历replies数组,对每个元素,判断是不是DataTransferProtocol.OP_STATUS_SUCCESS,如果不是就通过errorIndex记录这个有故障的节点,并抛出异常。如果replies数组中的所有元素都是DataTransferProtocol.OP_STATUS_SUCCESS,那么就取出这个应答数据包的序号(seqno),判断是否是一个心跳应答(Packet.HEART_BEAT_SEQNO),如果不是心跳应答才能继续向下进行处理。
处理写数据的响应数据包时,首先从ackQueue队列中取出第一个元素,判断这个元素的序号是否与seqno相等,如果不等那么应答包中包序号与ackQueue中第一个包的序号不等,抛出异常(为什么没有考虑网络延迟带来的应答包没有按序到达?),否则设置ResponseProcessor.lastAckedSeqno为这个这个响应包的序号,并从ackQueue中移除第一个元素,再通过ackQueue.notifyAll();唤醒因为ackQueue满了而阻塞的线程。
最后还有两个同步语句分别对dataQueue,和ackQueue来同步,然后唤醒其它线程,不知这是何故?
Hadoop源码分析之客户端向HDFS写数据的更多相关文章
- Hadoop源码分析之数据节点的握手,注册,上报数据块和心跳
转自:http://www.it165.net/admin/html/201402/2382.html 在上一篇文章Hadoop源码分析之DataNode的启动与停止中分析了DataNode节点的启动 ...
- zookeeper源码分析之三客户端发送请求流程
znode 可以被监控,包括这个目录节点中存储的数据的修改,子节点目录的变化等,一旦变化可以通知设置监控的客户端,这个功能是zookeeper对于应用最重要的特性,通过这个特性可以实现的功能包括配置的 ...
- Hadoop源码分析之Configuration
转自:http://www.it165.net/admin/html/201312/2178.html org.apache.hadoop.conf.Configuration类是Hadoop所有功能 ...
- 【Netty源码分析】客户端connect服务端过程
上一篇博客[Netty源码分析]Netty服务端bind端口过程 我们介绍了服务端绑定端口的过程,这一篇博客我们介绍一下客户端连接服务端的过程. ChannelFuture future = boos ...
- asp.net mvc源码分析-ModelValidatorProviders 客户端的验证
几年写过asp.net mvc源码分析-ModelValidatorProviders 当时主要是考虑mvc的流程对,客户端的验证也只是简单的提及了一下,现在我们来仔细看一下客户端的验证. 如图所示, ...
- Netty源码分析-- 处理客户端接入请求(八)
这一节我们来一起看下,一个客户端接入进来是什么情况.首先我们根据之前的分析,先启动服务端,然后打一个断点. 这个断点打在哪里呢?就是NioEventLoop上的select方法上. 然后我们启动一个客 ...
- Hadoop源码分析(1):HDFS读写过程解析
一.文件的打开 1.1.客户端 HDFS打开一个文件,需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize),其实现为: public F ...
- Hadoop源码分析之读文件时NameNode和DataNode的处理过程
转自: http://blog.csdn.net/workformywork/article/details/21783861 从NameNode节点获取数据块所在节点等信息 客户端在和数据节点建立流 ...
- Netty源码分析之客户端启动过程
一.先来看一下客户端示例代码. public class NettyClientTest { public void connect(int port, String host) throws Exc ...
随机推荐
- Inside GDALAllRegister之三: 注册指定驱动
现在来仔细分析如何注册一个驱动的代码,看下面代码: #ifdef FRMT_vrt GDALRegister_VRT(); #endif 编译时指定或者取消FRMT_vrt,可以控制这条语句是否编译到 ...
- es5 - array - unshift
/** * 描述:该unshift()方法从数组中添加单个或多个元素,并且返回长度 * 语法:arr.unshift(element1 [,... [,elementN ]]) * 参数:要添加到数组 ...
- Bash Shell的环境配置文件
login shell:取得bash时需要完整的登录流程 non-login shell:取得bash接口的方法不需要重复登录,举例来说,你以x window登录Linux后,再以x的图形界面启动终端 ...
- android安装应用程序工具类
/** * 安装APK文件 *@param APK文件 *Version: *author:YangQuanqing */ private void installAPK(File file){ // ...
- Be Happy.——我的ACM退役贴
一个月的忙碌后,最终能静下心来写一些什么. 该结束的最终都要结束了.考试,课程设计,所剩寥寥无几的大学时光,ACM. 看过不少大牛的退役贴,自嘲成银牌狗铜牌狗.写一写碎碎念,大抵如此,每一个人都无法落 ...
- Python 正则表达式学习摘要及资料
来源:Michael_翔_ 摘要 在正则表达式中,如果直接给出字符,就是精确匹配. {m,n}? 对于前一个字符重复 m 到 n 次,并且取尽可能少的情况 在字符串'aaaaaa'中,a{2,4} 会 ...
- LOL 战斗力查询
LOL(英雄联盟) 战斗力查询 接口:http://lolbox.duowan.com/playerDetail.php?serverName=serverName&playerName=pl ...
- 【HTML入门】Html中块状元素和内联元素解析
[HTML入门]Html中块状元素和内联元素解析 块元素(block element)一般是其他元素的容器元素,块元素一般都从新行开始,它可以容纳内联元素和其他块元素,内联元素(inline elem ...
- String的split()方法探索和大揭秘
事实上没打算写这么一篇博文的,可是昨天在逛论坛的时候,发现一帖子,然后我又把帖子的内容在群里发了一通,结果出现了让人吃惊的结果,所以这里简单的给大家分享一下split()方法,免得大伙儿以后还会出现这 ...
- Android Studio 怎样打开两个项目?
欢迎转载: 请注明 原创Url