Hadoop的IO操作

Hadoop的API官网：http：//hadoop.apache.org/common/docs/current/api/index.html

 

相关的包

org.apache.hadoop.io

org.apache.hadoop.io.compress

org.apache.hadoop.io.file.tfile

org.apache.hadoop.io.serializer.arvo

 

Apache官网的sort900实验用了900台主机

淘宝用了1500台主机来存储数据。

Hadoop采用CRC-32来校验数据。

 

数据完整性：

1：本地文件的IO检查

校验和机制的相关的类：org.apache.hadoop.fs.ChecksumFileSystem来读取相关的类

禁用校验和机制：修改src/core/core-default.xml中的fs.file.impl的值为org.apache.hadoop.fs.RawLocalFileSystem

 

 

2：HDFS的文件IO检查

(1)datanode接收数据后存储数据前

(2)客户端读取datanode上的数据时

(3)datanode后台守护进程的定期检测

 

3：数据恢复策略

(1)检查已恢复标签

(2)统计各个备份数据的恢复状态

(3)副本同步

hadoop fs -get [ignoreCrc]  [-crc] <src>  <localdst>

 

数据压缩：

1：减少存储空间

2：加快传送速度

org.apache.hadoop.io.compress包中

代码如下：

conf.setBoolen("mapred.compress.map.output",true)

conf.setBoolen("mapred.output.compress",true)

conf.setBoolen("mapred.output.compression.type","Block")

conf.setClass("mapred.output.compression.codec",GzipCodec.class,CompressionCodec.class)

 

数据序列化

（1）进程间通信

（2）数据持久化存储

 

 

---

org.apache.hadoop.io.Writable类和java.lang.Comparable类   

 

1.Writable类定义了两个方法：

序列化输出数据流：   void     write（Dataoutput out）   throw       IOException

反序列化输入数据流：void    readFields（Datainput in）throw   IOException

 

2.Comparable类定义了三个方法：

comparreTo方法，hashCode方法，equals方法

 

3.WritableComparable的write方法，readFields方法，comparreTo方法，hashCode方法，equals方法

 

---

                                       

java.util.Comparator                            

Comparator类的compare方法

RawComparator类

WritableComparator

 

 

NullWritable

ByteWritable和BytesWritable

 

ObjectWritable

ArraryWritable和TwoDArraryWritable

Text

MapWritable和sortedMapWritable

CompressedWritable

GenericWritable

VesiondWritable

 

---

针对Hadoop的文件类

SequenceFile类和MapFile类

SequenceFile类记录的是key-value对，是序列化后的二进制文件

有三种类型结构：

1：未压缩的key-value对

2：记录压缩的key-value对，只有value被压缩

3：block 压缩的key-value对，key和value分别被压缩