Spark 实现自定义对象sequenceFile方式存储，读写示例（scala编写）

 package com.fuge.bigdata.datahub.analysis

 import java.io.{DataInput, DataOutput}

 import com.fuge.bigdata.tools.common.utils.SparkUtils
 import org.apache.hadoop.io.{NullWritable, WritableComparable}
 import org.apache.spark.SparkContext

 /**
   * Created by chen xiang on 18-6-13.
   * 一个使用SequenceFile进行存储读取的使用示例
   */
 object SequenceFileUsage {
   def main(args: Array[String]): Unit = {

     require(args.length == 1)
     // 构建SparkContext对象，封装过，单独运行，自行修改后定义
     val sc = new SparkContext(SparkUtils.getSparkConf("SequenceFileUsage"))

     // 获取路径参数
     val path = args(0).trim

     // 定义测试数据
     val studentList = List(Student("01", "abc"), Student("02", "baby"), Student("03", "xiang"))

     // 序列化测试数据到RDD,并写入到bos
     sc.parallelize(studentList)
       .repartition(1)
       // 以NullWritable 为key,构建kv结构.SequenceFile需要kv结构才能存储,NullWritable不占存储
       .map(NullWritable.get() -> _)
 // 压缩参数可选用
       .saveAsSequenceFile(s"$path", Option(classOf[GzipCodec]))

     // 读取刚才写入的数据
     val studentRdd = sc.sequenceFile(s"$path/part-*", classOf[NullWritable], classOf[Student])
       .map {
         // 读取数据,并且重新赋值对象
         case (_, y) => Student(y.id, y.name)
       }
       .persist()

     studentRdd
       .foreach(x => println("count: " + x.id + "\t" + x.name))
   }
 }

 case class Student(var id: String, var name: String) extends WritableComparable[Student] {
   /**
     * 重写无参构造函数,用于反序列化时的反射操作
     */
   def this() {
     this("", "")
   }

   /**
     * 继承Comparable接口需要实现的方法,用于比较两个对象的大小
     */
   override def compareTo(o: Student): Int = {
     var cmp = id compareTo o.id
     if (cmp == 0) {
       cmp = name compareTo o.name
     }
     cmp
   }

   /**
     * 继承Writable接口需要实现的方法-反序列化读取结果,并且赋值到对象字段
     * 注意要和write的顺序一致
     */
   override def readFields(in: DataInput): Unit = {
     name = in.readUTF()
     id = in.readUTF()
     println("count: " + "\t id = " + id + "\t name = " + name)
   }

   /**
     * 继承Writable接口需要实现的方法-序列化写操作,将对象字段值写入序列化
     * 注意要和readFields的顺序一致
     */
   override def write(out: DataOutput): Unit = {
     out.writeUTF(id)
     out.writeUTF(name)
   }
 }

补充：

1. 自定义的类需要进行序列化，必须都要实现Writable，一般情况下采用实现WritableComparable的方式，并且实现comparaTo，readFields, write方法，并且提供一个无参构造函数

2. readFields和write方法，里面字段的顺序要保持一致

3. 遇到集合类型，序列化时需要先将集合长度写进去，然后再挨个写集合数据

4. 遇到集合类型，反序列化时需要先读取集合的长度，然后接收数据，如果集合数据类型是自定义类型，还需要先实例化一个无参构造，然后赋值。

5. SequenceFile需要使用KV结构才能调用存储，可以使用一个NullWritable来占位，上诉例子中的K值就是使用的NullWritable进行的

6. sequenceFile序列化后占用的存储空间比较大，有需要的话，可以在存储的时候加上压缩算法，具体使用方式可以见上诉的例子