RDD(六)——分区器

RDD的分区器

Spark目前支持Hash分区和Range分区，用户也可以自定义分区，Hash分区为当前的默认分区，Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数。

注意：

(1)只有Key-Value类型的RDD才有分区器的，非Key-Value类型的RDD分区器的值是None
(2)每个RDD的分区ID范围：0~numPartitions-1，决定这个值是属于那个分区的。

Hash分区

HashPartitioner分区的原理：对于给定的key，计算其hashCode，并除以分区的个数取余，如果余数小于0，则用余数+分区的个数（否则加0），最后返回的值就是这个key所属的分区ID。

查看hash分区原码如下：

 */
class HashPartitioner(partitions: Int) extends Partitioner {
  require(partitions >= 0, s"Number of partitions ($partitions) cannot be negative.")
 
  def numPartitions: Int = partitions
 
  def getPartition(key: Any): Int = key match {
    case null => 0//key为0则统统放入0号分区
    case _ => Utils.nonNegativeMod(key.hashCode, numPartitions)
//否则调用这个方法，根据key的hashcode和分区数，得到分区号
  }

def nonNegativeMod(x: Int, mod: Int): Int = {
  val rawMod = x % mod
  rawMod + (if (rawMod < 0) mod else 0)
}

ranger分区

HashPartitioner分区弊端：可能导致每个分区中数据量的不均匀，极端情况下会导致某些分区拥有RDD的全部数据。

RangePartitioner作用：将一定范围内的数映射到某一个分区内，尽量保证每个分区中数据量的均匀，而且分区与分区之间是有序的，一个分区中的元素肯定都是比另一个分区内的元素小或者大，但是分区内的元素是不能保证顺序。简单的说就是将一定范围内的数映射到某一个分区内。实现过程为：

第一步：先从整个RDD中抽取出样本数据，将样本数据排序，计算出每个分区的最大key值，形成一个Array[KEY]类型的数组变量rangeBounds；

第二步：判断key在rangeBounds中所处的范围，给出该key值在RDD中的分区id下标；该分区器要求RDD中的KEY类型必须是可以排序的

自定义分区器

要实现自定义的分区器，你需要继承 org.apache.spark.Partitioner 类并实现下面两个个方法。

（1）numPartitions: Int:返回创建出来的分区数。

（2）getPartition(key: Any): Int:返回给定键的分区编号(0到numPartitions-1)。

示例代码如下：将key对分区数求余数，得到分区号。

package partitioner
 
import org.apache.spark.Partitioner
 
class MyPartitioner(partitions:Int) extends Partitioner{
 
  override def numPartitions: Int = {
    return partitions;
  }
 
  override def getPartition(key: Any): Int = {
 
    val mykey : Int = key.asInstanceOf;
    //val i: Int = key.asInstanceOf[Int]
    return mykey%partitions ;
  }
}
 
def main(args: Array[String]): Unit = {
 
    val sc: SparkContext = new SparkContext(new SparkConf()
      .setMaster("local[*]").setAppName("spark"))
 
    val raw: RDD[(Int, String)] = sc.makeRDD(Array((1, "a"), (2, "b"), (3, "c"), (4, "d")))
    raw.saveAsTextFile("E:/idea/spark2/out/partitioner_before")
 
    val partitionedRDD: RDD[(Int, String)] = raw.partitionBy(new MyPartitioner(2))
    println(partitionedRDD.partitioner)
    partitionedRDD.saveAsTextFile("E:/idea/spark2/out/partitioner_after")
  }

查看分区后数据的分布：

0号文件：(2,b)(4,d)

1号文件：(1,a)(3,c)

使用自定义的 Partitioner 是很容易的:只要把它传给 partitionBy() 方法即可。Spark 中有许多依赖于数据混洗的方法，比如 join() 和 groupByKey()，它们也可以接收一个可选的 Partitioner 对象来控制输出数据的分区方式。