map 将一个RDD中的每个数据项,通过map中的函数映射变为一个新的元素. 输入分区与输出分区一对一,即:有多少个输入分区,就有多少个输出分区. flatMap 属于Transformation算子,第一步和map一样,最后将所有的输出分区合并成一个. 使用flatMap时候需要注意:flatMap会将字符串看成是一个字符数组. distinct 对RDD中的元素进行去重操作. coalesce def coalesce(numPartitions: Int, shuffle: Boolean…