spark map和mapPartitions的区别

package dayo1
 
import org.apache.spark.{SparkConf, SparkContext}
 
import scala.collection.mutable.ArrayBuffer
 
object MapAndPartitions {
  def main(args: Array[String]): Unit = {
    val cof = new SparkConf ().setAppName ( this.getClass.getSimpleName ).setMaster ( "local[*]" )
    val sc = new SparkContext ( cof )
 
    //创建RDD（并列化方法）
    val arrayRDD = sc.parallelize ( Array ( , , , , , , , ,  ) )
 
    //map数据每次处理一行数据
    arrayRDD.map ( elements => elements ).foreach ( println )
 
    arrayRDD.mapPartitions(tp=>{
      val result=new ArrayBuffer[Int]()
      tp.foreach(tp=>{
        result+=tp
      })
      result.iterator
    }
    ).foreach(println)
 
    sc.stop ()
  }
 
  /**
    * 两个函数最终处理得到的结果是一样的
    *
    * mapPartitions比较适合需要分批处理数据的情况，比如将数据插入某个表，每批数据只需要开启一次数据库连接，大大减少了连接开支，伪代码如下：
    *
    * 复制代码
    *     arrayRDD.mapPartitions(datas=>{
    * dbConnect = getDbConnect() //获取数据库连接
    *       datas.foreach(data=>{
    *         dbConnect.insert(data) //循环插入数据
    * })
    *       dbConnect.commit() //提交数据库事务
    *       dbConnect.close() //关闭数据库连接
    * })
    * 复制代码
    */
}