Structured streaming

Structured streaming是spark 2.0以后新增的用于实时处理的技术。与spark streaming不同的是，Structured streaming打开了数据源到数据落地之间的限制，它这两个端整合起来，形成真正的“流”，形成一张巨大的表。同时也正因为此特点，真正实现了exactly once语义。

传统的spark streaming处理流程

在spark streaming中可能实现从数据源到计算的"exactly once",但在数据落地的时候，并不能。比如，数据处理完毕，写入redis的过程中，集群崩掉。那么重启后，这部份数据会丢掉或者重复消费。除非自己去实现。而在Structured streaming中都已经得到了较好的实现。

Structured streaming处理流程

话不多说，先来个官网的例子，最直观的感受

 import org.apache.spark.sql.SparkSession
 import org.apache.spark.sql.streaming.ProcessingTime

 object structured{

   def main(args: Array[String]) {
     val spark = SparkSession
       .builder
       .appName("StructuredNetworkWordCount")
       .master("local")
       .getOrCreate()

     import spark.implicits._

     val ds1 = spark
       .readStream
       .format("kafka")
       .option("kafka.bootstrap.servers", "master:9092")
       .option("subscribe", "test2")
       .load()

     System.setProperty("hadoop.home.dir", "\\hadoop-common-2.2.0-bin-master")
     spark.sparkContext.setCheckpointDir("/chekpoint")

     val ds2 = ds1.selectExpr("CAST (value as STRING) ").as[String]

     val words = ds2.as[String].flatMap(_.split(" "))

     val wordCounts = words.groupBy("value").count()

     val query = words
       .writeStream
       .outputMode("append")
       .format("console")
       .trigger(ProcessingTime("11 seconds"))
       .start()

     query.awaitTermination()
   }

 }

最直观的可以看到：

1:跟spark streaming不同，Structured streaming已经纳入了spark sql的框架

2:统一了api，以kafka作为消息源为例，原来的KakfaUtils.Dsteam或才directDstream统一变成了read,readStream,输出统一为write,writeStream

3:没有了sparksteramingcontext,计算的启动和等待，任务执行间隔时间设置都变成了由数据启动

需要注意的地方

1:.master("local")

2:System.setProperty("hadoop.home.dir", "e:\\hadoop-common-2.2.0-bin-master")  如果是在windows本地测试，需要设置hadoop本地环境

3:spark.sparkContext.setCheckpointDir("e:/chekpoint")  Structured streaming 目前(2.1.1)支持三种输出模式，除了append以外都需要checkpoint的支持，可是append不支持聚合操作（Append output mode not supported when there are streaming aggregations on streaming DataFrames/DataSets），使用场景实在有限

4:ds1.selectExpr 一定要使用一个dataset去接收

5:定时设置 .trigger(ProcessingTime("10 seconds")) 或者 .trigger(ProcessingTime(10,TimeUnit.SECONDS))

问题

1:没有了sparksteramingcontext,一些sparkconf参数怎么设置。比如说，控制kafka消费速率，

.set("spark.streaming.backpressure.enabled", "true")
     .set("spark.streaming.receiver.maxRate", "3")
     .set("spark.streaming.kafka.maxRatePerPartition", "12")

由spark.sparkContext.getConf.set(key, value)设置？效果如何？有无其它方法？

2:统一了读取消息的api以后，就kafka而言，还有没有低阶和高阶api之分(DStream和DirectDStream)?是否需要自己自己去控制offset?

3:输出模式的异同。append不允许聚合操作，那么使用场景非常有限，意义何在？complete会保留完整的数据（以往各批次），在窗口操作方面较以前的话更有优势，但是时间长了会不会占用非常多的资源？它的内部机制？如何只想得到当次数据，但又要做聚合操作，有没有方法？update是最新(2.1.1)才正式上线的功能。

4:实现exactly once依靠的是 .foreach(new ForeachWriter[Row]一条一条处理来实现的？那么，可以批量写提升效率吗?

未完待续