本章主要介绍Spark如何处理键值对.K-V RDDs通常用于聚集操作,使用相同的key聚集或者对不同的RDD进行聚集.部分情况下,需要将spark中的数据记录转换为键值对然后进行聚集处理.我们也会对键值对RDD的高级特性——分区进行讨论,用户可以控制RDD在节点间的布局,确保数据在同一机器上面,减少通信开销,将极大地提高效率.数据分区的选择与单机程序数据结构的选择一样,都能对程序的性能产生极大的影响. 主要分为以下几个章节: 创建PairRDD Transformation on Pair R
-------------------------------------------------------------------------------------- String(字符串):最简单的数据类型. set age 18 ( set age 18 ex 5 ) # 设置过期时间5秒 setex age 5 18 # 效果同上, 使用 ttl age 可以查看剩余有效时间 psetex age 5000 18 # 同上,只是以毫秒为单位设置key的过期时间 ( set ag