spark的排序方法
今天我们来介绍spark中排序的操作,spark的排序很简单,我们可以直接使用sortBy来进行,这个里面我们使用case clas,使用case class的好处是1.不用newjiukeyi 搞出实例,2.模式匹配
今天我们讲的排序有两种方法,在还没开始之前,我们先说明一下需求,有一个对象Girl,他有faceValue以及年龄,我们这个里面的比较规则则是,faceValue大的在前面,如果faceValue一样大的情况下,年龄小的在前面
第一种方法,使用类extends Ordered的方法,然后在重写compare的方法
package cn.wj.spark.day05 import org.apache.spark.{SparkConf, SparkContext} /**
* Created by WJ on 2017/1/4.
*/
object CustomSort_3 {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("CustomSort_3").setMaster("local")
val sc = new SparkContext(conf)
val rdd1 = sc.parallelize(List(("zhoujielun",90,28,1),("anglebaby",90,27,2),("liuyifei",95,22,3)))
val rdd2 = rdd1.sortBy(x => Boy3(x._2,x._3),false)
println(rdd2.collect().toBuffer)
sc.stop() } } case class Boy3(val faceValue:Int,val age:Int) extends Ordered[Boy3] with Serializable{
override def compare(that: Boy3): Int = {
if(this.faceValue == that.faceValue){
that.age - this.age
}else{
this.faceValue - that.faceValue
}
}
}
第二种方法,可以通过,隐式转换的方法来进行排序
package cn.wj.spark.day06 import org.apache.spark.{SparkConf, SparkContext} /**
* Created by WJ on 2017/1/4.
*/ object OrderContext{
implicit object BoyOrdering extends Ordering[Boy5]{
override def compare(x: Boy5, y: Boy5): Int = {
if(x.faceValue > y.faceValue)
else if(x.faceValue == y.faceValue){
if(x.age > y.age) - else
}else -
}
}
} object CustomSort_5 {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("CustomSort_5").setMaster("local")
val sc = new SparkContext(conf)
val rdd1 = sc.parallelize(List(("zhoujielun",,,),("linzhiling",,,),("sunyanzi",,,)))
import OrderContext._
val rdd2 = rdd1.sortBy(x => Boy5(x._2,x._3),false)
println(rdd2.collect().toBuffer)
sc.stop()
}
} case class Boy5(faceValue:Int , age:Int) extends Serializable{ }
spark的排序方法的更多相关文章
- JavaScript高级程序设计--对象,数组(栈方法,队列方法,重排序方法,迭代方法)
1.使用对象字面量定义对象 var person={}; 使用这种方式创建对象时,实际上不会调用Object构造函数. 开发人员更喜欢对象字面量的语法. 2.有时候需要传递大量可选参数的情形时,一 ...
- php语言实现的7种基本的排序方法
今天总结了一下常用的7种排序方法,并用php语言实现. 直接插入排序 /* * 直接插入排序,插入排序的思想是:当前插入位置之前的元素有序, * 若插入当前位置的元素比有序元素最后一个元素大,则什么也 ...
- C语言中常见的排序方法
在C语言中,常见的排序方法有冒泡法,排序法,插入法等等.所谓的冒泡法,就是对一组数字进行从大到小或者从小到大的一种排序方法.主要就是相邻的数值相互交换.从第一个数值开始,如果这相邻的两个数值排序与我们 ...
- Atitit.现实生活中最好使用的排序方法-----ati排序法总结
Atitit.现实生活中最好使用的排序方法-----ati排序法总结 1. 现在的问题 1 2. 排序的类别::插入排序//交换排序//选择排序(每次最小/大排在相应的位置 )//归并排序//基数排 ...
- 转:Java实现几种常见排序方法
日常操作中常见的排序方法有:冒泡排序.快速排序.选择排序.插入排序.希尔排序,甚至还有基数排序.鸡尾酒排序.桶排序.鸽巢排序.归并排序等. 冒泡排序是一种简单的排序算法.它重复地走访过要排序的数列,一 ...
- java提供的默认list排序方法-转
1.java提供的默认list排序方法 主要代码: List<String> list = new ArrayList();list.add("刘媛媛"); list. ...
- Flex Array内置排序方法的使用
在Array类中,提供内置的排序方法.排序是在软件开发的过程中,经常遇到的问题.通过这些内置的方法,可以快速轻便的进行排序操作. Array类提供sort方法对Array实例进行排序.sort方法没有 ...
- 八大排序方法汇总(选择排序,插入排序-简单插入排序、shell排序,交换排序-冒泡排序、快速排序、堆排序,归并排序,计数排序)
2013-08-22 14:55:33 八大排序方法汇总(选择排序-简单选择排序.堆排序,插入排序-简单插入排序.shell排序,交换排序-冒泡排序.快速排序,归并排序,计数排序). 插入排序还可以和 ...
- c#实现几种排序方法
插入排序 1.简介 插入排序(Insertion Sort)的算法描述是一种简单直观的排序算法.它的工作原理是通过构建有序序列,对于未排序数据,在已排序序列中从后向前扫描,找到相应位置并插入.插入排序 ...
随机推荐
- ECMAScript Regex
Everything has its own regulation by defining its grammar. ECMAScript regular expressions pattern sy ...
- IIS7 配置SSL 绑定主机头
IIS7下面默认HTTPS绑定是无法指定主机头的,我们可以通过手工修改IIS配置来实现主机头绑定. 首先停止IIS服务. 然后打开C:/Windows/system32/inetsrv/config/ ...
- Linux命令之查看内存和CPU消耗命令TOP使用
1)输入top ,按enter键,即可查看服务器内存消耗情况 注意:其中PID表示进程号 :%cpu表示cpu消耗情况:%M表示内存消耗情况:通常在做性能测试的时候用到该命令: 默认为实时刷新:按s键 ...
- 怎样学习webpack - 走心分享
很多朋友可能都知道webpack,也见过webpack的代码,但是不明白里面一坨一坨的东西是什么意思,到底有什么用处!我们每个人学习一个新东西可能都会有这个过程,但是我个人觉得webpack可能是最混 ...
- SAP CRM WebClient UI和Fiori UI混搭并存
SAP CRM里有个功能可以创建HANA live report,消费HANA Studio里创建的模型. 最后创建好的report长这个样子: 具体创建步骤可以参考我的博客Step by Step ...
- Javascript作业—数组去重(要求:原型链上添加函数)
数组去重(要求:原型链上添加函数) <script> //数组去重,要求:在原型链上添加函数 //存储不重复的--仅循环一次 if(!Array.prototype.unique1){ A ...
- 基于LBS的多人聊天
- 奇异值分解(SVD)原理及应用
一.奇异值与特征值基础知识: 特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法.两者有着很紧密的关系,我在接下来会谈到,特征值分解和奇异值分解的目的都是一样,就是提取出一个矩阵最重要的特征. ...
- C#自制png转ico图标工具
此项目基于.net framework 4.0 只需把图片拖拽到窗口内,自动转换生成ico图标,在png文件同级目录下. /// /// 实现代码: 转换Image为Icon /// ///要转换为图 ...
- C语言中%p,%u,%lu都有什么用处
%p表示输出这个指针, %d表示后面的输出类型为有符号的10进制整形, %u表示无符号10进制整型, %lu表示输出无符号长整型整数 (long unsigned)