案例三:cleanup 其实这个案例可以不用写这么复杂,不用cleanup也能写,但是为了,突显,突显,突显(重要的事说四遍)cleanup的重要性,琢磨了半天,恩,这样写既可以突显cleanup又显示出我对大集合的各种热爱(哪天把集合的遍历方法搞一下,光Map就有四五种),总而言之呢,写得是复杂了点,但是灰常满意~~ 还是忘了说了,cleanup干嘛的,说白了就是吃reduce剩下的,reduce有些自己是处理不完的(可见团队合作重要性,kkk~),所以呢,cleanup就做了收尾吧的工作,官…

MapReduce算法形式一:WordCount 这种形式可以做一些网站登陆次数,或者某个电商网站的商品销量啊诸如此类的,主要就是求和,但是求和之前还是要好好清洗数据的,以免数据缺省值太多,影响真实性. 废话不多说,上代码吧,我把注释一行行的都写了~~可可可可~ 先封装了数据行的对象: public class Log { private String time; private String UID; private String keyWord; private int rank; priv…

案例六:Map独自直接输出 之前一直没有用过这个map独自输出的模式,就算是输出一些简单的我也会经过一次reduce输出,但是,发现这个map输出的结果跟我预想的有点不一样,我一直以为shuffle的过程会在map结尾,reduce开头进行,会有合并的,可是shuffle只做了分区,排序,然后就直接罗列出来了,这算是涨姿势了,之前理解的合并,归约还是有点问题的,果然毛爷爷说的实践才能出真理~~(向毛爷爷致敬,敬礼) 码就很简单,没什么可解释的,但是结果就得好好捉摸一下了,看看之后能用在哪里,回头…

案例五:TOP—N 这个问题比较常见,一般都用于求前几个或者后几个的问题,shuffle有一个默认的排序是正序的,但如果需要逆序的并且暂时还不知道如何重写shuffle的排序规则的时候就用以下方法就行,java中说到排序无非就是比较器,然后结合着集合,这样基本上就能解决我的需求了,但是有个问题需要注意,就是虽说集合是不定长的,但是呢,面对大数据而言,就可能会出现内存溢出的问题,所以最好不要讲所有数据都加入集合中在取出前N个,直接排序,加一个排一个,满足N个就把最后一个踢掉,这样会好点. 还有一个…

案例四:mapjoin(对个map共同输入,一个reduce) 这个方法主要解决的是,几个表之间的比较,类似于数据库的内外连接,还有一些左右连接之类的,简而言之就是,A表没有的B表有,B表有的A没有或者AB共有的,类似于这样的问题,话说呢,这就是一种思想,哒哒哒~不仅明白,因为用的也比较多.…

案例二:去重(shuffle/HashSet等方法)shuffle主要针对的是key去重HashSet主要针对values去重…

案例二:去重(shuffle/HashSet等方法)shuffle主要针对的是key去重HashSet主要针对values去重…

定场诗 马瘦毛长蹄子肥,儿子偷爹不算贼,瞎大爷娶个瞎大奶奶,老两口过了多半辈,谁也没看见谁! 前言 本章为重读<学习JavaScript数据结构与算法-第三版>的系列文章,主要讲述队列数据结构.双端队列数据结构以及队列相关应用. 队列 队列是遵循先进先出(FIFO)原则的一组有序的项.队列在尾部添加元素,并从顶部移除元素.最新添加的元素必须排在队列的末尾.现实中常见的队列就是排队,计算机科学中,常见的例子是打印队列,如文档按顺序打印,第一个发送到打印队列的文档优先被打印. 实现队列 /** *…

数据挖掘算法学习笔记汇总 数据挖掘算法(一)–K近邻算法 (KNN) 数据挖掘算法(二)–决策树 数据挖掘算法(三)–logistic回归 在介绍logistic回归之前先复习几个基础知识点,有助于后面的理解. 基本数学知识点 1.对数似然函数 若总体X为离散型,其概率分布列为 P(X=x)=p(x,θ) 其中θ为未知参数.设 (X1,X2,...,Xn) 是取自总体样本容量为n的样本,则(X1,X2,...,Xn)的联合概率分布率为 ∏i=1np(xi,θ) 又设(X1,X2,...,Xn)的…

java排序算法(三)堆排序 堆积排序(HeapSort)是指利用堆积树这种结构所设计的排序算法,可以利用数组的特点快速定位指定索引的元素.堆排序是不稳定的排序方法.辅助空间为O(1).最坏时间复杂度为O(nlog2n) 堆排序的堆序的平均性能较接近于最坏性能 堆排序利用大根堆(或者小根堆)堆顶记录的关键字最大(或者最小)这一特征.使得在当前无序区中选中最大(或者最小)关键字的记录变的简单 (1)最大堆的排序思想 · 1.先将初始文件R[1..n]建成一个大根堆,此堆为初始的无序区 2.再将关键…