2019-04-17 18:11:34 外排序(External sorting)是指能够处理极大量数据的排序算法.通常来说,外排序处理的数据不能一次装入内存,只能放在读写较慢的外存储器(通常是硬盘)上.外排序通常采用的是一种“排序-归并”的策略.在排序阶段先读入能放在内存中的数据量,将其排序输出到一个临时文件,依此进行,将待排序数据组织为多个有序的临时文件.尔后在归并阶段将这些临时文件组合为一个大的有序文件,也即排序结果. 外排序的一个例子是外归并排序(External merge sort)…

Internal Sort: Bubble  O(n2) Selection O(n2) Insertion O(n2) Shell O(nlogn) Merge O(nlogn) Heap O(nlogn) Quick Sort O(nlogn) Tree Sort(BST) O(nlogn) Linear Sorting: Counting Sort   O(n) BUcket Sort O(n) Radix Sort O(n) External Sorting: K chunks of d…

什么是栈(Stack)? 栈(stack)是一种采用后进先出(LIFO,last in first out)策略的抽象数据结构.比如物流装车,后装的货物先卸,先转的货物后卸.栈在数据结构中的地位很重要,在算法中的应用也很多,比如用于非递归的遍历二叉树,计算逆波兰表达式,等等. 栈一般用一个存储结构(常用数组,偶见链表),存储元素.并用一个指针记录栈顶位置.栈底位置则是指栈中元素数量为0时的栈顶位置,也即栈开始的位置.栈的主要操作: push(),将新的元素压入栈顶,同时栈顶上升. pop(),将…

排序总结 根据<数据结构与算法分析——Java语言描述><INTRODUCTION TO JAVA PROGRAMMING>.维基及各技术博客知识点来总结的.  如果刚入门学习Java的同学,推荐看Y.Daniel.Liang的这本<INTRODUCTION TO JAVA PROGRAMMING>,建议看英文版的,作者是中国人,所以语句很容易理解的,而且简单,易懂.(有IPad直接下PDF高清版的,不会的单词可以随时查阅,还有助于学习英语) 一.    排序的基本概念…

http://www.onjava.com/pub/a/onjava/2001/05/30/optimization.htmlComparing the performance of LinkedLists and ArrayLists (and Vectors) (Page last updated May 2001, Added 2001-06-18, Author Jack Shirazi, Publisher OnJava). Tips: ArrayList is faster than…

Three steps to construct Inverted Index as following: 最难的step中: Token sequence. Sort by term. Dictionary & Postings 第2步中的最现实的问题是:假如100G的terms如何排序? External Sorting Algorithm 基于块的排序索引方法 注释: 4. 文档集读取 5. 排序 6. 排序结果fi 存放到disk 7. Merge 这些排序结果为一个整体的Inverte…

Apache Spark探秘:Spark Shuffle实现 http://dongxicheng.org/framework-on-yarn/apache-spark-shuffle-details/ 对于大数据计算框架而言,Shuffle阶段的设计优劣是决定性能好坏的关键因素之一.本文将介绍目前Spark的shuffle实现,并将之与MapReduce进行简单对比.本文的介绍顺序是:shuffle基本概念,MapReduce Shuffle发展史以及Spark Shuffle发展史. (1)…

近期工作中有使用到 MongoDb作为日志持久化对象,需要实现对MongoDb的增.删.改.查,但由于MongoDb的版本比较新,是2.4以上版本的,网上已有的一些MongoDb Helper类都是基于之前MongoDb旧的版本,无法适用于新版本的MongoDb,故我基于MongoDb官方C#驱动重新封装了MongoDbCsharpHelper类(CRUD类),完整代码如下: using MongoDB; using MongoDB.Bson; using MongoDB.Driver; usi…

卿哥原创,转载请注明出处,谢谢 之前已经作出预告,那么今天就聊聊mapreduce,起源于Google的map reduce paper, 而后经历了mapreduce 1,和构建于yarn上的mapreduce 2,mapreduce1 除了提供一定的历史演变价值和了解一下mapreduce最初的设计之外就没有必要学了哈,毕竟现在意义上的mapreduce2,spark都是在yarn上.当然mapreduce这项技术本身可能现在也是逐年衰落,不是我说的,是michael stonebraker…

对于大数据计算框架而言,Shuffle阶段的设计优劣是决定性能好坏的关键因素之一.本文将介绍目前Spark的shuffle实现,并将之与MapReduce进行简单对比.本文的介绍顺序是:shuffle基本概念,MapReduce Shuffle发展史以及Spark Shuffle发展史. (1)  shuffle基本概念与常见实现方式 shuffle,是一个算子,表达的是多对多的依赖关系,在类MapReduce计算框架中,是连接Map阶段和Reduce阶段的纽带,即每个Reduce Task从每…