一.辅助排序 需求:先有一个订单数据文件,包含了订单id.商品id.商品价格,要求将订单id正序,商品价格倒序,且生成结果文件个数为订单id的数量,每个结果文件中只要一条该订单最贵商品的数据. 思路:1.封装订单类OrderBean,实现WritableComparable接口: 2.自定义Mapper类,确定输入输出数据类型,写业务逻辑: 3.自定义分区,根据不同的订单id返回不同的分区值: 4.自定义Reducer类: 5.辅助排序类OrderGroupingComparator继承Writ…

1.数据样本,w1.csv到w5.csv,每个文件数据样本2000条,第一列是年份从1990到2000随机,第二列数据从1-100随机,本例辅助排序目标是找出每年最大值,实际上结果每年最大就是100,但是这里通过mapreduce辅助排序方式来找. 1999,71 1994,57 1995,33 1993,44 1994,99 1994,83 1995,59 ... ... 2.核心概念: 1)分区,假设有海量的数据,为了增加并行度,按照hash算法将所有数据分区后,确保同一年的数据进入到同一个…

辅助排序和二次排序案例(GroupingComparator) 1.需求 有如下订单数据 订单id 商品id 成交金额 0000001 Pdt_01 222.8 0000001 Pdt_05 25.8 0000002 Pdt_03 522.8 0000002 Pdt_04 122.4 0000002 Pdt_05 722.4 0000003 Pdt_01 222.8 0000003 Pdt_02 33.8 现在需要求出每一个订单中最贵的商品. 2.数据准备 GroupingComparator.…

http://www.cnblogs.com/tolimit/p/5435068.html------------linux内存源码分析 - 内存回收(整体流程) 概述 当linux系统内存压力就大时,就会对系统的每个压力大的zone进程内存回收,内存回收主要是针对匿名页和文件页进行的.对于匿名页,内存回收过程中会筛选出一些不经常使用的匿名页,将它们写入到swap分区中,然后作为空闲页框释放到伙伴系统.而对于文件页,内存回收过程中也会筛选出一些不经常使用的文件页,如果此文件页中保存的内容与磁盘中…

排序 排序是MapReduce的核心技术. 1.准备 示例:按照气温字段对天气数据集排序.由于气温字段是有符号的整数,所以不能将该字段视为Text对象并以字典顺序排序.反之,用顺序文件存储数据,其IntWritable键代表气温(并且正确排序),其Text值就是数据行.MapReduce作业只包含map任务,它过滤输入数据并移除空数据行的记录.各个map创建并输出一个块压缩的顺序文件.代码如下 package com.zhen.mapreduce.sort.preprocessor; impor…

1.MapReduce是什么? MapReduce是一种编程模型,用于大规模数据集的并行运算.它借用了函数式的编程概念,是Google发明的一种数据处理模型. 主要思想为:Map(映射)和Reduce(化简). 一个Map/Reduce作业(Job)通常会把输入的数据集切分为若干独立的数据块,由Map任务(Task)以完全并行的方式处理它们.框架会先对Map的输出进行排序,然后把结果输入给Reduce任务.通常作业的输入和输出都会被存储在文件系统中.整个框架负责任务的调度和监控,以及重新执行已经…

原文链接:https://langyu.iteye.com/blog/992916 Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方.要想理解MapReduce, Shuffle是必须要了解的. 我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混. 前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟. 考虑到之前我在看相关资料而看不懂时很恼火,所以在这里我尽最大的…

引言: 虽然MapReduce计算框架简化了分布式程序设计,将所有的并行程序均需要关注的设计细节抽象成公共模块并交由系统实现,用户只需关注自己的应用程序的逻辑实现,提高了开发效率,但是开发如果对Mapreduce计算框架如何实现这样的魔术没有一个基本的了解,那么在面临多任务.大数据而出现大量数据倾斜,计算速度慢等问题时,将无法给出解决方案.也无法在设计MapReduce程序时根据框架的特性优化逻辑算法,所以了解MapReduce工作流程和Shuffle原理是学习MapReduce程序设计的必修课…

一.git提交代码走meger请求的整体流程 工作中使用git推代码时,如果走merge请求,那么也就是说拉代码时拉公共代码库的代码,但是提交时需要先提交到自己的代码库,然后在gitlab上提交merge请求,相应负责人review代码后合并代码到公共代码库中. 之前前面的部分没有总结,过一段时间后竟忘记了什么原理,现在再次使用git总结下一个新员工使用git走meger请求的全流程. 1.gitlab上新建个人远程库 (可以通过fork其他远程库) fork其他远程库步骤: 待补充.. 2.在…

前言:2018年,是最杂乱的一年!所以你看我的博客,是不是很空! 网上有很多关于Mybatis原理介绍的博文,这里介绍两篇我个人很推荐的博文 Mybatis3.4.x技术内幕和 MyBaits源码分析!让我找到了学习的入口,当然另外你必须要看的官方文档 MyBatis学习.那么有了这些知识,就让我们愉快的吃鸡之路吧! 一:你首先得知道的知识点. 1.1 JDBC 在个人看来, Mybatis的核心就是对SQL语句的管理!那么在JAVA环境下,对SQL的管理或者其他任何的实现,肯定是离不开JAVA…