package com.zjl.tool.sort; /** * 求前面的最大K个 解决方案:小根堆 (数据量比较大(特别是大到内存不可以容纳)时,偏向于采用堆) * @author 张恩备 * @date 2016-11-25 下午12:15:36 */ public class TopNByHeap { /** * 待排序列(R1,R2,...,Rk,...Rn)看作是完全二叉树,通过比较.交换,父节点和孩子节点的值, * 使得对于任意元素Rk(k<=n/2),满足Rk>=R(2k),Rk…

topN功能是一个非常常见的功能,比如查看最近几分钟的阅读最高数,购买最高数. flink实现topN的功能也非常方便,下面就开始构建一个flink topN的程序. 还是像上篇博客一样,从kafka读取数据,然后进行计算和数据转换,最后sink到mysql中. 假设有个需求,实现一个统计每5分钟最高购买数的商品. 使用maven创建一个工程,具体步骤可以参考上边博文.然后创建一个数据库表,用于存储最终的结果集.语句如下: CREATE TABLE `itembuycount` ( `id` m…

一. string类型 字符串类型是redis中最基本的数据类型,它能存储任何形式的内容,包含二进制数据,甚至是一张图片(二进制内容).一个字符串类型的值存储的最大容量是1GB 命令 (1)setnx :如果不存在key,就插入,否则就保持原来的值 ( setnx crxy aaa ) (2)mset : 一次设置多个key ( mset crxy1 1 crxy2 2 ) (3)mget : 一次查询多个值 ( mget crxy1 crxy2 ) (4)incr crxy1 : 让crxy1…

oracle分页查询及原理分析(总结) oracle分页查询是开发总为常用的语句之一,一般情况下公司框架会提供只需套用,对于增删改查而言,查是其中最为关键也是最为难的一块,其中就有使用率最高的分页查询.本人菜鸟,不足之处还望各位大神多多指导,谢谢各位看官!!! 假定我们有一个sys_user用户表,具体如下: 字段 user_Id login_name password org_id create_time 注释 用户主键 登陆名 密码 单位id 创建时间 --srcSql,最底层sql sel…

一些常用的排序 #系统内置排序算法#list.sort()#heapq模块 def sys_heap_sort(list): import heapq heap = [] for i in range(len(list)): heapq.heappush(heap,list[i]) for i in range(len(heap)): list[i] = heapq.heappop(heap) #python操作列表的方法,它们的时间复杂度 #insert() --->  O(n) #remov…

# 公司网站反映很慢,可能是一些页面的访问方法或者页面引起,通过程序统计nginx访问日志的页面和具体的action方法访问次数以及平均响应时间可以为程序开发的同事提供参考定位具体的代码 # 默认的nginx日志 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http…

一:源码介绍RDD 1.RDD介绍 五大特性,保证了Spark的扩展性,容错性等特性. A list of partitions ====> 一个许多分区的集合,分区中包含数据 A function for computing each split ===> 为每个分区提供一个computing的函数 A list of dependencies on other RDDs ===> RDD会依赖其他RDDs, 这种特性叫做:lineage(生命线):特例:第一个RDD不依赖其他RDD,…

1.对于要处理的文件集合会根据设定大小将文件分块,每个文件分成多块,不是把所有文件合并再根据大小分块,每个文件的最后一块都可能比设定的大小要小 块大小128m a.txt 120m 1个块 b.txt 500m 4个块 reducetask的并行度 1.reducetask并行度就是将原来的一个大任务,分成多个小任务,每一个任务负责一部分计算数据. 2.reduce任务有几个,最直观的的显示就是结果文件的个数.一个结果文件对应于一个reducetask的执行结果.底层分reducetask任务的…

上次获取第一次分词之后的内容了 但是数据数据量太大了 ,这时候有个模块就派上用场了collections模块的Counter类 Counter类:为hashable对象计数,是字典的子类. 然后使用most_common方法返回一个TopN列表.如果n没有被指定,则返回所有元素.当多个元素计数值相同时,排列是无确定顺序的. def get_top_words(topn): # 从out.txt中读取带词性的分词结果列表 words_with_attr = read_result() # 要过滤掉…

https://www.cnblogs.com/jiayongji/p/7119072.html 文本准备 到网上随便一搜"三体全集",就很容易下载到三体三部曲的全集文本(txt文档大概有2~3Mb),这里重命名为santi.txt,并存放到当前目录下. 读取三体全集文本 # coding:utf-8 import sys # 设置环境为utf-8编码格式,防止处理中文出错 reload(sys) sys.setdefaultencoding('utf-8') # 读取三体全集文本 s…

#!/usr/bin/python # coding:utf-8 # 绘制一个<三体>全集词云 # pip install jieba # pip install matplotlib # pip install scipy # pip install wordcloud import sys from collections import Counter import jieba.posseg as psg import matplotlib.pyplot as plt from scipy…

5. QUERY REWRITING 作用: query rewriting is the task of altering a given query so that it will get better results and, more importantly, to help solve the recall problem. can treat it as a machine translation problem: language of user queries(S) <=> l…

MapReduce案例之自定义groupingComparator 求取Top 1的数据 需求 求出每一个订单中成交金额最大的一笔交易 订单id 商品id 成交金额 Order_0000005 Pdt_01 222.8 Order_0000005 Pdt_05 25.8 Order_0000002 Pdt_03 322.8 Order_0000002 Pdt_04 522.4 Order_0000002 Pdt_05 822.4 Order_0000003 Pdt_01 222.8 代码实现 自…

需求:之前写的脚本获取redis 最大的top-n的bigkeys,没有区分数据类型,如果要针对每个数据类型的前top-n的bigkeys获取呢? db_ip=5.5.5.101 db_port= password=abc123 cursor= cnt= new_cursor= function get_key() { redis-cli -h $db_ip -p $db_port -a $password scan $ count $cnt > scan_tmp_result new_curs…

需求:获取redis实例中最大的top-N key 说明:由于redis 4.x才引入了memory usage keyname的语法.3.x不支持! db_ip=5.5.5.101 db_port=6379 password=abc123 cursor=0 cnt=100 new_cursor=0 function get_key() { redis-cli -h $db_ip -p $db_port -a $password scan $1 count $cnt > scan_tmp_res…

比如数组A: [ 0: 5, 1: 2, 2: 4, 3: 3, 4: 1 ] 排序后的结果为:[1, 2, 3, 4, 5],但是有时候会有需求想要保留排序前的位置到一个同位数组里,如前例则为:[4, 1, 3, 2, 0],因此就利用堆排序写了一个单独的数组排序过程加以实现. 代码如下: function arrayKeys(arr) { var i = 0, len = arr.length, keys = []; while (i < len) { keys.push(i++); } r…

topN 算法 以及 逆算法(随笔) 注解:所谓的 topN 算法指的是 在 海量的数据中进行排序从而活动 前 N 的数据. 这就是所谓的 topN 算法.当然你可以说我就 sort 一下 排序完了直接取 slice(0, n) 不就好咯. 但是这的性能会很差~ 那到底能有多差,这篇文章会给大家一个 直观的感受. 第一步.造数据 有排序,那么必须先得有数据 才能在这基础上进行下一步的操作. let arr = [] for (let i = 0; i < 2000; i++) { arr.pus…

在系统中,我们经常会遇到这样的需求:将大量(比如几十万.甚至上百万)的对象进行排序,然后只需要取出最Top的前N名作为排行榜的数据,这即是一个TopN算法.常见的解决方案有三种: (1)直接使用List的Sort方法进行处理. (2)使用排序二叉树进行排序,然后取出前N名. (3)使用最大堆排序,然后取出前N名. 第一种方案的性能是最差的,后两种方案性能会好一些,但是还是不能满足我们的需求.最主要的原因在于使用二叉树和最大堆排序时,都是对所有的对象进行排序,而不是将代价花费在我们需要的少数的To…

1. 预备知识 (1) 基本概念     如图,(二叉)堆是一个数组,它可以被看成一个近似的完全二叉树.树中的每一个结点对应数组中的一个元素.除了最底层外,该树是完全充满的,而且从左向右填充.堆的数组A包括两个属性:A.length给出了数组的长度:A.heap-size表示有多少个堆元素保存在该数组中(因为A中可能只有部分位置存放的是堆的有效元素).     由于堆的这种特殊的结构,我们可以很容易根据一个结点的下标i计算出它的父节点.左孩子.右孩子的下标.计算公式如下: parent(i) =…

/*******************************快速排序 start**********************************///随即取 当前取第一个,首先找到第一个的位置,然后分成left和right两组子集 ,分别对left和right继续执行分割(同上操作) -(void)QuickSort:(NSMutableArray *)list StartIndex:(NSInteger)startIndex EndIndex:(NSInteger)endIndex{ …

创建数据表语句 数据表数据 对上述数据进行TopN排名 select severity,sum(count) as sum from widgt_23 where insertTstamp>='2016-12-05 17:40:00' and insertTstamp<='2016-12-05 18:00:00' group by binary(severity) order by sum desc limit 10; 获取趋势图数据 select * from widgt_23 where…

最近做题目饱受打击,愈发觉得打好基础的重要性,于是乎,决心把基本的排序算法还有数组操作一一实现,目的在于一方面能够得到对JAVA基础的巩固,另一面在实现的过程中发现不足. 今天所实现的堆排序(最大堆)算法,最小堆大同小异.然后基于最大堆实现最大优先队列,最大优先队列可应用于作业调度,比如可将作业长度作为关键字值,实现最长作业优先:或者将作业优先权值作为关键字值,实现高优先权作业优先执行等等.最大堆排序算法结构如下图: //:ThinkingInJava/com.mindview.fundamen…

最近在拜读项亮博士的<推荐系统实践>,系统的学习一下推荐系统的相关知识.今天学习了其中的隐语义模型在Top-N推荐中的应用,在此做一个总结. 隐语义模型LFM和LSI,LDA,Topic Model其实都属于隐含语义分析技术,是一类概念,他们在本质上是相通的,都是找出潜在的主题或分类.这些技术一开始都是在文本挖掘领域中提出来的,近 些年它们也被不断应用到其他领域中,并得到了不错的应用效果.比如,在推荐系统中它能够基于用户的行为对item进行自动聚类,也就是把item划分到不 同类别/主题,这些…

/* 建议先看堆调整方法,堆调整了解了,整个排序算法就算掌握了 */ - (void)viewDidLoad { [super viewDidLoad]; /* 测试数据 */ NSArray *array=@[@,@,@,@,@,@,@,@,@]; NSMutableArray *mutable=[NSMutableArray arrayWithArray:array]; mutable=[self createMaxHeap:mutable]; NSInteger num=mutable.c…

最近在拜读项亮博士的<推荐系统实践>,系统的学习一下推荐系统的相关知识.今天学习了其中的隐语义模型在Top-N推荐中的应用,在此做一个总结. 隐语义模型LFM和LSI,LDA,Topic Model其实都属于隐含语义分析技术,是一类概念,他们在本质上是相通的,都是找出潜在的主题或分类.这些技术一开始都是在文本挖掘领域中提出来的,近些年它们也被不断应用到其他领域中,并得到了不错的应用效果.比如,在推荐系统中它能够基于用户的行为对item进行自动聚类,也就是把item划分到不同类别/主题,这些主题…

春蚕到死丝方尽,蜡炬成灰泪始干 --无题 这里介绍两个比较难的算法: 1.堆排序 2.分治并归排序 先说堆. 这里请大家先自行了解完全二叉树的数据结构. 堆是完全二叉树.大顶堆是在堆中,任意双亲值都大于(或等于)其孩子值,就称其为大顶堆. 堆排序的步骤: 1.把数组想象成一个堆.数组的index+1就是其对应在堆中的序号 2.调堆中各值的顺序,得到大顶堆 3.将堆首位值与堆末尾值交换,最大值排序完毕 4.将堆得大小减1,重复步骤2和步骤3,直到堆中只剩下一个元素.排序完毕 上代码: public…

参考博客:基于python的七种经典排序算法     常用排序算法总结(一) 序前传 - 树与二叉树 树是一种很常见的非线性的数据结构,称为树形结构,简称树.所谓数据结构就是一组数据的集合连同它们的储存关系和对它们的操作方法.树形结构就像自然界的一颗树的构造一样,有一个根和若干个树枝和树叶.根或主干是第一层的,从主干长出的分枝是第二层的,一层一层直到最后,末端的没有分支的结点叫做叶子,所以树形结构是一个层次结构.在<数据结构>中,则用人类的血统关系来命名,一个结点的分枝叫做该结点的"…

hive 分组排序,topN 语法格式:row_number() OVER (partition by COL1 order by COL2 desc ) rankpartition by:类似hive的建表,分区的意思:order by :排序,默认是升序,加desc降序:rank:表示别名表示根据COL1分组,在分组内部根据 COL2排序,而此函数计算的值就表示每组内部排序后的顺序编号(组内连续的唯一的) -- 分组排序-- 求某用户日期最大的3天select a.* from( selec…

如果有商品品类的数据pairRDD(categoryId,clickCount_orderCount_payCount),用Spark完成Top5,你会怎么做? 这里假设使用Java语言进行编写,那么你有两种思路: 1.简化成RDD(categoryObject),其中categoryObject实现了java.lang.Comparable.然后使用top(5)获得topN 2.转换成PairRDD(categoryKey,info),其中categoryKey实现了scala.math.Or…

一:准备 1.源数据 2.上传数据 二:TopN程序编码 1.程序 package com.ibeifeng.bigdata.spark.core import java.util.concurrent.ThreadLocalRandom import org.apache.spark.{SparkConf, SparkContext} /** * 分组TopN:按照第一个字段分组:同一组中,按照第二个字段进行排序:每一组中,获取出现最多的前K个数据. * Created by ibf on 0…