好好的 Tair 排行榜不用,非得自己写?20 行代码实现高性能排行榜
TairZset 是阿里云自研的可实现任意维度 double 类型的分值排序的数据结构,借助 Tair 客户端同时可实现扩展性,即可以将计算任务分布至多个数据节点完成,实现分布式排行榜能力。本文介绍了 TairZset 的能力以及利用 TairZset 实现奖牌榜、分布式排行榜、实时排行榜的方案。
背景介绍
排序需求常见于各类游戏、应用、奖牌、积分等排行榜中,通常业务对排序的需求如下:
- 支持增删改查和反向排序,可根据分数范围获取相应用户。
- 排序操作执行速度快。
- 支持多维排序。
- 支持扩展(即 分布式排行榜 )。在数据分片容量或计算能力不足时,可以将其扩展到其他数据分片。
TairZset介绍
原生 Redis 支持的排序结构 Sorted Set(也称Zset)只支持一个 double 类型的分值排序,实现多维度排序时较为困难。例如通过IEEE 754结合拼接的方式实现多维度排序,此类方式存在实现复杂、精度下降、ZINCRBY命令无法使用等局限性,借助阿里云自研的 TairZset 数据结构,可帮助您轻松实现多维度排序能力,相较于传统方案具有如下优势:
- 支持任意维度的 double 类型的分值排序(排序优先级为从左往右)。
- 支持 ZINCRBY 命令,不再需要取回当前数据,在本地增加值后再拼接写回 Redis。
- 支持和原生 Zset 类似的所有 API。
- 客户端适配简易,无需任何编解码封装。
- 提供 普通排行榜 和 分布式排行榜 能力。
通过 TairZset 实现奖牌榜
排名 | 参与方 | 金牌 | 银牌 | 铜牌 |
---|---|---|---|---|
1 | A | 32 | 21 | 16 |
2 | B | 25 | 29 | 21 |
3 | C | 20 | 7 | 12 |
4 | D | 14 | 4 | 16 |
5 | E | 13 | 21 | 18 |
6 | F | 13 | 17 | 14 |
(注:数据仅做演示使用)
在奖牌榜中,首先按照金牌排名,如果金牌相等,则按照银牌,否则继续按照铜牌。在上述数据中,E 和 F 金牌数相等,但是银牌数 E 大于 F,因此 E 排名靠前,多维排序天然被 TairZset 支持,用户只需要使用简单的 API 即可完成。
1,首先依赖 Tair 客户端 alibabcloud-tairjedis-sdk 。
<dependency>
<groupId>com.aliyun.tair</groupId>
<artifactId>alibabacloud-tairjedis-sdk</artifactId>
<version>1.6.0</version>
</dependency>
2, 创建排行榜,乱序插入数据并排序。
JedisPool jedisPool = new JedisPool();
// 创建排行榜
LeaderBoard lb = new LeaderBoard("leaderboard", jedisPool, 10, true, false);
// 如果金牌数相同,按照银牌数排序,否则继续按照铜牌
// 金牌 银牌 铜牌
lb.addMember("A", 32, 21, 16);
lb.addMember("D", 14, 4, 16);
lb.addMember("C", 20, 7, 12);
lb.addMember("B", 25, 29, 21);
lb.addMember("E", 13, 21, 18);
lb.addMember("F", 13, 17, 14);
// 获取 A 的排名
lb.rankFor("A"); // 1
// 获取top3
lb.top(3);
// [{"member":"A","score":"32#21#16","rank":1},
// {"member":"B","score":"25#29#21","rank":2},
// {"member":"C","score":"20#7#12","rank":3}]
// 获取整个排行榜
lb.allLeaders();
// [{"member":"A","score":"32#21#16","rank":1},
// {"member":"B","score":"25#29#21","rank":2},
// {"member":"C","score":"20#7#12","rank":3},
// {"member":"D","score":"14#4#16","rank":4},
// {"member":"E","score":"13#21#18","rank":5},
// {"member":"F","score":"13#17#14","rank":6}]
通过TairZset实现分布式排行榜
实现分布式排行榜有两种做法,分别为精确排名法和非精确排名法(线性差值法),下面分别介绍两种方法:
实现同一基本功能时,普通排行榜和分布式排行榜的实现方案如下:
说明 此处分布式排行榜采用精确排名法实现, 通过多个 TairZset 来保存数据在不同的分片上。
基本功能 | 普通排行榜 | 分布式排行榜 | ||
---|---|---|---|---|
实现方案 | 时间复杂度 | 实现方案 | 时间复杂度 | |
插入成员 | 通过 EXZADD 插入元素 | O(N) | 通过 crc(key) & m 计算要存放的目标 Key,然后通过 EXZADD 插入元素 | O(log(N)) 说明 本列中的m代表分片数 |
更新成员分值 | 通过 EXZINCRBY 更新分数 | O(log(N)) | 通过 crc(key) & m 计算要存放的目标 Key,通过 EXZINCRBY 更新分数 | O(log(N)) |
移除成员 | 通过 EXZREM 移除成员 | O(M*log(N)) | 通过 crc(key) & m 计算要操作的Key,然后通过 EXZREM 移除成员 | O(M*log(N)) |
查询成员数量 | 通过 EXZCARD 查询成员数量 | O(1) | 分别通过 EXZCARD 查询成员数量,然后相加。 | O(m) |
查询总页数 | 通过 EXZCARD 查询成员数量,然后除以PAGE_SIZE(每页可展示的记录数) | O(1) | 分别通过 EXZCARD 查询成员数量,然后相加,得出的结果再除以PAGE_SIZE(每页可展示的记录数) | O(m) |
某分数范围内的总成员数 | 通过 EXZCOUNT 查询 | O(log(N)) | 分别执行 EXZCOUNT ,然后合并结果 | m*O(log(N)) |
移除某分数范围内的成员 | 通过EXZREMRANGEBYSCORE移除 | O(log(N)+M) | 分别执行 EXZREMRANGEBYSCORE | m* O(log(N)+M) |
获取成员分值 | 通过 EXZSCORE 查询 | O(1) | 通过 crc(key) & m 计算要操作的 Key,然后执行 EXZSCORE | O(1) |
获取成员排名 | 通过 EXZRANK 查询 | O(log(N)) | 去每一个分片调用 EXZRANKBYSCORE,然后相加 | m*O(log(N)) |
同时获取成员和排名 | 通过 EXZSCORE 和EXZRANK 查询 | O(log(N)) | 分别调用上面两个 API | m*O(log(N)) |
查询第top i个成员 | 通过 EXZRANGE 查询 | O(log(N)+M) | 通过 EXZRANGE 查询每个 top i,然后合并并得出最终结果 | m*O(log(N)+M) |
获取排行榜第 i 页 | 通过 EXZRANGE 查询 | O(log(N)) | 将获取页数之前的元素都获取到,然后排序以获得最终的页数。如果查询的页面太靠后,可以限制获取的页面。 | m*O(log(N)) |
设置过期时间 | 通过 EXPIRE 设置 | O(1) | 给每个元素设置过期 | O(m) |
删除排行榜 | 通过 DEL 删除 | O(N) n 成员个数 | 同时 DEL 掉每个元素 | m * O(n) m是key,n是成员个数 |
通过TairZset实现实时、小时、日、周和月维度的排行榜
该场景下的需求是实现月榜,那么这个Key就从月的维度进行索引,利用 TairZset 的多级索引能力可以轻松实现不同时间范围的排行榜。本案例中,月度的所有数据存储在一个 Key 中(名称为 julyZset),写入演示数据如下:
exzincrby julyZset 7#2#6#16#22#100 7#2#6#16#22_user1
exzincrby julyZset 7#2#6#16#22#50 7#2#6#16#22_user2
exzincrby julyZset 7#2#6#16#23#70 7#2#6#16#23_user1
exzincrby julyZset 7#2#6#16#23#80 7#2#6#16#23_user1
说明
- 7#2#6#16#22#100表示7月第2周6号16点22分,更新其分数为100。
- 7#2#6#16#22_user1表示此时间点更新的用户,用户名加入了具体时间前缀。
总结
本文介绍了常见排行榜方案,并介绍了 TairZset 的功能,实现了奖牌榜,分布式排行榜,以及时间维度的各类榜单,在性能高效的同时也帮助用户解决了实际的业务问题,欢迎大家使用交流。
参考:
[1] alibabacloud-tairjedis-sdk: https://github.com/aliyun/alibabacloud-tairjedis-sdk
[2] 线性差值法:https://zh.wikipedia.org/zh-hans/线性差值
好好的 Tair 排行榜不用,非得自己写?20 行代码实现高性能排行榜的更多相关文章
- 不写1行代码,在Mac上体验ASP.NET 5的最简单方法
昨天微软发布了ASP.NET 5 beta2(详见ASP.NET 5 Beta2 发布),对ASP.NET 5的好奇心又被激发了. 今天下午在Mac OS X上体验了一下ASP.NET 5,而且借助Y ...
- 只写104行代码!在nopCommerce中如何实现自动生成网站地图
表告诉我说你不知道nopCommerce是什么.它是目前.NET中最流行的完全开源网上商城,由俄罗斯的团队在2008年开始立项一直开发到现在已经是3.3版本了.代码目前托管在codeplex上,有兴趣 ...
- 厉害了,Google大神每天写多少行代码?
文章转自开源中国社区,编译自:Quora Quora上有个有趣的问题:Google工程师们每天写多少行代码? Google 的 AdMob 全栈工程师 Raymond Farias 在 Quora 发 ...
- codeforces 876 D. Sorting the Coins(线段树(不用线段树写也行线段树写比较装逼))
题目链接:http://codeforces.com/contest/876/problem/D 题解:一道简单的类似模拟的题目.其实就是看右边连出来有多少连续不需要换的假设位置为pos只要找pos- ...
- javascript写贪吃蛇游戏(20行代码!)
<!doctype html> <html> <body> <canvas id="can" width="400" ...
- 爬数据,能让你少写1000行代码的捷径! | Python 正则表达式
▌春暖花开,又到了出门游玩拍拍拍吃吃吃的好季节了! 说到拍照摄影,你会构图吗?就是在照片有限的空间内处理人.景.物的关系,并将三者安排在画面中最佳的位置,以形成画面特定结构的方法. 学院君就是一个「拍 ...
- 只有20行Javascript代码!手把手教你写一个页面模板引擎
http://www.toobug.net/article/how_to_design_front_end_template_engine.html http://barretlee.com/webs ...
- 瞧一瞧,看一看呐,用MVC+EF快速弄出一个CRUD,一行代码都不用写,真的一行代码都不用写!!!!
瞧一瞧,看一看呐用MVC+EF快速弄出一个CRUD,一行代码都不用写,真的一行代码都不用写!!!! 现在要写的呢就是,用MVC和EF弄出一个CRUD四个页面和一个列表页面的一个快速DEMO,当然是在不 ...
- asp.net core 简化模型验证 modelState.IsValid不用每一个写
第一种:直接在执行action之前验证模型 实现 IActionFilter public class ModelStateFilter : IActionFilter { public void O ...
随机推荐
- Spring Cloud Gateway 没有链路信息,我 TM 人傻了(中)
本系列是 我TM人傻了 系列第五期[捂脸],往期精彩回顾: 升级到Spring 5.3.x之后,GC次数急剧增加,我TM人傻了 这个大表走索引字段查询的 SQL 怎么就成全扫描了,我TM人傻了 获取异 ...
- 鸿蒙内核源码分析(进程镜像篇)|ELF是如何被加载运行的? | 百篇博客分析OpenHarmony源码 | v56.01
百篇博客系列篇.本篇为: v56.xx 鸿蒙内核源码分析(进程映像篇) | ELF是如何被加载运行的? | 51.c.h.o 加载运行相关篇为: v51.xx 鸿蒙内核源码分析(ELF格式篇) | 应 ...
- P4240-毒瘤之神的考验【莫比乌斯反演,平衡规划】
正题 题目链接:https://www.luogu.com.cn/problem/P4240 题目大意 \(Q\)组数据给出\(n,m\)求 \[\sum_{i=1}^n\sum_{j=1}^m\va ...
- JVM-对象的实例化,内存布局与访问定位
1.对象的实例化 提到对象的实例化,我们可能会想到几个问题.对象在JVM中是怎么存储的?对象里面有什么?接下来,我们就来探讨一下对象的实例化以及回答一下这两个问题. 首先我们用图例来说明对象的实例化: ...
- Unity Event Trigger 事件响应(二维,三维)添加组件
EventTrigger 上主要的方法有PointerEnter.PointerExit.PointerDown.PointerUp.PointerClick............都会显示在面板上面 ...
- Redis5种常用数据类型的使用以及内部编码
String 字符串类型是redis的最基本类型,首先无论值是什么数据类型,其键都是字符串,且其他数据类型的数据结构都是在字符串的基础上搭建的,相信读者能够体会到字符串在redis的地位是有多么的重要 ...
- 第十二章 Net 5.0 快速开发框架 YC.Boilerplate --千万级数据处理解决方案
在线文档:http://doc.yc-l.com/#/README 在线演示地址:http://yc.yc-l.com/#/login 源码github:https://github.com/linb ...
- S_型文法到q_型文法再到LL(1)型文法演进笔记
title: S_型文法到q_型文法再到LL(1)型文法演进笔记 date: 2020-08-23 S_型文法到q_型文法再到LL(1)型文法演进笔记 S_型文法(简单的确定性文法) 每个产生式的右部 ...
- Elasticsearch 存储成本省 60%,稿定科技干货分享
背景 稿定科技旗下稿定设计产品是一个聚焦商业设计的多场景在线设计平台,打破了软硬件间的技术限制,汇集创意内容与设计工具于一体,为不同场景下的设计需求提供优质的解决方案,满足图片.视频等全类型媒介的设计 ...
- 题解 51nod 1597 有限背包计数问题
题目传送门 题目大意 给出 \(n\),第 \(i\) 个数有 \(i\) 个,问凑出 \(n\) 的方案数. \(n\le 10^5\) 思路 呜呜呜,傻掉了... 首先想到根号分治,分别考虑 \( ...