redis bitmap数据结构之java对等操作
在之前的文章中,我们有说过bitmap,bitmap在很多场景可以应用,比如黑白名单,快速判定,登录情况等等。总之,bitmap是以其高性能出名。其基本原理是一位存储一个标识,其他衍生知道咱就不说了,而redis就是以这种原生格式存储的。
实际上,redis是基于string的数据结构实现了bitmap的功能。
1. redis基本的bitmap操作命令
最基本的,redis的bitmap有设置和读取两个值,即 setbit/getbit, 非常容易理解,即设置某个标识为1,那么取值判定的时候,就可以得到true.
127.0.0.1:6379> setbit bm1 222 1
(integer) 0
127.0.0.1:6379> getbit bm1 222
(integer) 1
这很容易理解,也是最基本的。当然,它还提供其他的一些操作:BITCOUNT 做数据量统计, BITOP 做bitmap的交并差运算... 我们也不必过多讨论它。
2. java中的原生bitmap
可以说redis的bitmap实现相当之简单,所以java也就顺便实现了一个bitmap的版本:BitSet .
@Test
public void testJavaBitmap() {
BitSet bitmap = new BitSet();
bitmap.set(88);
// exist = true
boolean exist = bitmap.get(88);
BitSet bitmap2 = new BitSet();
bitmap2.set(99);
// bitmap中将包含 [88, 99]
bitmap.or(bitmap2);
}
java中的bitmap实现,也是按位存储,但是是基于long的存储。
/*
* BitSets are packed into arrays of "words." Currently a word is
* a long, which consists of 64 bits, requiring 6 address bits.
* The choice of word size is determined purely by performance concerns.
*/
private final static int ADDRESS_BITS_PER_WORD = 6; /**
* Sets the bit at the specified index to {@code true}.
*
* @param bitIndex a bit index
* @throws IndexOutOfBoundsException if the specified index is negative
* @since JDK1.0
*/
public void set(int bitIndex) {
if (bitIndex < 0)
throw new IndexOutOfBoundsException("bitIndex < 0: " + bitIndex); int wordIndex = wordIndex(bitIndex);
expandTo(wordIndex); words[wordIndex] |= (1L << bitIndex); // Restores invariants checkInvariants();
}
/**
* Given a bit index, return word index containing it.
*/
private static int wordIndex(int bitIndex) {
return bitIndex >> ADDRESS_BITS_PER_WORD;
}
所以,我们可以得出一个浅显的结论,bitmap很简单,一点都不神秘。但是,大道至简,它高性能,它自然还是有好处的,咱们该用还得用。显然,java版本的bitmap虽然很很好用,但是它只是应用级别的,只能在进程内使用,有太多的其他问题没考虑,所以咱们还得要依赖于redis的bitmap.
问题:如果我有很多的数字标识想要写入redis中,然后再进行读取判定,该怎么办呢?
很简单的,我们可以一个个地调用 setbit 命令,依次写入redis中。这自然能解决问题,但是明显会带来很多的网络io。
其次,我们可以使用pipeline调用setbit进行批量写入。这当然是一种优化方案,只是仍然不是最优。
那有没有什么更好的办法呢?
3. java和redis的bitmap互操作
对于批量的操作,redis是基于string实现,而java是基于bitset实现。其功能都基本差不多,判定、写入、交并差运算。那么,除了一个个按照各自语法进行添加外,有没有可能进行数据结构上的对等呢?
这个思路是很自然的,因为我们已经完全理解了各自的实现原理,为什么不呢?直接将BitSet转换为byte[]写入redis,直接将redis的bitmap当作string读出来不就可以了吗?
事实真是如此吗?实际上有点差别,原因是一个是大端存储,一个是小端存储。
比如:比如对于存储byte值: 00000010 , redis中会解释为偏移为6的值为1, 而在java中则会解析为数字2存在于bitmap中。也就是说两个的判定结果是不一样的,一个是6,一个是2。如果把java中的值给调换一下,变成 01000000,那么就和redis是一样的了。
而从redis中转变到java中,则需要将每个byte位做一逆向操作判定,具体实现如下:
@Test
public void testSetBitmapData2Redis() {
//创建一个连接
Jedis jedis = new Jedis("localhost", 6379);
// 正向设置redis bitmap
String testBitmapKey = "mybitmap1";
jedis.set(testBitmapKey.getBytes(),
genRedisBitmap(2, 55, 133, 65537, 10_0000));
Assert.assertEquals("bitmap取值不正确", true,
jedis.getbit(testBitmapKey, 2L));
Assert.assertEquals("bitmap取值不正确", true,
jedis.getbit(testBitmapKey, 133L));
Assert.assertEquals("bitmap取值不正确", true,
jedis.getbit(testBitmapKey, 65537L));
Assert.assertEquals("bitmap取值不正确", true,
jedis.getbit(testBitmapKey, 10_0000L));
Assert.assertEquals("bitmap取值不正确", false,
jedis.getbit(testBitmapKey, 3L));
//在redis中获取name值
byte[] redisBitmapData = jedis.get("mybitmap1".getBytes());
BitSet bitSet = convertRedisBitmapToJava(redisBitmapData);
Assert.assertTrue("redisBitmap反解不正确", bitSet.get(2));
Assert.assertTrue("redisBitmap反解不正确", bitSet.get(133));
Assert.assertTrue("redisBitmap反解不正确", bitSet.get(65537));
Assert.assertTrue("redisBitmap反解不正确", bitSet.get(10_0000));
Assert.assertFalse("redisBitmap反解不正确", bitSet.get(332));
jedis.close();
} // 将redis的bitmap转换为java 的bitset
private BitSet convertRedisBitmapToJava(byte[] redisBitmapData) {
int len = redisBitmapData.length;
BitSet bitSet = new BitSet();
// 每个 byte 8位, 所以整个bitmap 的长度为 len * 8
for (int i = 0; i < len * 8; i++) {
byte currentSegment = redisBitmapData[i / 8];
if(currentSegment == 0) {
continue;
}
if((currentSegment & (1 << (7 - (i % 8) ) ) ) != 0 ) {
bitSet.set(i);
}
}
return bitSet;
} // 生成redis的bitmap数据
private byte[] genRedisBitmap(int... items) {
BitSet bitSet = new BitSet();
// 2 55 133
for (int k : items) {
bitSet.set(k);
}
byte[] targetBitmap = bitSet.toByteArray();
convertJavaToRedisBitmap(targetBitmap);
return targetBitmap;
} // 将java中的字节数组转换为redis的bitmap数据形式
private void convertJavaToRedisBitmap(byte[] bytes) {
int len = bytes.length;
for (int i = 0; i < len; i++) {
byte b1 = bytes[i];
if(b1 == 0) {
continue;
}
byte transByte = 0;
for (byte j = 0; j < 8; j++) {
transByte |= (b1 & (1 << j)) >> j << (7 -j);
}
bytes[i] = transByte;
}
}
经验证,将8位的byte进行位置反转,能够完美匹配两种数据结构。
如此一来,就可以轻松将整个bitmap进行初始化设置到redis中,从而在redis的bitmap中,使用 getbit 进行高效判定了。
redis bitmap数据结构之java对等操作的更多相关文章
- Redis【4】Java Jedis 操作 Redis~
package redis.redis; import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; /** * 描 ...
- 20190928-02使用Redis客户端Jedis连接Redis,以及用Java代码操作Redis 000 030
启动redis package com.yujie.jedis; import java.util.HashMap; import java.util.Map; import java.util.Se ...
- Redis的数据结构、通用操作及其特性
Redis的数据结构 五种数据类型: 字符串(String).字符串列表(list).字符串集合(set).有序字符串集合(sorted set).哈希(hash) key定义的注意点: 不要过长,不 ...
- windows下Redis安装及利用java操作Redis
一.windows下Redis安装 1.Redis下载 下载地址:https://github.com/MicrosoftArchive/redis 打开下载地址后,选择版本 然后选择压缩包 下载 R ...
- Java中操作Redis
一.server端安装 1.下载 https://github.com/MSOpenTech/redis 可看到当前可下载版本:redis2.6 下载后的文件为: 解压后,选择当前64位win7系统对 ...
- Redis入门教程(三)— Java中操作Redis
在Redis的官网上,我们可以看到Redis的Java客户端众多 其中,Jedis是Redis官方推荐,也是使用用户最多的Java客户端. 开始前的准备 使用jedis使用到的jedis-2.1.0. ...
- 使用java代码操作Redis
1导入pom.xml依赖 <dependency> <groupId>redis.clients</groupId> <artifactId>jedis ...
- java代码操作Redis
1.导入需要的pom依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEn ...
- Redis数据库 : python与java操作redis
redis 包 from redis import * 连接: r = StrictRedis(host='localhost', port='6379') 读写:r.set('key','value ...
随机推荐
- C++ 内存模型 write_x_read_y 试例构造
之前一段时间偶然在 B 站上刷到了南京大学蒋炎岩(jyy)老师在直播操作系统网课.点进直播间看了一下发现这个老师实力非凡,上课从不照本宣科,而且旁征博引又不吝于亲自动手演示,于是点了关注.后来开始看其 ...
- JDK数组阻塞队列源码深入剖析
JDK数组阻塞队列源码深入剖析 前言 在前面一篇文章从零开始自己动手写阻塞队列当中我们仔细介绍了阻塞队列提供给我们的功能,以及他的实现原理,并且基于谈到的内容我们自己实现了一个低配版的数组阻塞队列.在 ...
- Java源码分析 | Object
本文基于 OracleJDK 11, HotSpot 虚拟机. Object 定义 Object 类是类层次结构的根.每个类都有 Object 类作为超类.所有对象,包括数组等,都实现了这个类的方法. ...
- docker hung住问题排查
背景:这个是之前遇到的老问题. # systemctl status lxcfs● lxcfs.service - FUSE filesystem for LXC Loaded: loaded (/u ...
- JSP中的EL 表达式
JSP中的EL 表达式 什么是 EL 表达式,EL 表达式的作用? EL 表达式的全称是:Expression Language.是表达式语言. EL 表达式的什么作用:EL 表达式主要是代替 jsp ...
- RabbitMQ 入门系列:7、保障消息不重复消费:产生消息的唯一ID。
系列目录 RabbitMQ 入门系列:1.MQ的应用场景的选择与RabbitMQ安装. RabbitMQ 入门系列:2.基础含义:链接.通道.队列.交换机. RabbitMQ 入门系列:3.基础含义: ...
- [开源精品] C#.NET im 聊天通讯架构设计 -- FreeIM 支持集群、职责分明、高性能
FreeIM 是什么? FreeIM 使用 websocket 协议实现简易.高性能(单机支持5万+连接).集群即时通讯组件,支持点对点通讯.群聊通讯.上线下线事件消息等众多实用性功能. ImCore ...
- RabbitMQ 入门系列:10、扩展内容:延时队列:延时队列插件及其有限的适用场景(系列大结局)。
系列目录 RabbitMQ 入门系列:1.MQ的应用场景的选择与RabbitMQ安装. RabbitMQ 入门系列:2.基础含义:链接.通道.队列.交换机. RabbitMQ 入门系列:3.基础含义: ...
- 第八十三篇:Vue购物车(四) 总价计算
好家伙, 1.总价计算 来了,又先是一波分析: 我们用一个计算属性amt 我们把item中被勾选的项用一个过滤器过滤器来 然后用一个循环相加,把商品的价格乘以商品的数量, 把这个总值返回出去, 然后组 ...
- 第七十篇:Vue组件的使用
好家伙, 1.vue的组件化开发 1.1.什么是组件? 组件是对UI结构的复用, vue是一个支持组件化开发的前端框架, vue中规定:组件的后缀名是.vue 例如:App.vue文件本质上就是一个v ...