Redis学习笔记二

一、BitMap是什么

就是通过一个bit位来表示某个元素对应的值或者状态,其中的key就是对应元素本身。我们知道8个bit可以组成一个Byte,所以bitmap本身会极大的节省储存空间。

二、BitMap算法基本描述

BitMap 是使用 bit位来标记某个元素对应的value,而key 即是该元素,因此对于之前位数存储换成bit位存储数据能大大的节省存储空间。

三、BitMap的实现思想

假设我们要对于0-7内的5个元素(4,7,2,5,3)进行排序(假设元素没有重复),我们可以利用bitmap达到该目的,要表示8个数,我们需要8bit,每个bit相当于一个标志位,我们可以通过标志位(0,1)去标识本次这个元素是否存在(0,标识不存在;1,标识存在,1Byte=8bit)

首先先开辟1byte的空间,将8个bit位设为0.如这张图

0

0

0

0

0

0

0

0

然后遍历这几个元素,4为第一个元素,所以把4对应的位置变为1.如下图

0

0

0

0

1

0

0

0

接下去遍历可以得到:

0

0

1

1

1

1

0

1

然后我们通过GETBIT这个命令可以遍历bit区域,将标识为1的遍历出来,得到(2,3,4,5,7)序列,这样子就得到了排序的结果。

GETBIT key offset

四、BitMap 40亿数据处理题目

   给你一个文件,里面包含40亿个整数,如何利用bitMap思想找出该文件中不包含的一个整数, 假设你有1GB内存可用。

  我们用1Byte代替一个整数,那40亿数据大概要40*10^8*bit = 0.5GB,满足内存要求。

  用int来表示:Int  bmap[1+sum/32]; //N是总数,sum=40*(10^8),一个int=32Bit=4Byte

  然后我们插入一个整数ze,要先计算整数ze位于数组Bitmap中的索引:index = ze/32;(除以32是得到整数位于第几个Byte,也就是第几位)

  比如整数35,index=35/32=1, 35%32=3(取余) 第35位于数组中的index=1(位于数组BitMap[1]中标识等于3的位置),然后就是标识这个位置为1。

  知道了这些,我们就可以检测哪个整数不在数据里面了。

  如:检测35,先计算index,在数组BitMap的标识位置

  35: index = 1, 在BitMap[1]中的位置为 1,只需要检测这个位置是否为1

  BitMap[1] &(1<<1),这样是1返回true,否侧返回false

五、Bit-Map的应用

1)可进行数据的快速查找,判重,删除,一般来说数据范围是int的10倍以下。

2)去重数据而达到压缩数据

BitCount

一、bitcount.语法

BitCount:计算key 所储存的字符串值中,被设置为 1 的比特位的数量。

BITCOUNT key

BITCOUNT key start end

计算key 所储存的字符串值中,指定字节区间[start,end]被设置为 1 的比特位的数量。
注意:redis的setbit设置或清除的是bit位置,而bitcount计算的是byte位置,1byte=8bit。
start 和 end 参数的设置和 GETRANGE 命令类似,都可以使用负数值:比如 -1 表示最后一个字节,而 -2 表示倒数第二个字节,以此类推。

二、使用bitcount统计浏览数量

如记录网站上的用户的上线频率,例如计算用户A上线了多少天,用户B上线了多少天,以此作为数据,这可以用SETBIT和BITCOUNT来实现。

每当用户在某一天上线的时候,通过SETBIT命令,以用户名作为key,将那天所代表的网站的上线日作为offset (标识偏移数)参数,并将这个offset 上的为设置为1。

举个例子,如果今天是网站上线的第66天,而用户(user=Y)在今天阅览过网站,那么执行命令SETBIT person:Y 66 1;如果88号那天用户(user=Y)也继续阅览网站,那么执行命令SETBIT person:Y 88 1,

使用BITCOUNT命令:计算用户(user=Y)总共上线次数时

执行BITCOUNT person:Y,得出用户(person=Y)上线的总天数。

三、Python-redis-Bitcount 代码

import redis

r = redis.Redis(host='127.0.0.1', port=6379, db=0)

#模拟A用户 ,一年中 每三天登录一次。
for i in range(3, 365, 3):
r.setbit('ua', i, 1) #模拟B用户,一年中 每60天登录一次。
for i in range(1, 365, 60):
r.setbit('ub', i, 1) userList = r.keys('u*')
#用户列表
print userList #存放活跃用户列表
Au = []
#存放非活跃用户列表
Nau = [] for u in userList :
# 计算登录次数
loginCount = r.bitcount(u)
if loginCount > 100 :
# 列表添加元组 ()对象
Au.append((u, loginCount))
else :
Nau.append((u, loginCount)) for l in Au :
print l[0] + ' 是活跃用户. 登陆' + str(l[1]) + '天' for l in Nau :
print l[0] + ' 是非活跃用户. 登陆' + str(l[1]) + '天' 结果:
['ub', 'ua']
ua 是活跃用户. 登陆121天
ub 是非活跃用户. 登陆7天

Bittop命令

处理不同长度的字符串

当 BITOP 处理不同长度的字符串时,较短的那个字符串所缺少的部分会被看作 0 。

空的 key 也被看作是包含 0 的字符串序列

      

    

Redis学习笔记二 (BitMap算法分析与BitCount语法)的更多相关文章

  1. Redis学习笔记二

    学习Redis添加Object时,由于Redis只能存取字符串String,对于其它数据类型形容:Int,long,double,Date等不提供支持,因而需要设计到对象的序列化和反序列化.java序 ...

  2. redis 学习笔记二 (简单动态字符串)

    redis的基本数据结构是动态数组 一.c语言动态数组 先看下一般的动态数组结构 struct MyData { int nLen; char data[0]; }; 这是个广泛使用的常见技巧,常用来 ...

  3. StackExchange.Redis学习笔记(二) Redis查询 五种数据类型的应用

    ConnectionMultiplexer ConnectionMultiplexer 是StackExchange.Redis的核心对象,用这个类的实例来进行Redis的一系列操作,对于一个整个应用 ...

  4. redis 学习笔记二

    redis启动: 直接 redis-server.exe 启动服务,是按照redis默认配置启动的,如果想按照自己的配置文件启动,要加上 redis-server.exe  redis.windows ...

  5. redis学习笔记(二)——java中jedis的简单使用

    redis怎么在java中使用,那就是要用到jedis了,jedis是redis的java版本的客户端实现,原本原本想上来就直接学spring整合redis的,但是一口吃个胖子,还是脚踏实地,从基础开 ...

  6. Redis学习笔记二:单机数据库的实现

    1. 数据库 服务器中的数据库 Redis服务器将所有数据库都保存在服务器状态redis.h/redisServer结构的db数组中,db数组的每个项都是一个redis.h/redisDb结构,每个r ...

  7. 2019/1/10 redis学习笔记(二)

    本文不涉及集群搭建操作 关于在lua脚本中操作redis的应用场景 大家都知道redis对于单个集合的操作是原子性的;但是有可能有一种场景是这样.比如说抢红包,现在有十个人抢五份红包,抽象到我们jav ...

  8. redis 学习笔记(二)

    1. 在centos下安装g++,如果输入 yum install g++,那么将会提示找不到g++.因为在centos下g++安装包名字叫做:gcc-c++ 所以应该输入 yum install g ...

  9. Redis学习笔记(二):Redis集群

    集群通过分片(sharding)来进行数据共享,并提供复制和故障转移功能.   1.节点 一个节点就是一个运行在集群模式下的Redis服务器.启动Redis服务器时,通过判断cluster-enabl ...

随机推荐

  1. 机器学习---文本特征提取之词袋模型(Machine Learning Text Feature Extraction Bag of Words)

    假设有一段文本:"I have a cat, his name is Huzihu. Huzihu is really cute and friendly. We are good frie ...

  2. min-max容斥学习笔记

    min-max容斥学习笔记 前置知识 二项式反演 \[ f(n)=\sum_{i=0}^n\binom{n}{i}g(i)\Leftrightarrow g(n)=\sum_{i=0}^n(-1)^{ ...

  3. Memcached操作

    标准协议和字段 Memcached的标准协议字段包含以下部分: 键,key,任意字符,最大250字节,不能有空格和换行 标志位,32比特,不能为0 超时时间,单位是秒,0代表永不超时,最长30天,30 ...

  4. GO语言系列(四)- 内置函数、闭包与高级数据类型

    一.内置函数.递归函数.闭包 内置函数 1. close:主要用来关闭channel 2. len:用来求长度,比如string.array.slice.map.channel 3. new:用来分配 ...

  5. Mysql MGR架构误操作引发的问题处理

    [背景介绍] 故障方描述:一次用户刷权限的时候不小心把数据库用户表记录删掉了,执行之后发现不对后重建用户,杀掉进程后重新MGR启动报错. [报错信息] 2018-06-13T12:47:41.4055 ...

  6. tex中pdf外链

    \documentclass{article} \usepackage{hyperref} \begin{document} \href{run:d:/my folder/test.pdf}{This ...

  7. 关于缓存和 Chrome 的“新版刷新”

    在读本文前你要确保读过我的上篇文章<扼杀 304,Cache-Control: immutable>,因为本文是接着上文写的.上文说到,在现代 Web 上,“条件请求/304 响应”绝大多 ...

  8. mvc 在弹出框中实现文件下载

    var myParent = parent.parent.parent.parent.parent.parent.parent.parent.parent.parent.parent.parent; ...

  9. React Router v4 页面传值的三种方法

    传值方法 1.props.params 使用React router定义路由时,我们可以给指定一个path,然后指定通配符可以携带参数到指定的path: <Route path='/user/: ...

  10. lsof/netstat命令的一个重要作用: 根据进程查端口, 根据端口查进程

    我们知道, 根据ps -aux | grep xxx就是很快实现进程名和进程号的互查, 所以我们只说进程号pid就行. 如下示例中, 进程pid常驻. 1.  根据进程pid查端口: lsof -i ...