算法---BitMap
问题:
假设有3亿个整数(范围0-2亿),如何判断某一个树是否存在。局限条件一台机器,内存500m。
常规的思路:我们可以将数据存到一个集合中,然后判断某个数是否存在;或者用一个等长的数组来表示,每个数对应的索引位置,存在就标记为1,不存在0。当然如果设备条件允许,上面的这方案是可行的。
但是现在我们内存只有500m。Int类型4个字节。
单单是这3亿个数都已经:300000000*4/1024/1024 差不多1144m了。显然已经远超过内存限制了。
显然在这种条件下面,我们想要将这些书完整的存储下来已经是不现实的。只有另寻他经。
上面的第二种方案中提供一个很好思路,用标记来标注。我们只有寻求内存占用更小的数据类型来标记了,1int=4byte,1byte = 8bit
如果我们用bit来打标记。就不可以很好的缩小内存占用了嘛。1int=4byte,如果用bit那么内存占用就会缩小32倍,1144/32大概36m就可以了。
也就是说其实我们的一个int位置,可以表示32个数据存在与否。
Int 1的二进制完整表示:0000 0000 0000 0000 0000 0000 0000 0001,它是有32位,只不过平时前面的0都是没有显示的
我们声明一个int类型的标记数组:flag[2亿/32 +1],数组长度2亿/32 +1,就可以了,为什么是2亿/32,不是3亿呢,因为这3亿个数的范围就是0-2亿,所以我们的标记数组最大只需要对应2亿即可。有的数,就将其标记为1。就是说数组的没一个元素其实包含了32个数存在与否。
Flag[0] --->0-31
Flag[1] --->32-63
Flag[2] --->64-95
Flag[3] --->96-127
.......
我们怎么来操作这个int类型里面的32位呢,这就要用到我们的位运算:
<<:左移
>>:右移
&:同位上的两个数都是1则位1,否则为0
|:同为上的两个数只要有一个为1 则为1,否则为0
我们怎么找到某个数的标记在数组的索引及其值的多少位呢?
假设3这个数
Index = 3 / 32 = 0
Location = 3 % 32 = 3
3的标记应该在flag[0] 的第三个位置,将其置为1:
flag[0] |= 1 << Location (位或是不会影响其他位置1的标记)
原本的flag[0] 0000 0000 0000 0000 0000 0000 0000 0011 原本已经有了0和1
| 0000 0000 0000 0000 0000 0000 0000 000 1 << Location 之后的
得到: 0000 0000 0000 0000 0000 0000 0000 011 现在有0,1,3了
这样就可以所有的数据标记给保存下来了。
那么判断的时候怎么判断呢。
同理先找到某个数精确位置
还是3
Index = 3 / 32 = 0
Location = 3 % 32 = 3
现在我们的flag[0] -> 0000 0000 0000 0000 0000 0000 0000 1011
Exist = flag[0] & (1 << Location) != 0 &:相同位上的两个数都是1则位1,否则为0
0000 0000 0000 0000 0000 0000 0000 1011
& 0000 0000 0000 0000 0000 0000 0000 1000
0000 0000 0000 0000 0000 0000 0000 1000
&运算之后结果不为0说明该数存在。
大致的思路就是这个样子,下面用代码实现上述逻辑
package com.nijunyang.algorithm.math; /**
* Description:
* Created by nijunyang on 2020/5/5 22:33
*/
public class BitMap {
/**
* 范围中最大的那个数
*/
private int max; private int[] flag; public BitMap(int max) {
this.max = max;
flag = new int[max >> 5 + 1]; //除以32也可以表示为>>5
} /**
* 添加数据标记
* @param val
*/
public void put(int val) { //往bitmap里面添加数字 int index = val / 32; // 计算数组索引位置
int location = val % 32; // 计算在32位int中的位置
flag[index] |= 1 << location; //标记位改成1
} /**
* 判断是否存在
* @param val
* @return
*/
public boolean exist(int val) {
int index = val / 32;
int location = val % 32; int result = flag[index] & (1 << location);
return result != 0;
} /**
* 移除标记
* @param val
* @return
*/
public void remove(int val) {
int index = val / 32;
int location = val % 32; System.out.println(Integer.toBinaryString(flag[index]));
flag[index] = flag[index] &~ (1 << location); //~取反1变0 0变1
System.out.println(Integer.toBinaryString(flag[index]));
} public static void main(String[] args) {
BitMap bitMap = new BitMap(200_000_000);
bitMap.put(128);
bitMap.put(129);
System.out.println(bitMap.exist(127));
System.out.println(bitMap.exist(128));
bitMap.remove(128);
System.out.println(bitMap.exist(128)); }
}
虽然说用bitMap的这种思想可以解决上面的这个问题,但是它还是有缺点的,我们上面用的数字,如果是其他类型可能就需要hash之后得到hashcode再进行这个操作,对于hash冲突是无法解决的。因为标记只有0和1。数据量少的时候相对于普通的hash集合操作并没有优势。它对于那种数据量很大,且数据相对密集的,因为数组的长度是和最大的数据值有关,而不是和集合容量有关。
布隆过滤器就使用bitMap的思想。不过它同时会使用集中hash算法来计算hashcode,来尽量解决hash冲突。Redis缓存设计与性能优化 中有简单的介绍。
JDK中也有一个BitSet类。
算法---BitMap的更多相关文章
- 海量数据处理算法—Bit-Map
原文:http://blog.csdn.net/hguisu/article/details/7880288 1. Bit Map算法简介 来自于<编程珠玑>.所谓的Bit-map就是用一 ...
- 海量数据处理算法—BitMap
1. Bit Map算法简介 来自于<编程珠玑>.所谓的Bit-map就是用一个bit位来标记某个元素对应的Value, 而Key即是该元素.由于采用了Bit为单位来存储数据,因此在存储空 ...
- 从一道高大上的面试题来学习位图算法BitMap
今天我偶然刷到了一篇文章,"华为二面:一个文件里面有5亿个数据,一行一个,没有重复的,进行排序".不知道又是哪个无良媒体瞎起的标题,夺人眼球. 不过说归说,这题听着就很高大上,5亿 ...
- [Android算法] bitmap 将图片压缩到指定的大小
Bitmap压缩到指定大小: private void imageZoom() {//图片允许最大空间 单位:KBdouble maxSize =400.00;//将bitmap放至数组中,意在bit ...
- 复选框与bitmap算法实践
bitmap(位图)算法 bitmap算法是利用数据二进制的每一位的值来表示数据的算法,可用来压缩保存数据集. 如何保存 如 5(int)的二进制表示为 101b,第一位和第三位的值是1就可以表示数据 ...
- Android图片缓存之Bitmap详解
前言: 最近准备研究一下图片缓存框架,基于这个想法觉得还是先了解有关图片缓存的基础知识,今天重点学习一下Bitmap.BitmapFactory这两个类. 图片缓存相关博客地址: Android图片缓 ...
- 大数据分析常用去重算法分析『Bitmap 篇』
大数据分析常用去重算法分析『Bitmap 篇』 mp.weixin.qq.com 去重分析在企业日常分析中的使用频率非常高,如何在大数据场景下快速地进行去重分析一直是一大难点.在近期的 Apache ...
- 大数据计算:如何仅用1.5KB内存为十亿对象计数
大数据计算:如何仅用1.5KB内存为十亿对象计数 Big Data Counting: How To Count A Billion Distinct Objects Using Only 1.5K ...
- Flink去重统计-基于自定义布隆过滤器
一.背景说明 在Flink中对流数据进行去重计算是常有操作,如流量域对独立访客之类的统计,去重思路一般有三个: 基于Hashset来实现去重 数据存在内存,容量小,服务重启会丢失. 使用状态编程Val ...
随机推荐
- mysql> 12 simple but staple commands
Edit at: 2019-12-28 16:52:42 1.mysql -u+username -p+password --> connect mysql 2.use databasena ...
- 在IDEA中搭建Java源码学习环境并上传到GitHub上
打开IDEA新建一个项目 创建一个最简单的Java项目即可 在项目命名填写该项目的名称,我这里写的项目名为Java_Source_Study 点击Finished,然后在项目的src目录下新建源码文件 ...
- Docker-Bridge Network 02 容器与外部通信
本小节介绍bridge network模式下,容器与外部的通信. 1.前言2.容器访问外部2.1 访问外网2.2 原理2.3 一张图总结2.4 抓包3.外部访问容器3.1 创建nginx容器并从外部访 ...
- delphi使用ADO在sql数据库存取图片的方法
我一直不认为能把代码写的和天书一样的程序员是好的程序员,那不过是因为我真的对delphi也就是略懂皮毛,太深了看不懂.网上查询数据库存取图片的方式,看的是一头雾水,有人提出保存路径使用时再调用,方法很 ...
- L2 Softmax与分类模型
softmax和分类模型 内容包含: softmax回归的基本概念 如何获取Fashion-MNIST数据集和读取数据 softmax回归模型的从零开始实现,实现一个对Fashion-MNIST训练集 ...
- 格式化启动盘win10
我这个(U盘)磁盘被分成了两个区,不能直接格式化 第一步: 第二步: 删除完了之后,选择格式化,ok. 说明:格式化时要选择系统. 常规NTFS 缺点:老设备,比如打印机,监控机识别不了. FAT系 ...
- 深圳博客第一篇(Json)
JSON JSON是纯文本 JSON具有自我描述性 JSON具有层级结构 JSON可通过javascript进行解析 JSON数据可使用Ajax进行传输 JSON对象的取值 var myObj = { ...
- 今天我们来谈谈绝对定位和相对定位的区别,和需要注意的问题;position:absolute|relative;
首先position:absolute|relative; 前者是绝对定位,后者是相对定位: position属性的四个值: static,relative,fixed,absolute; 重点重点重 ...
- 详解 通道 (Channel 接口)
在本篇博文中,本人主要讲解NIO 的两个核心点 -- 缓冲区(Buffer) 和 通道 (Channel)之一的 缓冲区(Buffer), 有关NIO流的其他知识点请观看本人博文<详解 NIO流 ...
- 刷题记录:[V&N2020 公开赛]TimeTravel
题目复现链接:https://buuoj.cn/challenges 参考链接:2020 年 V&N 内部考核赛 WriteUp V&N公开赛2020 writeup httpoxy ...