算法---BitMap
问题:
假设有3亿个整数(范围0-2亿),如何判断某一个树是否存在。局限条件一台机器,内存500m。
常规的思路:我们可以将数据存到一个集合中,然后判断某个数是否存在;或者用一个等长的数组来表示,每个数对应的索引位置,存在就标记为1,不存在0。当然如果设备条件允许,上面的这方案是可行的。
但是现在我们内存只有500m。Int类型4个字节。
单单是这3亿个数都已经:300000000*4/1024/1024 差不多1144m了。显然已经远超过内存限制了。
显然在这种条件下面,我们想要将这些书完整的存储下来已经是不现实的。只有另寻他经。
上面的第二种方案中提供一个很好思路,用标记来标注。我们只有寻求内存占用更小的数据类型来标记了,1int=4byte,1byte = 8bit
如果我们用bit来打标记。就不可以很好的缩小内存占用了嘛。1int=4byte,如果用bit那么内存占用就会缩小32倍,1144/32大概36m就可以了。
也就是说其实我们的一个int位置,可以表示32个数据存在与否。
Int 1的二进制完整表示:0000 0000 0000 0000 0000 0000 0000 0001,它是有32位,只不过平时前面的0都是没有显示的
我们声明一个int类型的标记数组:flag[2亿/32 +1],数组长度2亿/32 +1,就可以了,为什么是2亿/32,不是3亿呢,因为这3亿个数的范围就是0-2亿,所以我们的标记数组最大只需要对应2亿即可。有的数,就将其标记为1。就是说数组的没一个元素其实包含了32个数存在与否。
Flag[0] --->0-31
Flag[1] --->32-63
Flag[2] --->64-95
Flag[3] --->96-127
.......
我们怎么来操作这个int类型里面的32位呢,这就要用到我们的位运算:
<<:左移
>>:右移
&:同位上的两个数都是1则位1,否则为0
|:同为上的两个数只要有一个为1 则为1,否则为0
我们怎么找到某个数的标记在数组的索引及其值的多少位呢?
假设3这个数
Index = 3 / 32 = 0
Location = 3 % 32 = 3
3的标记应该在flag[0] 的第三个位置,将其置为1:
flag[0] |= 1 << Location (位或是不会影响其他位置1的标记)
原本的flag[0] 0000 0000 0000 0000 0000 0000 0000 0011 原本已经有了0和1
| 0000 0000 0000 0000 0000 0000 0000 000 1 << Location 之后的
得到: 0000 0000 0000 0000 0000 0000 0000 011 现在有0,1,3了
这样就可以所有的数据标记给保存下来了。
那么判断的时候怎么判断呢。
同理先找到某个数精确位置
还是3
Index = 3 / 32 = 0
Location = 3 % 32 = 3
现在我们的flag[0] -> 0000 0000 0000 0000 0000 0000 0000 1011
Exist = flag[0] & (1 << Location) != 0 &:相同位上的两个数都是1则位1,否则为0
0000 0000 0000 0000 0000 0000 0000 1011
& 0000 0000 0000 0000 0000 0000 0000 1000
0000 0000 0000 0000 0000 0000 0000 1000
&运算之后结果不为0说明该数存在。
大致的思路就是这个样子,下面用代码实现上述逻辑
package com.nijunyang.algorithm.math; /**
* Description:
* Created by nijunyang on 2020/5/5 22:33
*/
public class BitMap {
/**
* 范围中最大的那个数
*/
private int max; private int[] flag; public BitMap(int max) {
this.max = max;
flag = new int[max >> 5 + 1]; //除以32也可以表示为>>5
} /**
* 添加数据标记
* @param val
*/
public void put(int val) { //往bitmap里面添加数字 int index = val / 32; // 计算数组索引位置
int location = val % 32; // 计算在32位int中的位置
flag[index] |= 1 << location; //标记位改成1
} /**
* 判断是否存在
* @param val
* @return
*/
public boolean exist(int val) {
int index = val / 32;
int location = val % 32; int result = flag[index] & (1 << location);
return result != 0;
} /**
* 移除标记
* @param val
* @return
*/
public void remove(int val) {
int index = val / 32;
int location = val % 32; System.out.println(Integer.toBinaryString(flag[index]));
flag[index] = flag[index] &~ (1 << location); //~取反1变0 0变1
System.out.println(Integer.toBinaryString(flag[index]));
} public static void main(String[] args) {
BitMap bitMap = new BitMap(200_000_000);
bitMap.put(128);
bitMap.put(129);
System.out.println(bitMap.exist(127));
System.out.println(bitMap.exist(128));
bitMap.remove(128);
System.out.println(bitMap.exist(128)); }
}
虽然说用bitMap的这种思想可以解决上面的这个问题,但是它还是有缺点的,我们上面用的数字,如果是其他类型可能就需要hash之后得到hashcode再进行这个操作,对于hash冲突是无法解决的。因为标记只有0和1。数据量少的时候相对于普通的hash集合操作并没有优势。它对于那种数据量很大,且数据相对密集的,因为数组的长度是和最大的数据值有关,而不是和集合容量有关。
布隆过滤器就使用bitMap的思想。不过它同时会使用集中hash算法来计算hashcode,来尽量解决hash冲突。Redis缓存设计与性能优化 中有简单的介绍。
JDK中也有一个BitSet类。
算法---BitMap的更多相关文章
- 海量数据处理算法—Bit-Map
原文:http://blog.csdn.net/hguisu/article/details/7880288 1. Bit Map算法简介 来自于<编程珠玑>.所谓的Bit-map就是用一 ...
- 海量数据处理算法—BitMap
1. Bit Map算法简介 来自于<编程珠玑>.所谓的Bit-map就是用一个bit位来标记某个元素对应的Value, 而Key即是该元素.由于采用了Bit为单位来存储数据,因此在存储空 ...
- 从一道高大上的面试题来学习位图算法BitMap
今天我偶然刷到了一篇文章,"华为二面:一个文件里面有5亿个数据,一行一个,没有重复的,进行排序".不知道又是哪个无良媒体瞎起的标题,夺人眼球. 不过说归说,这题听着就很高大上,5亿 ...
- [Android算法] bitmap 将图片压缩到指定的大小
Bitmap压缩到指定大小: private void imageZoom() {//图片允许最大空间 单位:KBdouble maxSize =400.00;//将bitmap放至数组中,意在bit ...
- 复选框与bitmap算法实践
bitmap(位图)算法 bitmap算法是利用数据二进制的每一位的值来表示数据的算法,可用来压缩保存数据集. 如何保存 如 5(int)的二进制表示为 101b,第一位和第三位的值是1就可以表示数据 ...
- Android图片缓存之Bitmap详解
前言: 最近准备研究一下图片缓存框架,基于这个想法觉得还是先了解有关图片缓存的基础知识,今天重点学习一下Bitmap.BitmapFactory这两个类. 图片缓存相关博客地址: Android图片缓 ...
- 大数据分析常用去重算法分析『Bitmap 篇』
大数据分析常用去重算法分析『Bitmap 篇』 mp.weixin.qq.com 去重分析在企业日常分析中的使用频率非常高,如何在大数据场景下快速地进行去重分析一直是一大难点.在近期的 Apache ...
- 大数据计算:如何仅用1.5KB内存为十亿对象计数
大数据计算:如何仅用1.5KB内存为十亿对象计数 Big Data Counting: How To Count A Billion Distinct Objects Using Only 1.5K ...
- Flink去重统计-基于自定义布隆过滤器
一.背景说明 在Flink中对流数据进行去重计算是常有操作,如流量域对独立访客之类的统计,去重思路一般有三个: 基于Hashset来实现去重 数据存在内存,容量小,服务重启会丢失. 使用状态编程Val ...
随机推荐
- Web Scraper 高级用法——使用 CouchDB 存储数据 | 简易数据分析 18
这是简易数据分析系列的第 18 篇文章. 利用 web scraper 抓取数据的时候,大家一定会遇到一个问题:数据是乱序的.在之前的教程里,我建议大家利用 Excel 等工具对数据二次加工排序,但还 ...
- 《MySQL实战45讲》学习笔记4——MySQL中InnoDB的索引
索引是在存储引擎层实现的,且在 MySQL 不同存储引擎中的实现也不同,本篇文章介绍的是 MySQL 的 InnoDB 的索引. 下文将以这张表为例开展. # 创建一个主键为 id 的表,表中有字段 ...
- Mybatis-项目结构
源文件:https://github.com/569844962/Mybatis-Learn/blob/master/doc/Mybatis%E6%95%B4%E4%BD%93%E6%9E%B6%E6 ...
- 记录d3.js 力导向图的平移缩放,类似地图导航点击某一项移动到当前位置
项目中有用到d3.js用于图结构的查询, 需求如下: 右上角有个模糊搜索功能,查询出来的结果用列表展示 点击列表的某一列,要求画布移动到当前选中的节点的位置,基于画布正中间 搜索出来的结果列表展示用的 ...
- L13过拟合欠拟合及其解决方案
过拟合.欠拟合及其解决方案 过拟合.欠拟合的概念 权重衰减 丢弃法 模型选择.过拟合和欠拟合 训练误差和泛化误差 在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(g ...
- 2019CCPC-江西省赛(重现赛)- 感谢南昌大学
A题: 题意: 给你两棵树,然后用一条边将这两棵树连接起来,然后计算 每两点之间的距离,然后求和,问这个和的最小值. 思路:根据重心的性质,树上的所有点到重心的距离最短,因此我们找到两棵树的重心,然后 ...
- PHP函数:debug_backtrace
debug_backtrace() - 产生一条 PHP 的回溯跟踪(backtrace). 说明: debug_backtrace ([ int $options = DEBUG_BACKTRAC ...
- v&n赛 ML 第一步(python解决)
题目链接 给了70组x,y,根据提示,是求拟合曲线,再通过x求y 知道MATLAB应该录入就能解决吧,但是没下这软件,试试用python解决 #coding:utf- from pwn import ...
- 取代 Python 多进程!伯克利开源分布式框架 Ray
Ray 由伯克利开源,是一个用于并行计算和分布式 Python 开发的开源项目.本文将介绍如何使用 Ray 轻松构建可从笔记本电脑扩展到大型集群的应用程序. 并行和分布式计算是现代应用程序的主要内容. ...
- sqlliab7-8
less-7 https://www.jianshu.com/p/20d1282e6e1d ?id=0')) union select 1,'2','<?php @eval($_POST[&qu ...