Redis 布隆过滤器

1、布隆过滤器

内容参考：https://www.jianshu.com/p/2104d11ee0a2

1、数据结构

布隆过滤器是一个BIT数组，本质上是一个数据，所以可以根据下标快速找数据

2、哈希映射

1、布隆需要记录见过的数据，这里的记录需要通过hash函数对数据进行hash操作，得到数组下标并存储在BIT 数组里记为1。这样的记录一个数据只占用1BIT空间

2、判断是否存在时：给布隆过滤器一个数据，进行hash得到下标，从BIT数组里取数据如果是1 则说明数据存在，如果是0 说明不存在

3、精确度

hash算法存在碰撞的可能，所以不同的数据可能hash为一个下标数据，故为了提高精确度就需要 使用多个hash 算法标记一个数据，和增大BIT数组的大小

也是因为如此，布隆过滤器判断为【数据存在】 可能数据并不存在，但是如果判断为【数据不存在】那么数据就一定是不存在的。

4、例子

下图映射  baidu字样到布隆过滤器中，用了三个不同的hash函数 3BIT 判断一个数据，BIT数组大小为8

哈希函数返回 1、4、7

.

我们现在再存一个值 “tencent”，如果哈希函数返回 3、4、8 的话，图继续变为：

以下 4 位置发生了hash碰撞

5、如何选择哈希函数个数和布隆过滤器长度

显然，过小的布隆过滤器很快所有的 bit 位均为 1，那么查询任何值都会返回“可能存在”，起不到过滤的目的了。布隆过滤器的长度会直接影响误报率，布隆过滤器越长其误报率越小。

另外，哈希函数的个数也需要权衡，个数越多则布隆过滤器 bit 位置位 1 的速度越快，且布隆过滤器的效率越低；但是如果太少的话，那我们的误报率会变高。

k 为哈希函数个数，m 为布隆过滤器长度，n 为插入的元素个数，p 为误报率。

6、不支持删除

布隆过滤器只能插入数据判断是否存在，不能删除，而且只能保证【不存在】判断绝对准确

以上不难看出如果给数组的每个BIT位上加一个计数器，插入的时候+1  删除的时候 –1 就可以实现删除。

但是加计数器的实现是有问题的：

由于hash碰撞问题，布隆过滤器不能准确判断数据是否存在，就不能随意删除。其次计数器的回绕问题也需要考虑。

2、给redis安装布隆过滤器模块

1、下载：

地址：https://github.com/RedisBloom/RedisBloom

下载ZIP  文件，上传到linux

RedisBloom-master.zip

2、解压编译

命令：

unzip RedisBloom-master.zip

cd RedisBloom-master

make

扫行完以上命令 后文件夹内生成一个文件名为：redisbloom.so

3、启动redis 时加载该模块

命令：

 redis-server redis-6381.conf --loadmodule /zjl/software/RedisBloom-master/redisbloom.so 

3、验证

1、链接redis

命令：

redis-cli –a zjl123

2、测试布隆过滤

命令：

bf.add zjl  123

bf.exists zjl  123   #返回  1 ，说明存在值

bf.exists zjl  321   #返回  0， 说明不存在该值

3、准确率

Redis中有一个命令可以来设置布隆过滤器的准确率：

bf.reserve zjl  0.01 100

bf.reserve 有三个参数，分别是 key, error_rate 和 initial_size 。

错误率越低，需要的空间越大。

initial_size 参数表示预计放 入的元素数量，当实际数量超出这个数值时，误判率会上升。

所以需要提前设置一个较大的数值避免超出导致误判率升高。

如果不使用 bf.reserve，默认的 error_rate 是 0.01，默认的 initial_size 是 100。

布隆过滤器的 initial_size 估计的过大，会浪费存储空间，估计的过小，就会 影响准确率，

用户在使用之前一定要尽可能地精确估计好元素数量，还需要加上 一定的冗余空间以避免实际元素可能会意外高出估计值很多。

布隆过滤器的 error_rate 越小，需要的存储空间就越大，对于不需要过于精确 的场合， error_rate 设置稍大一点也无伤大雅。

比如在新闻去重上而言，误判 率高一点只会让小部分文章不能让合适的人看到，

文章的整体阅读量不会因为这 点误判率就带来巨大的改变。

4、项目中使用

1、redis布隆过滤器

没有找到jedis 支持bloom过滤器 命令的版本，只找到了另外一个JAR包的支持，但是也不太好用，没弄明白如何添加密码连接

引入包

<dependency>
        <groupId>com.redislabs</groupId>
        <artifactId>jrebloom</artifactId>
        <version>1.0.2</version>
</dependency>

JAR包里只有三个类，对连接方式 和 数据类型 的支持都不够

代码：

Client client = new Client(redisProperties.getHost(), redisProperties.getPort(), 10000, 100);
client.add("zjl", "");
boolean zjl = client.exists("zjl", "");
System.out.println(zjl);

2、Guava中的BloomFilter

google的guava包中提供了BloomFilter类，直接用的是服务器内存

导入包

<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>22.0</version>
</dependency>

代码：

private static int size = 1000000;
private static BloomFilter<String> bloomFilter = BloomFilter.create(Funnels.stringFunnel(Charset.defaultCharset()), size, 0.0001);
 
public void test2() {
    String aa = "zjl";
    bloomFilter.put(aa);
    System.out.println(bloomFilter.mightContain(aa));
}

3、自已实现布隆过滤器

java 有bitSet数组，hash函数可以自己手动实现

自己手写是可以实现布隆过滤器的，在此不做研究。