網站首頁 編程語言 正文
簡介
本文基于Spring Boot 2.6.6、redisson 3.16.0簡單分析Redisson布隆過濾器的使用。
布隆過濾器是一個非常長的二進制向量和一系列隨機哈希函數的組合，可用于檢索一個元素是否存在；
使用場景如下：
- 解決Redis緩存穿透問題；
- 郵件過濾；
使用
- 建立一個二進制向量，所有位設置0；
- 選擇K個散列函數，用于對元素進行K次散列，計算向量的位下標；
- 添加元素：將K個散列函數作用于該元素，生成K個值作為位下標，將向量的對應位設置為1；
- 檢索元素：將K個散列函數作用于該元素，生成K個值作為位下標，若向量的對應位都是1，則說明該元素可能存在；否則，該元素肯定不存在；
Demo
依賴
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
<exclusions>
<exclusion>
<groupId>io.lettuce</groupId>
<artifactId>lettuce-core</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artifactId>
</dependency>
<dependency>
<groupId>org.redisson</groupId>
<artifactId>redisson</artifactId>
<version>3.16.0</version>
</dependency>
測試代碼
public class BloomFilterDemo {
? ? public static void main(String[] args) {
? ? ? ? Config config = new Config();
? ? ? ? config.useSingleServer().setAddress("redis://127.0.0.1:6379");
? ? ? ? RedissonClient redissonClient = Redisson.create(config);
? ? ? ? RBloomFilter<String> bloomFilter = redissonClient.getBloomFilter("bloom-filter");
? ? ? ? // 初始化布隆過濾器
? ? ? ? bloomFilter.tryInit(200, 0.01);
? ? ? ? List<String> elements = new ArrayList<>();
? ? ? ? for (int i = 0; i < 200; i++) {
? ? ? ? ? ? elements.add(UUID.randomUUID().toString());
? ? ? ? }
? ? ? ? // 向布隆過濾器中添加內容
? ? ? ? init(bloomFilter, elements);
? ? ? ? // 測試檢索效果
? ? ? ? test(bloomFilter, elements);
? ? ? ? redissonClient.shutdown();
? ? }
? ? public static void init(RBloomFilter<String> bloomFilter, List<String> elements) {
? ? ? ? for (int i = 0; i < elements.size(); i++) {
? ? ? ? ? ? if (i % 2 == 0) {
? ? ? ? ? ? ? ? bloomFilter.add(elements.get(i));
? ? ? ? ? ? }
? ? ? ? }
? ? }
? ? public static void test(RBloomFilter<String> bloomFilter, List<String> elements) {
? ? ? ? int counter = 0;
? ? ? ? for (String element : elements) {
? ? ? ? ? ? if (bloomFilter.contains(element)) {
? ? ? ? ? ? ? ? counter++;
? ? ? ? ? ? }
? ? ? ? }
? ? ? ? System.out.println(counter);
? ? }
}簡析
初始化
布隆過濾器的初始化方法tryInit有兩個參數：
- expectedInsertions：預期的插入元素數量；
- falseProbability：預期的錯誤率；
布隆過濾器可以明確元素不存在，但對于元素存在的判斷是存在錯誤率的；所以初始化時指定的這兩個參數會決定布隆過濾器的向量長度和散列函數的個數；
RedissonBloomFilter.tryInit方法代碼如下：
public boolean tryInit(long expectedInsertions, double falseProbability) {
? ? if (falseProbability > 1) {
? ? ? ? throw new IllegalArgumentException("Bloom filter false probability can't be greater than 1");
? ? }
? ? if (falseProbability < 0) {
? ? ? ? throw new IllegalArgumentException("Bloom filter false probability can't be negative");
? ? }
? ? // 根據元素個數和錯誤率計算得到向量長度
? ? size = optimalNumOfBits(expectedInsertions, falseProbability);
? ? if (size == 0) {
? ? ? ? throw new IllegalArgumentException("Bloom filter calculated size is " + size);
? ? }
? ? if (size > getMaxSize()) {
? ? ? ? throw new IllegalArgumentException("Bloom filter size can't be greater than " + getMaxSize() + ". But calculated size is " + size);
? ? }
? ? // 根據元素個數和向量長度計算得到散列函數的個數
? ? hashIterations = optimalNumOfHashFunctions(expectedInsertions, size);
? ? CommandBatchService executorService = new CommandBatchService(commandExecutor);
? ? executorService.evalReadAsync(configName, codec, RedisCommands.EVAL_VOID,
? ? ? ? ? ? "local size = redis.call('hget', KEYS[1], 'size');" +
? ? ? ? ? ? ? ? ? ? "local hashIterations = redis.call('hget', KEYS[1], 'hashIterations');" +
? ? ? ? ? ? ? ? ? ? "assert(size == false and hashIterations == false, 'Bloom filter config has been changed')",
? ? ? ? ? ? ? ? ? ? Arrays.<Object>asList(configName), size, hashIterations);
? ? executorService.writeAsync(configName, StringCodec.INSTANCE,
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? new RedisCommand<Void>("HMSET", new VoidReplayConvertor()), configName,
? ? ? ? ? ? "size", size, "hashIterations", hashIterations,
? ? ? ? ? ? "expectedInsertions", expectedInsertions, "falseProbability", BigDecimal.valueOf(falseProbability).toPlainString());
? ? try {
? ? ? ? executorService.execute();
? ? } catch (RedisException e) {
? ? ? ? if (e.getMessage() == null || !e.getMessage().contains("Bloom filter config has been changed")) {
? ? ? ? ? ? throw e;
? ? ? ? }
? ? ? ? readConfig();
? ? ? ? return false;
? ? }
? ? return true;
}
private long optimalNumOfBits(long n, double p) {
? ? if (p == 0) {
? ? ? ? p = Double.MIN_VALUE;
? ? }
? ? return (long) (-n * Math.log(p) / (Math.log(2) * Math.log(2)));
}
private int optimalNumOfHashFunctions(long n, long m) {
? ? return Math.max(1, (int) Math.round((double) m / n * Math.log(2)));
}添加元素
向布隆過濾器中添加元素時，先使用一系列散列函數根據元素得到K個位下標，然后將向量中位下標對應的位設置為1；
RedissonBloomFilter.add方法代碼如下：
public boolean add(T object) {
? ? // 根據帶插入元素得到兩個long類型散列值
? ? long[] hashes = hash(object);
? ? while (true) {
? ? ? ? if (size == 0) {
? ? ? ? ? ? readConfig();
? ? ? ? }
? ? ? ? int hashIterations = this.hashIterations;
? ? ? ? long size = this.size;
? ? ? ? // 得到位下標數組
? ? ? ? // 以兩個散列值根據指定策略生成hashIterations個散列值，從而得到位下標
? ? ? ? long[] indexes = hash(hashes[0], hashes[1], hashIterations, size);
? ? ? ? CommandBatchService executorService = new CommandBatchService(commandExecutor);
? ? ? ? addConfigCheck(hashIterations, size, executorService);
? ? ? ? RBitSetAsync bs = createBitSet(executorService);
? ? ? ? for (int i = 0; i < indexes.length; i++) {
? ? ? ? ? ? // 將位下標對應位設置1
? ? ? ? ? ? bs.setAsync(indexes[i]);
? ? ? ? }
? ? ? ? try {
? ? ? ? ? ? List<Boolean> result = (List<Boolean>) executorService.execute().getResponses();
? ? ? ? ? ? for (Boolean val : result.subList(1, result.size()-1)) {
? ? ? ? ? ? ? ? if (!val) {
? ? ? ? ? ? ? ? ? ? // 元素添加成功
? ? ? ? ? ? ? ? ? ? return true;
? ? ? ? ? ? ? ? }
? ? ? ? ? ? }
? ? ? ? ? ? // 元素已存在
? ? ? ? ? ? return false;
? ? ? ? } catch (RedisException e) {
? ? ? ? ? ? if (e.getMessage() == null || !e.getMessage().contains("Bloom filter config has been changed")) {
? ? ? ? ? ? ? ? throw e;
? ? ? ? ? ? }
? ? ? ? }
? ? }
}
private long[] hash(Object object) {
? ? ByteBuf state = encode(object);
? ? try {
? ? ? ? return Hash.hash128(state);
? ? } finally {
? ? ? ? state.release();
? ? }
}
private long[] hash(long hash1, long hash2, int iterations, long size) {
? ? long[] indexes = new long[iterations];
? ? long hash = hash1;
? ? for (int i = 0; i < iterations; i++) {
? ? ? ? indexes[i] = (hash & Long.MAX_VALUE) % size;
? ? ? ? // 散列函數的實現方式
? ? ? ? if (i % 2 == 0) {
? ? ? ? ? ? // 新散列值
? ? ? ? ? ? hash += hash2;
? ? ? ? } else {
? ? ? ? ? ? // 新散列值
? ? ? ? ? ? hash += hash1;
? ? ? ? }
? ? }
? ? return indexes;
}hash(long hash1, long hash2, int iterations, long size)方法中，利用根據元素得到的兩個散列值，生成一系列散列函數，然后得到位下標數組；
檢索元素
檢索布隆過濾器中是否存在指定元素時，先使用一系列散列函數根據元素得到K個位下標，然后判斷向量中位下標對應的位是否為1，若存在一個不為1，則該元素不存在；否則認為存在；
RedissonBloomFilter.contains方法代碼如下：
public boolean contains(T object) {
? ? // 根據帶插入元素得到兩個long類型散列值
? ? long[] hashes = hash(object);
? ? while (true) {
? ? ? ? if (size == 0) {
? ? ? ? ? ? readConfig();
? ? ? ? }
? ? ? ? int hashIterations = this.hashIterations;
? ? ? ? long size = this.size;
? ? ? ? // 得到位下標數組
? ? ? ? // 以兩個散列值根據指定策略生成hashIterations個散列值，從而得到位下標
? ? ? ? long[] indexes = hash(hashes[0], hashes[1], hashIterations, size);
? ? ? ? CommandBatchService executorService = new CommandBatchService(commandExecutor);
? ? ? ? addConfigCheck(hashIterations, size, executorService);
? ? ? ? RBitSetAsync bs = createBitSet(executorService);
? ? ? ? for (int i = 0; i < indexes.length; i++) {
? ? ? ? ? ? // 獲取位下標對應位的值
? ? ? ? ? ? bs.getAsync(indexes[i]);
? ? ? ? }
? ? ? ? try {
? ? ? ? ? ? List<Boolean> result = (List<Boolean>) executorService.execute().getResponses();
? ? ? ? ? ? for (Boolean val : result.subList(1, result.size()-1)) {
? ? ? ? ? ? ? ? if (!val) {
? ? ? ? ? ? ? ? ? ? // 若存在不為1的位，則認為元素不存在
? ? ? ? ? ? ? ? ? ? return false;
? ? ? ? ? ? ? ? }
? ? ? ? ? ? }
? ? ? ? ? ? // 都為1，則認為元素存在
? ? ? ? ? ? return true;
? ? ? ? } catch (RedisException e) {
? ? ? ? ? ? if (e.getMessage() == null || !e.getMessage().contains("Bloom filter config has been changed")) {
? ? ? ? ? ? ? ? throw e;
? ? ? ? ? ? }
? ? ? ? }
? ? }
}原文鏈接：https://blog.csdn.net/xing_hung/article/details/124775160
相關推薦
- 2022-03-15 GO + React + Axios Response to preflight request
- 2023-11-20 Linux/樹莓派如何限制CPU使用率？cpulimit的基本用法
- 2022-04-19 React?組件權限控制的實現_React
- 2023-07-22 JVM的類加載機制和垃圾回收機制
- 2022-06-01 Python全角與半角之間相互轉換的方法總結_python
- 2022-12-25 Qt開發之QString類的使用教程詳解_C 語言
- 2022-07-19 C++分別使用std::chrono和clock()計算時間間隔
- 2023-02-12 Android使用相機實現拍照存儲及展示功能詳解_Android
- 最近更新
-
- window11 系統安裝 yarn
- 超詳細win安裝深度學習環境2025年最新版（
- Linux 中運行的top命令 怎么退出？
- MySQL 中decimal 的用法？ 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎操作-- 運算符，流程控制 Flo
- 1. Int 和Integer 的區別，Jav
- spring @retryable不生效的一種
- Spring Security之認證信息的處理
- Spring Security之認證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權
- redisson分布式鎖中waittime的設
- maven:解決release錯誤：Artif
- restTemplate使用總結
- Spring Security之安全異常處理
- MybatisPlus優雅實現加密？
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務發現-Nac
- Spring Security之基于HttpR
- Redis 底層數據結構-簡單動態字符串（SD
- arthas操作spring被代理目標對象命令
- Spring中的單例模式應用詳解
- 聊聊消息隊列，發送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠程分支
提供CDN加速