網站首頁 編程語言 正文
Bloom Filter 概念
布隆過濾器(英語:Bloom Filter)是1970年由一個叫布隆的小伙子提出的。它實際上是一個很長的二進制向量和一系列隨機映射函數。布隆過濾器可以用于檢索一個元素是否在一個集合中。它的優點是空間效率和查詢時間都遠遠超過一般的算法,缺點是有一定的誤識別率和刪除困難。
Bloom Filter 原理
布隆過濾器的原理是,當一個元素被加入集合時,通過K個散列函數將這個元素映射成一個位數組中的K個點,把它們置為1。檢索時,我們只要看看這些點是不是都是1就(大約)知道集合中有沒有它了:如果這些點有任何一個0,則被檢元素一定不在;如果都是1,則被檢元素很可能在。這就是布隆過濾器的基本思想。
Bloom Filter跟單哈希函數Bit-Map不同之處在于:Bloom Filter使用了k個哈希函數,每個字符串跟k個bit對應。從而降低了沖突的概率
緩存穿透
每次查詢都會直接打到DB
簡而言之,言而簡之就是我們先把我們數據庫的數據都加載到我們的過濾器中,比如數據庫的id現在有:1、2、3
那就用id:1 為例子他在上圖中經過三次hash之后,把三次原本值0的地方改為1
下次數據進來查詢的時候如果id的值是1,那么我就把1拿去三次hash 發現三次hash的值,跟上面的三個位置完全一樣,那就能證明過濾器中有1的
反之如果不一樣就說明不存在了
那應用的場景在哪里呢?一般我們都會用來防止緩存擊穿
簡單來說就是你數據庫的id都是1開始然后自增的,那我知道你接口是通過id查詢的,我就拿負數去查詢,這個時候,會發現緩存里面沒這個數據,我又去數據庫查也沒有,一個請求這樣,100個,1000個,10000個呢?你的DB基本上就扛不住了,如果在緩存里面加上這個,是不是就不存在了,你判斷沒這個數據就不去查了,直接return一個數據為空不就好了嘛。
這玩意這么好使那有啥缺點么?有的,我們接著往下看
Bloom Filter的缺點
bloom filter之所以能做到在時間和空間上的效率比較高,是因為犧牲了判斷的準確率、刪除的便利性
存在誤判,可能要查到的元素并沒有在容器中,但是hash之后得到的k個位置上值都是1。如果bloom filter中存儲的是黑名單,那么可以通過建立一個白名單來存儲可能會誤判的元素。
刪除困難。一個放入容器的元素映射到bit數組的k個位置上是1,刪除的時候不能簡單的直接置為0,可能會影響其他元素的判斷。可以采用Counting Bloom Filter
常見問題
1、為何要使用多個哈希函數?
Hash本身就會面臨沖突,如果只使用一個哈希函數,那么沖突的概率會比較高。例如長度100的數組,如果只使用一個哈希函數,添加一個元素后,添加第二個元素時沖突的概率為1%,添加第三個元素時沖突的概率為2%…但如果使用兩個哈希函數,添加一個元素后,添加第二個元素時沖突的概率降為萬分之4(四種可能的沖突情況,情況總數100x100)
go語言實現
package main import ( "fmt" "github.com/bits-and-blooms/bitset" ) //設置哈希數組默認大小為16 const DefaultSize = 16 //設置種子,保證不同哈希函數有不同的計算方式 var seeds = []uint{7, 11, 13, 31, 37, 61} //布隆過濾器結構,包括二進制數組和多個哈希函數 type BloomFilter struct { //使用第三方庫 set *bitset.BitSet //指定長度為6 hashFuncs [6]func(seed uint, value string) uint } //構造一個布隆過濾器,包括數組和哈希函數的初始化 func NewBloomFilter() *BloomFilter { bf := new(BloomFilter) bf.set = bitset.New(DefaultSize) for i := 0; i < len(bf.hashFuncs); i++ { bf.hashFuncs[i] = createHash() } return bf } //構造6個哈希函數,每個哈希函數有參數seed保證計算方式的不同 func createHash() func(seed uint, value string) uint { return func(seed uint, value string) uint { var result uint = 0 for i := 0; i < len(value); i++ { result = result*seed + uint(value[i]) } //length = 2^n 時,X % length = X & (length - 1) return result & (DefaultSize - 1) } } //添加元素 func (b *BloomFilter) add(value string) { for i, f := range b.hashFuncs { //將哈希函數計算結果對應的數組位置1 b.set.Set(f(seeds[i], value)) } } //判斷元素是否存在 func (b *BloomFilter) contains(value string) bool { //調用每個哈希函數,并且判斷數組對應位是否為1 //如果不為1,直接返回false,表明一定不存在 for i, f := range b.hashFuncs { //result = result && b.set.Test(f(seeds[i], value)) if !b.set.Test(f(seeds[i], value)) { return false } } return true } func main() { filter := NewBloomFilter() filter.add("asd") fmt.Println(filter.contains("asd")) fmt.Println(filter.contains("2222")) fmt.Println(filter.contains("155343")) }
輸出結果如下:
true
false
false
原文鏈接:https://blog.csdn.net/qq_53267860/article/details/127169993
相關推薦
- 2022-03-22 .NET?6開發TodoList應用之實現查詢排序_實用技巧
- 2022-10-04 混合棧跳轉導致Flutter頁面事件卡死問題解決_IOS
- 2023-06-21 Android應用啟動白屏處理方案詳解_Android
- 2022-03-24 c++中的bind使用方法_C 語言
- 2022-10-07 Golang標準庫unsafe源碼解讀_Golang
- 2022-11-14 Go語言Goroutinue和管道效率詳解_Golang
- 2023-03-02 C語言數據結構中約瑟夫環問題探究_C 語言
- 2023-04-17 Python魔術方法深入分析講解_python
- 最近更新
-
- window11 系統安裝 yarn
- 超詳細win安裝深度學習環境2025年最新版(
- Linux 中運行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎操作-- 運算符,流程控制 Flo
- 1. Int 和Integer 的區別,Jav
- spring @retryable不生效的一種
- Spring Security之認證信息的處理
- Spring Security之認證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權
- redisson分布式鎖中waittime的設
- maven:解決release錯誤:Artif
- restTemplate使用總結
- Spring Security之安全異常處理
- MybatisPlus優雅實現加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務發現-Nac
- Spring Security之基于HttpR
- Redis 底層數據結構-簡單動態字符串(SD
- arthas操作spring被代理目標對象命令
- Spring中的單例模式應用詳解
- 聊聊消息隊列,發送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠程分支