網站首頁 編程語言 正文
1、BitMap是什么
通過一個bit位來表示某個元素對應的值或者狀態,其中的key就是對應元素本身。我們知道8個bit可以組成一個Byte,所以bitmap本身會極大的節省儲存空間。2^32次方40億數據只需要500M內存,需要內存少了8倍
2、setbit命令介紹?
setbit key offset value #設置bitmapkey為20220328 uid為100的用戶已簽到1 setbit 20220320 100 1 setbit 20220320 200 1 setbit 20220321 100 1 setbit 20220321 300 1 getbit 20220320 100 #返回1,說明這個用戶已簽到了 bitcount 20220320 #獲取bitmap數量
bitmap的坑
127.0.0.1:6400> setbit bittest 100 1 #設置不存在的offset返回0 (integer) 0 127.0.0.1:6400> setbit bittest 100 1 #設置已存在的offset返回1 (integer) 1
setbit maxKey 4000000000 1 #直接弄了你600多M內存
/** * 布隆過濾器bloom Filter * 1.百萬分之一的概率哈希沖突,所以有存在的不一定存在,但是不存在的百分百不存在 * 2.不能刪除,刪除的時候不能簡單的直接置為0,可能會影響其他元素的判斷,其實問題不大一般生產數據也不會刪除的,都是軟刪除 * 3.新增數據時候寫入bloom Filter * 4.2^32次方40億數據內存占用才600M,超級省內存,查找速度非常快,160M內存可以在千萬級數據做到1%的誤判 * 5.bitmap根據offset去申請內存的,所以要省內存的情況要限制offset值 */ public function bloomAction(){ $t1 = time(); for($i=0;$i<99;$i++){ $bl = new BloomFilter(); //$str = "1https://arnaud.le-blanc.net/php-rdkafka-doc/phpdoc/book.rdkafka.html?id=".time(); $str = "https://dasda.le-blanc.net/php-rdkafka-doc/phpdoc/book.rdkafka.html?id=".mt_rand(1,99999999); p($str); $res1 = $bl->JSHash($str);//兩次哈希3s,md5哈希重復的概率是百萬分之一 p($res1); } //p($res); $t2 = time(); echo $t2-$t1; } /** * 布隆過濾器初始化 bloom Filter 執行 php index.php "index/demo/loadDb2bloom" */ public function isExistBloomAction(){ $redis = redisCursor(); $email = input("email","","trim"); $tel = input("tel",""); $result = false; $msg = ""; if(filter_var($email,FILTER_VALIDATE_EMAIL)){ $key1 = "bloom_user_email"; $offset = BloomFilter::JSHash($email); $result = $redis->getbit($key1,$offset); $msg = $email; }elseif($tel){ $key2 = "bloom_user_telephone"; $offset = BloomFilter::JSHash($tel); $result = $redis->getbit($key2,$offset); $msg = $tel; } $result?apiSuccess($msg.",已存在"):apiError($msg.",不存在"); } /** * 布隆過濾器初始化 bloom Filter 執行 php index.php "index/demo/loadDb2bloom" */ public function loadDb2bloomAction(){ $time1 = time(); $redis = redisCursor(); $key1 = "bloom_user_email"; $key2 = "bloom_user_telephone"; //setbit() offset 必須是數字,value必須是1或0 //$redis->setbit($key,30,1); $table = "user"; $pkid = "id"; $field1 = "email"; $field2 = "telephone"; $maxid = Db::name($table)->max($pkid); $size = 5000; $page = ceil($maxid/$size); for($i=0;$i<$page;$i++){ $start = $i*$size; $where = " $pkid between ".$start." and ".($start+$size); $res = Db::name($table)->where($where)->field("$field1,$field2")->select(); if($res){//同步到bitmap foreach($res as $k=>$v){ //布隆過濾器 1.存在的不一定存在, 2.不存在的100%不存在(原因,哈希沖突可能用100W分之一的可能重復) //所以注冊的時候判斷不存在的,百分百可以注冊,存在的可以查詢一下數據庫是否真的不存在 $value1 = BloomFilter::JSHash($v["$field1"]); $value2 = BloomFilter::JSHash($v["$field2"]); $redis->setbit($key1,$value1,1);//email去重 $redis->setbit($key2,$value2,1);//mobile去重 } } $time2 = time(); echo $where." 消耗時間 ".($time2-$time1).PHP_EOL; } $time3 = time(); echo " 總消耗時間 ".($time3-$time1).PHP_EOL; }
> 2)); } $hashNum = ($hash % 0xFFFFFFFF) & 0xFFFFFFFF; //為了節省內存,超過10億就對半拆,10億,這時候大約是130M內存占用,千萬級數據可以做到1%誤判率,內存足夠可以不用判斷,直接生成就行了 //如果數據過4000W的話不用限制了,因為生成的數據最大也是2^32次方40多億,此時內存占用大概在600M封頂了 if($limitMemory){ if($hashNum>4000000000){ $hashNum = intval($hashNum/5); }elseif($hashNum>3000000000){ $hashNum = intval($hashNum/4); }elseif($hashNum>2000000000){ $hashNum = intval($hashNum/3); } } return $hashNum; } }
總結
原文鏈接:https://blog.csdn.net/qq_27517377/article/details/123618022
相關推薦
- 2022-06-13 jupyter?notebook內核啟動失敗問題及解決方法_python
- 2022-04-18 Python的類成員變量默認初始值的坑及解決_python
- 2022-09-24 python實現字母閃爍效果的示例代碼_python
- 2022-09-01 C語言中的程序環境與預處理詳情_C 語言
- 2022-01-16 Jquery+Css+Html實現返選、批量刪除、高亮顯示功能
- 2023-07-04 maven打包所有依賴,對外提供sdk.jar
- 2023-02-05 C++解決業務辦理時間問題示例解析_C 語言
- 2022-12-29 C#使用Lambda表達式簡化代碼的示例詳解_C#教程
- 最近更新
-
- window11 系統安裝 yarn
- 超詳細win安裝深度學習環境2025年最新版(
- Linux 中運行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎操作-- 運算符,流程控制 Flo
- 1. Int 和Integer 的區別,Jav
- spring @retryable不生效的一種
- Spring Security之認證信息的處理
- Spring Security之認證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權
- redisson分布式鎖中waittime的設
- maven:解決release錯誤:Artif
- restTemplate使用總結
- Spring Security之安全異常處理
- MybatisPlus優雅實現加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務發現-Nac
- Spring Security之基于HttpR
- Redis 底層數據結構-簡單動態字符串(SD
- arthas操作spring被代理目標對象命令
- Spring中的單例模式應用詳解
- 聊聊消息隊列,發送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠程分支