前因后果

之前我們的服務(wù)，在上線的時(shí)候發(fā)現(xiàn)有一些大Key的使用不是很規(guī)范，特別是沒有設(shè)置過期時(shí)間，因此導(dǎo)致redis中內(nèi)存的數(shù)據(jù)越來越多，目前Redis節(jié)點(diǎn)的內(nèi)存已經(jīng)快撐不住了。所以根據(jù)緩存鍵的規(guī)則去批量刪除這些數(shù)據(jù)，比較常見的就是按前綴去刪除。

現(xiàn)在由于不得以為的原因要?jiǎng)h除這幾百個(gè)Key-Value的數(shù)據(jù)，這個(gè)時(shí)候我們肯定就要把緩存鍵全部刪除掉。一般情況下在Redis中是可以很容易去實(shí)現(xiàn)的。但是如果在不阻塞業(yè)務(wù)的前提下，并且以高效的方式進(jìn)行清理內(nèi)存數(shù)據(jù)。就需要好好想想辦法了。

批量刪除redis數(shù)據(jù)方法

利用的是Linux的xargs命令

我們可以通過redis-cli的模式，進(jìn)行訪問之后登錄到了Redis-Server服務(wù)，由于是必須要使用Linux的xargs命令，所以必須要連帶指令在Linux環(huán)境，而不能提前通過redis-cli進(jìn)行登錄到redis-server服務(wù)。否則會(huì)報(bào)錯(cuò)說??xargs??無效。

redis-cli -h [ip] -p [port ] -a [password] keys "prefix*" | xargs redis-cli -h 127.0.0.1 -p 6379 -a '123' del

上面的指令主要由三部分連接組成：

• redis-cli -h [ip] -p [port ] -a [password]：主要需要用于登錄到redis-cli的只處理操作。
• keys "prefix*"：隨后主要是通過redis-cli的命令進(jìn)行 keys指令進(jìn)行匹配某前綴相關(guān)的數(shù)據(jù)集合。
• | xargs redis-cli -h [ip] -p [port ] -a [password] del：主要是通過管道符進(jìn)行連接，之后再進(jìn)行連接redis-server服務(wù)，之后進(jìn)行將之前的參數(shù)傳入到xargs之后，作為del的參數(shù)進(jìn)行執(zhí)行刪除操作。

xargs指令

xargs：是一條Unix和類Unix操作系統(tǒng)的常用命令；它的作用是將參數(shù)列表轉(zhuǎn)換成小塊分段傳遞給其他命令，以避免參數(shù)列表過長(zhǎng)的問題。可單獨(dú)使用，也可使用管道符、重定位符等與其他命令配合使用。

xargs [ -p ] [ -t] [ -e[ EOFString ] ] [ -EEOFString ] [ -i[ ReplaceString ] ] [ -IReplaceString ] [ -l [ Number ] ] [ -L Number ] [ -n Number [ -x ] ] [ -s Size ] [ Command [ Argument ... ] ]

命令格式

xargs：一般是和管道一起使用。

somecommand |xargs -item command

參數(shù)：

• -a file 從文件中讀入作為 stdin
• -e flag ，注意有的時(shí)候可能會(huì)是-E，flag必須是一個(gè)以空格分隔的標(biāo)志，當(dāng)xargs分析到含有flag這個(gè)標(biāo)志的時(shí)候就停止。
• -p 當(dāng)每次執(zhí)行一個(gè)argument的時(shí)候詢問一次用戶。
• -n num 后面加次數(shù)，表示命令在執(zhí)行的時(shí)候一次用的argument的個(gè)數(shù)，默認(rèn)是用所有的。
• -t 表示先打印命令，然后再執(zhí)行。
• -i 或者是-I，這得看linux支持了，將xargs的每項(xiàng)名稱，一般是一行一行賦值給 {}，可以用 {} 代替。
• -r no-run-if-empty 當(dāng)xargs的輸入為空的時(shí)候則停止xargs，不用再去執(zhí)行了。
• -s num 命令行的最大字符數(shù)，指的是 xargs 后面那個(gè)命令的最大命令行字符數(shù)。
• -L num 從標(biāo)準(zhǔn)輸入一次讀取 num 行送給 command 命令。
• -l 同 -L。
• -d delim 分隔符，默認(rèn)的xargs分隔符是回車，argument的分隔符是空格，這里修改的是xargs的分隔符。
• -x exit的意思，主要是配合-s使用。。
• -P 修改最大的進(jìn)程數(shù)，默認(rèn)是1，為0時(shí)候?yàn)閍s many as it can ，這個(gè)例子我沒有想到，應(yīng)該平時(shí)都用不到的吧。

使用Lua腳本刪除百萬/千萬級(jí)的key

如果以上xargs方法刪除不了的，或者執(zhí)行xargs命令報(bào)錯(cuò)的。那么可以使用lua腳本，redis有內(nèi)置的lua解釋器。在lua腳本中使用scan掃描key，并依次刪除，當(dāng)刪除數(shù)量達(dá)到1萬時(shí)，腳本直接返回，完成本次調(diào)用，如果刪除的key數(shù)量大于0，就循環(huán)調(diào)用腳本進(jìn)行刪除。

Warning: a NUL character occurred in the input. It cannot be passed through in the argument list. Did you mean to use the --null option?

Lua腳本是什么？

Lua是一種輕量小巧的腳本語言，用標(biāo)準(zhǔn)C語言編寫并以源代碼形式開放， 其設(shè)計(jì)目的是為了嵌入應(yīng)用程序中，從而為應(yīng)用程序提供靈活的擴(kuò)展和定制功能。其設(shè)計(jì)目的是為了嵌入應(yīng)用程序中，從而為應(yīng)用程序提供靈活的擴(kuò)展和定制功能。

Lua腳本的指令格式

有興趣的小伙伴，可以參考：???http://redis.cn/commands/eval.html??

EVAL script numkeys key [key …] arg [arg …]

• script:待執(zhí)行的腳本文件
• numkeys:key的個(gè)數(shù)

Lua腳本執(zhí)行參數(shù)

• ??[key …]??:對(duì)應(yīng)的key，可以是一個(gè)，可以是多個(gè)
• ??[arg …]??:與key對(duì)應(yīng)的值，可以是一個(gè)，可以是多個(gè)

Lua獲取傳參數(shù)據(jù)

Lua的下表索引是從1開始的，key的獲取方式，KEYS[下標(biāo)索引]，如KEYS[1],取第一個(gè)值，值的獲取，ARGV[1]

示例

eval “return {KEYS[1],KEYS[2],ARGV[1],ARGV[2]}” 2 key1 key2 first second

Lua腳本的案例（keys）

• 獲取傳入的需要批量刪除的key的前綴
• 記住 lua的下標(biāo)索引是從1開始 不是0 不是0 不是0

local key = KEYS[1]
if( key ~= nil) then
--這里通過keys查詢出所有符合條件的數(shù)據(jù)
local dataList = redis.call('keys',KEYS[1])
--判斷是否找到數(shù)據(jù)
if(dataList ~= nil) then
--循環(huán)刪除
for i=1,#dataList,1 do
redis.call('del',dataList[i])
end
--返回刪除的行數(shù)
return #dataList
else
return 0
end
else
return 0
end

推薦使用scan獲取數(shù)據(jù)刪除，我們知道redis是一個(gè)單線程的，當(dāng)我們庫(kù)里面存在大量數(shù)據(jù)的時(shí)候，使用keys * 的方式匹配數(shù)據(jù)的時(shí)候，可能需要好幾秒才能處理完，那么在這個(gè)幾秒的時(shí)間里是處于線程阻塞的，其他所有的redis操作都是處于等待狀態(tài)，這樣對(duì)系統(tǒng)的可用性是有影響的，因此，這里使用scan的方式匹配數(shù)據(jù)。

scan介紹

SCAN cursor [MATCH pattern] [COUNT count]

SCAN 命令是一個(gè)基于游標(biāo)的迭代器（cursor based iterator）： SCAN 命令每次被調(diào)用之后， 都會(huì)向用戶返回一個(gè)新的游標(biāo)， 用戶在下次迭代時(shí)需要使用這個(gè)新游標(biāo)作為 SCAN 命
令的游標(biāo)參數(shù)， 以此來延續(xù)之前的迭代過程。

Lua腳本的案例（scan）

local limitSize = tonumber(ARGV[1]) -- 最多刪除多少個(gè)key
local batchSize = limitSize -- scan一次最多掃描多少個(gè)key
if (batchSize > 10000) then -- 一次掃描不能超過1w條
batchSize = 10000
end
local function scan(key)
local cursor = 0
local keynum = 0
repeat
local res = redis.call("scan", cursor, "match", key, 'COUNT', batchSize)
if (res ~= nil and #res >= 0) then
redis.replicate_commands()
cursor = tonumber(res[1])
local ks = res[2]
local size = #ks
for i=1,size,1 do
redis.call("del", tostring(ks[i]))
keynum = keynum + 1
if (keynum >= limitSize) then -- 已經(jīng)刪除了指定數(shù)量的key, 返回
return keynum
end
end
end
until (cursor <= 0)
return keynum
end
local total = scan(KEYS[1])
return total

當(dāng) SCAN 命令的游標(biāo)參數(shù)被設(shè)置為 0 時(shí)， 服務(wù)器將開始一次新的迭代， 而當(dāng)服務(wù)器向用戶返回值為 0 的游標(biāo)時(shí)， 表示迭代已結(jié)束。

通俗點(diǎn)理解就是，基于游標(biāo)的迭代器redis會(huì)慢慢一次次的將數(shù)據(jù)返回回來，從而防止線程阻塞。

此外還有一個(gè)小貼士就是可以使用UNLINK刪除，區(qū)別于del的是這個(gè)是異步執(zhí)行的，這條指令要版本大于4.0.0 小于4.0.0就使用del

redis.call("UNLINK",key)