前言

redis集群化部署主要用于大型緩存架構.一般的小型架構，使用redis主從配置就行.

使用redis集群可以方便快捷地對集群進行動態擴容，動態的添加、刪除節點，reshard、并帶有自動故障恢復功能。

一般redis集群使用3主3從，并且盡量保證主服務器與從服務器不在同一臺機器上，防止機器故障導致的集群癱瘓，每個主 服務器搭配一個從服務器，保證集群的高可用性。

集群規劃

三臺服務器各部署一個主節點、一個從節點，同一臺服務器上不是直接主從關系。

服務器	角色	ip:端口
node1	master1/slave2	192.168.146.199:7000/192.168.146.199:7001
node2	master2/slave3	192.168.146.200:7000/192.168.146.200:7001
node3	master3/slave1	192.168.146.201:7000/192.168.146.201:7001

軟件版本：

• OS：CentOS7.5

• Redis：redis-6.2.6

服務器環境設置

設置主機名：

# vi /etc/hosts
192.168.146.199 node1
192.168.146.200 node2
192.168.146.201 node3

時區調整，時間校準：

# date -R
# timedatectl set-timezone Asia/Shanghai
# yum -y install ntp
# ntpdate ntp1.aliyun.com

關閉selinux：

# vi /etc/sysconfig/selinux
SELINUX=disabled

重啟服務器并驗證：

# getenforce
Disabled

關閉防火墻：

# service iptables stop
# chkconfig iptables off

內核設置：

1、 先執行：chmod +x /etc/rc.d/rc.local
2、 將 vm.overcommit_memory = 1 添加到/etc/sysctl.conf中，然后重啟服務器或運行命令sysctl vm.overcommit_memory = 1使其立即生效。
3、 確保禁用Linux內核功能透明的大頁面，它將以負面的方式極大地影響內存使用和延遲。這可以通過以下命令完成：
　　 1. 先直接執行（臨時生效）：
　　　　echo never>/sys/kernel/mm/transparent_hugepage/enabled
　　 2.  再執行以下命令（永久生效）：
　　　　vim /etc/rc.local
　　　　追加：echo never>/sys/kernel/mm/transparent_hugepage/enabled
4、 解決問題：【TCP  backlog設置值，511沒有成功，因為 /proc/sys/net/core/somaxconn這個設置的是更小的128】
　　 1. 先直接執行（臨時生效）：
　　　　echo 1024>/proc/sys/net/core/somaxconn
　　 2. 再執行以下命令（永久生效）：
　　　　vim /etc/rc.local
　　　　追加：echo 1024>/proc/sys/net/core/somaxconn
5、 重啟服務器。

Redis安裝

源碼下載鏈接: https://download.redis.io/releases/redis-6.2.6.tar.gz

分別在3臺服務器進行如下操作

1、gcc版本問題避免

Redis是C語言開發的。安裝redis需要C語言的編譯 環境。

安裝redis6最主要的一點是要用GCC5以上，而 CentOS6.9的GCC版本為4.8.x, 所以安裝之前必須升級GCC（使用命令gcc --version查看版本）。

# yum -y install gcc tcl
# yum -y install centos-release-scl
# yum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils

查看gcc版本：

# gcc -v

scl只是臨時啟用，退出shell后會恢復原系統gcc版本：
# scl enable devtoolset-9 bash

如下命令表示永久啟用：
# echo "source /opt/rh/devtoolset-9/enable" >> /etc/profile

查看gcc版本：
# gcc -v

2、下載安裝

cd /opt
wget http://download.redis.io/releases/redis-6.2.6.tar.gz
tar -xvf redis-6.2.6.tar.gz
cd redis-6.2.6
make MALLOC=libc
make install PREFIX=/usr/local/redis

查看/opt/redis_cluster/bin，如看見redis具工表示redis已安裝成功：

3、Redis配置

建立安裝Redis時會用到的文件夾：

mkdir -p /opt/redis_cluster/run
mkdir -p /opt/redis_cluster/log
mkdir -p /opt/redis_cluster/data/7000
mkdir -p /opt/redis_cluster/conf

設置redis配置文件：

cp /opt/redis-6.2.6/redis.conf /opt/redis_cluster/conf/redis_7000.conf
vi /opt/redis_cluster/conf/redis_7000.conf

打開redis_7000.conf文件，修改成以下內容：

#添加本機的ip
bind 0.0.0.0
#端口
port 7000

#守護進程
daemonize yes

#pid存儲目錄
pidfile /opt/redis_cluster/run/redis_7000.pid
#日志存儲目錄
logfile /opt/redis_cluster/log/redis_7000.log
#數據存儲目錄，目錄要提前創建好
dir /opt/redis_cluster/data/7000

#開啟集群
cluster-enabled yes
#集群節點的超時時間，單位：ms，超時后集群會認為該節點失敗
cluster-node-timeout 15000
#集群節點配置文件，這個文件是不能手動編輯的。確保每一個集群節點的配置文件不同
cluster-config-file nodes_7000.conf

#->@wjw_note: 一下是根據實際情況來填寫
# Close the connection after a client is idle for N seconds (0 to disable)
timeout 0
loglevel warning
databases 16
# 設置Redis占用內存的大小
#maxmemory 4gb

# 如果內存滿了就需要按照如相應算法進行刪除過期的/最老的
# volatile-lru (Redis3.0之前,默認的內存淘汰策略): 淘汰所有設置了過期時間的鍵值中，最久未使用的鍵值
# volatile-lfu (Redis4.0后新增的內存淘汰策略): 淘汰所有設置了過期時間的鍵值中，最少使用的鍵值
# allkeys-lru  淘汰整個鍵值中最久未使用的鍵值(包含那些未設置過期時間的key)
# allkeys-lfu (Redis4.0后新增的內存淘汰策略): 淘汰整個鍵值中最少使用的鍵值
# volatile-random/allkeys-random 隨機淘汰設置了過期時間的任意鍵值/隨機淘汰任意鍵值
# volatile-ttl 根據Time-To-Live移除即將過期的key
# noeviction   永不過期,而是報錯
maxmemory-policy volatile-lru

# Redis并不是真正的LRU/TTL,而是基于采樣進行移除的,即如采樣10個數據移除其中最老的/即將過期的
maxmemory-samples 10

# AOF持久化
appendonly yes
#save后給空字符串，表示禁用RDB持久化策略
save ""
appendfilename appendonly.aof
# 持久化策略,默認每秒fsync一次,也可以選擇always即每次操作都進行持久化,或者no表示不進行持久化而是借助操作系統的同步將緩存區數據寫到磁盤
appendfsync everysec

# AOF重寫策略(同時滿足如下兩個策略進行重寫)
# 當AOF文件大小占到初始文件大小的多少百分比時進行重寫
auto-aof-rewrite-percentage 100
# 觸發重寫的最小文件大小
auto-aof-rewrite-min-size 1gb

# 為減少磁盤操作,暫緩重寫階段的磁盤同步
no-appendfsync-on-rewrite yes

# 慢查
# 下面的時間單位是微秒,所以1000000就是1秒.注意,負數時間會禁用慢查詢日志,而0則會強制記錄所有命令.
slowlog-log-slower-than 10000
# 這個長度沒有限制.只要有足夠的內存就行.你可以通過 SLOWLOG RESET 來釋放內存.(注:慢查日志是在內存里)
slowlog-max-len 128
#<-@wjw_note: 一下是根據實際情況來填寫

4、建立不同端口實例

由于我們的機器有限，我們將采用一臺機器多個端口的方式搭建 我們的Redis集群。

復制配置文件：

cp /opt/redis_cluster/conf/redis_7000.conf /opt/redis_cluster/conf/redis_7001.conf
mkdir -p /opt/redis_cluster/data/7001
vi /opt/redis_cluster/conf/redis_7001.conf

打開redis_7001.conf文件，修改以下內容：

#添加本機的ip
bind 0.0.0.0
#端口
port 7001

#守護進程
daemonize yes

#pid存儲目錄
pidfile /opt/redis_cluster/run/redis_7001.pid
#日志存儲目錄
logfile /opt/redis_cluster/log/redis_7001.log
#數據存儲目錄，目錄要提前創建好
dir /opt/redis_cluster/data/7001

#開啟集群
cluster-enabled yes
#集群節點的超時時間，單位：ms，超時后集群會認為該節點失敗
cluster-node-timeout 15000
#集群節點配置文件，這個文件是不能手動編輯的。確保每一個集群節點的配置文件不同
cluster-config-file nodes_7001.conf

#->@wjw_note: 一下是根據實際情況來填寫
# Close the connection after a client is idle for N seconds (0 to disable)
timeout 0
loglevel warning
databases 16
# 設置Redis占用內存的大小
#maxmemory 4gb

# 如果內存滿了就需要按照如相應算法進行刪除過期的/最老的
# volatile-lru (Redis3.0之前,默認的內存淘汰策略): 淘汰所有設置了過期時間的鍵值中，最久未使用的鍵值
# volatile-lfu (Redis4.0后新增的內存淘汰策略): 淘汰所有設置了過期時間的鍵值中，最少使用的鍵值
# allkeys-lru  淘汰整個鍵值中最久未使用的鍵值(包含那些未設置過期時間的key)
# allkeys-lfu (Redis4.0后新增的內存淘汰策略): 淘汰整個鍵值中最少使用的鍵值
# volatile-random/allkeys-random 隨機淘汰設置了過期時間的任意鍵值/隨機淘汰任意鍵值
# volatile-ttl 根據Time-To-Live移除即將過期的key
# noeviction   永不過期,而是報錯
maxmemory-policy volatile-lru

# Redis并不是真正的LRU/TTL,而是基于采樣進行移除的,即如采樣10個數據移除其中最老的/即將過期的
maxmemory-samples 10

# AOF持久化
appendonly yes
#save后給空字符串，表示禁用RDB持久化策略
save ""
appendfilename appendonly.aof
# 持久化策略,默認每秒fsync一次,也可以選擇always即每次操作都進行持久化,或者no表示不進行持久化而是借助操作系統的同步將緩存區數據寫到磁盤
appendfsync everysec

# AOF重寫策略(同時滿足如下兩個策略進行重寫)
# 當AOF文件大小占到初始文件大小的多少百分比時進行重寫
auto-aof-rewrite-percentage 100
# 觸發重寫的最小文件大小
auto-aof-rewrite-min-size 1gb

# 為減少磁盤操作,暫緩重寫階段的磁盤同步
no-appendfsync-on-rewrite yes

# 慢查
# 下面的時間單位是微秒,所以1000000就是1秒.注意,負數時間會禁用慢查詢日志,而0則會強制記錄所有命令.
slowlog-log-slower-than 10000
# 這個長度沒有限制.只要有足夠的內存就行.你可以通過 SLOWLOG RESET 來釋放內存.(注:慢查日志是在內存里)
slowlog-max-len 128
#<-@wjw_note: 一下是根據實際情況來填寫

如果要復制多個端口，按上面的步驟重復操作， 修改端口號即可。

5、制作啟動配置文件

# cd /opt/redis_cluster/bin

創建啟動腳本：vi cluster_start.sh

#!/bin/bash

basedir=`dirname $0`
echo "Redis BASE DIR:$basedir"
cd $basedir

./redis-server ../conf/redis_7000.conf
./redis-server ../conf/redis_7001.conf

添加執行權限: chmod +x cluster_start.sh

創建關閉腳本：vi cluster_shutdown.sh

#!/bin/bash

pgrep redis-server | xargs -exec kill -9

添加執行權限: chmod +x cluster_shutdown.sh

6、啟動&關閉 Redis：

啟動redis：

# ./cluster_start.sh
# ps -ef|grep redis
root      26731      1  0 01:23 ?        00:00:00 redis-server 192.168.146.199:7000 [cluster]
root      26736      1  0 01:23 ?        00:00:00 redis-server 192.168.146.199:7001 
root      26741   8648  0 01:23 pts/0    00:00:00 grep --color=auto redis

關閉redis：

# ./cluster_shutdown.sh

Redis集群

建立集群前需先啟動各個節點的redis服務，并在其中一個redis服務器中執行以下指令建立集群。

1、創建集群

在redis3.0和4.0版本中，創建集群還是使用 redis-trib.rb方式去創建，但是在5.0之后，可以直接使用redis-cli直接創建集群，本文 redis版本為6.0，所以創建集群的方式為redis-cli方式直接創建。

用以下命令創建集群，--cluster-replicas 1 參數表示希望每個主服務器都有一個從服務器，這里則代表3主3從，前3個代表3個master，后3個代表3個slave。

輸入:

./redis-cli --cluster create 192.168.146.199:7000 192.168.146.200:7000 192.168.146.201:7000 192.168.146.200:7001 192.168.146.201:7001 192.168.146.199:7001 --cluster-replicas 1

?重要: 為了保證高可用（在任意一臺服務器掛了的情況下都不影響redis集群的使用）所以主備節點 不可以在同一臺服務器上（如果主備節點在同一臺服務器上則備節點也沒有太大的意義了）。所以要錯開對應。

通過該方式創建的帶有從節點的機器不能夠自己手動指定主節點，redis集群會盡量把主從服務器分配在不同機 器上。

輸出如下:

>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 192.168.146.200:6380 to 192.168.146.199:7000
Adding replica 192.168.146.201:6380 to 192.168.146.200:7000
Adding replica 192.168.146.199:6380 to 192.168.146.201:7000
M: 7a0af6d896222c60b582c8ecb16d1369a5ef33b4 192.168.146.199:7000
   slots:[0-5460] (5461 slots) master
M: 825e26272e82f4900f2b99bb05cc8efa87f2c238 192.168.146.200:7000
   slots:[5461-10922] (5462 slots) master
M: e52b4a755ab35381931ba89cf0399ac2657c0d93 192.168.146.201:7000
   slots:[10923-16383] (5461 slots) master
S: caed0e5b336cb31d6d6b29874170075a21e6923b 192.168.146.199:7001
   replicates e52b4a755ab35381931ba89cf0399ac2657c0d93
S: c155299d628e705565915cec624faf67946556a5 192.168.146.200:7001
   replicates 7a0af6d896222c60b582c8ecb16d1369a5ef33b4
S: d9bca2b5cabb426aa2e296e6696e60e35ef4bebe 192.168.146.201:7001
   replicates 825e26272e82f4900f2b99bb05cc8efa87f2c238
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
.
>>> Performing Cluster Check (using node 192.168.146.199:7000)
M: 7a0af6d896222c60b582c8ecb16d1369a5ef33b4 192.168.146.199:7000
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: c155299d628e705565915cec624faf67946556a5 192.168.146.200:7000
   slots: (0 slots) slave
   replicates 7a0af6d896222c60b582c8ecb16d1369a5ef33b4
M: 825e26272e82f4900f2b99bb05cc8efa87f2c238 192.168.146.200:7000
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
S: d9bca2b5cabb426aa2e296e6696e60e35ef4bebe 192.168.146.201:7000
   slots: (0 slots) slave
   replicates 825e26272e82f4900f2b99bb05cc8efa87f2c238
M: e52b4a755ab35381931ba89cf0399ac2657c0d93 192.168.146.201:7000
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
S: caed0e5b336cb31d6d6b29874170075a21e6923b 192.168.146.199:7001
   slots: (0 slots) slave
   replicates e52b4a755ab35381931ba89cf0399ac2657c0d93
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

??注意: 注意看M和S，對照下集群角色表

2、查看集群狀態

輸入: ./redis-cli -c -h 192.168.146.199 -p 7000 cluster info

輸出:

cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_ping_sent:482
cluster_stats_messages_pong_sent:488
cluster_stats_messages_sent:970
cluster_stats_messages_ping_received:483
cluster_stats_messages_pong_received:482
cluster_stats_messages_meet_received:5
cluster_stats_messages_received:970

3、查看集群節點

輸入: ./redis-cli -c -h 192.168.146.199 -p 7000 cluster nodes

輸出:

7a0af6d896222c60b582c8ecb16d1369a5ef33b4 192.168.146.199:7000@17000 myself,master - 0 1600191841000 1 connected 0-5460
c155299d628e705565915cec624faf67946556a5 192.168.146.200:7001@17001 slave 7a0af6d896222c60b582c8ecb16d1369a5ef33b4 0 1600191840159 1 connected
825e26272e82f4900f2b99bb05cc8efa87f2c238 192.168.146.200:7000@17000 master - 0 1600191842184 2 connected 5461-10922
d9bca2b5cabb426aa2e296e6696e60e35ef4bebe 192.168.146.201:7001@17001 slave 825e26272e82f4900f2b99bb05cc8efa87f2c238 0 1600191843194 2 connected
e52b4a755ab35381931ba89cf0399ac2657c0d93 192.168.146.201:7000@17000 master - 0 1600191842000 3 connected 10923-16383
caed0e5b336cb31d6d6b29874170075a21e6923b 192.168.146.199:7001@17001 slave e52b4a755ab35381931ba89cf0399ac2657c0d93 0 1600191844207 3 connected

測試用例

# ./redis-cli -c -h 192.168.146.199 -p 7000
192.168.146.199:7000> set name node1
-> Redirected to slot [5798] located at 192.168.146.200:7000
OK

# ./redis-cli -c -h 192.168.146.200 -p 7000
192.168.146.200:7000> get name
"node1"

# ./redis-cli -c -h 192.168.146.201 -p 7000
192.168.146.201:7000> get name
-> Redirected to slot [5798] located at 192.168.146.200:7000
"node1"
192.168.146.201:7000> del name
-> Redirected to slot [5798] located at 192.168.146.200:7000
(integer) 1
192.168.146.201:7000> get name
-> Redirected to slot [5798] located at 192.168.146.200:7000
(nil)