Redis for OPS 06：Redis Cluster 集群

写在前面的话

前面的主从，HA 都只是解决我们数据安全性方面的问题，并没有解决我们业务瓶颈的问题。当业务并发到达一定瓶颈的时候，我们需要对服务进行横向扩展，而不是纵向扩展。这就需要引入另外一个东西，Redis Cluster。

关于 Redis Cluster

为什么 Redis 集群能提升性能：

1. Redis 能够提供 16384 个槽位用于存储数据，在主从或者单节点架构中，这些槽位只能分布在一个节点上，Cluster 能够对这个槽位进行分片。

2. 存数据时，会将 KEY 做 CRC16 加密，然后与 16384 取模，这样得到值就在 0 - 16383 之间，然后将 KEY 放入响应的槽位。

3. 客户端连接节点如果不是想访问的槽位节点，集群会将客户端连接到想访问的节点进行数据处理。

集群规划：

这里采用交叉构建主从的方式，其目的在于即使某台机器挂掉，至少那个切片节点还有其它服务器可以提供访问。

当然，该结构如果挂了两台服务器就另说，那就需要 6 台或者更多继续扩展，这里只是提供一个方案。

搭建 Redis Cluster

安装 Redis Cluster 官方提供了相关的脚本，但是需要 ruby 环境：

网上大多文档使用 epel 源安装的 Ruby 在 CentOS 中都是 2.0 版本，而安装 Redis 插件需要 2.2+ 版本。需要使用其它方法：

# 下载安装rvm
curl -L get.rvm.io | bash -s stable
source /usr/local/rvm/scripts/rvm

# 查看可供安装的版本
rvm list known

# 安装ruby 2.3
rvm install 2.3

# 查看版本
ruby --version

# 安装Redis插件
gem install redis -v 3.3.3

注意，这里不能安装 4 版本，会有 BUG！！！！

在执行 curl 的时候可能报错，只需要执行报错中的命令，再执行 curl 即可：

如果本机已经安装了其它 ruby 版本，如 2.0，可以卸载：

rvm remove 2.0

1. 在三台机器都执行以下命令，搭建6个redis节点：

mkdir -p /data/{backup,data,logs,packages,services}
cd /data/packages

# 上传包

tar -zxf redis-4.0.14.tar.gz
cd redis-4.0.14/
make
make PREFIX=/data/services/redis/master-17000 install
make PREFIX=/data/services/redis/slave-18000 install
cd /data/services/redis/master-17000
mkdir data logs conf
cd /data/services/redis/slave-18000
mkdir data logs conf

2. 配置 master 配置文件：

cat > /data/services/redis/master-17000/conf/redis-17000.conf << EOF
#################################################################################################
# Redis 配置文件
#################################################################################################

#################################################################################################
# 基础配置
#################################################################################################
protected-mode yes
bind 0.0.0.0
port 17000
tcp-backlog 2048
timeout 0
tcp-keepalive 300
daemonize yes
supervised no
pidfile /data/services/redis/master-17000/logs/redis-17000.pid
loglevel notice
logfile "/data/services/redis/master-17000/logs/redis-17000.log"
databases 16
always-show-logo yes
# requirepass helloworld

#################################################################################################
# RDB持久化配置
#################################################################################################
dbfilename dump-17000.rdb
dir "/data/services/redis/master-17000/data"
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes

#################################################################################################
# AOF持久化配置
#################################################################################################
appendonly yes
appendfilename "appendonly-17000.aof"
appendfsync everysec
no-appendfsync-on-rewrite yes
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
aof-use-rdb-preamble no

#################################################################################################
# 主从配置
#################################################################################################
# slaveof <masterip> <masterport>
# masterauth helloworld
slave-serve-stale-data yes
slave-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
repl-ping-slave-period 10
repl-timeout 60
repl-disable-tcp-nodelay no
repl-backlog-size 1mb
repl-backlog-ttl 3600
slave-priority 100
min-slaves-to-write 1
min-slaves-max-lag 10

#################################################################################################
# 集群配置
#################################################################################################
# 集群开关
cluster-enabled yes
# 集群配置文件名称，每个集群都有一个集群配置相关文件用于持久化保存集群信息。Redis 自动生成
cluster-config-file /data/services/redis/master-17000/conf/nodes.conf
# 节点连接超时毫秒数
cluster-node-timeout 5000
# 判断slave是否和master断开连接过长而导致数据过旧，这种节点旧不会倍选为主
# cluster-slave-validity-factor 10
# slave数量大于该值，slave才能迁移到其它孤立的master
# cluster-migration-barrier 1
# 默认所有节点的切片都正常集权状态才是OK
# cluster-require-full-coverage yes
# cluster-slave-no-failover no
EOF

3. 配置 slave 配置文件：

cat > /data/services/redis/slave-18000/conf/redis-18000.conf << EOF
#################################################################################################
# Redis 配置文件
#################################################################################################

#################################################################################################
# 基础配置
#################################################################################################
protected-mode yes
bind 0.0.0.0
port 18000
tcp-backlog 2048
timeout 0
tcp-keepalive 300
daemonize yes
supervised no
pidfile /data/services/redis/slave-18000/logs/redis-18000.pid
loglevel notice
logfile "/data/services/redis/slave-18000/logs/redis-18000.log"
databases 16
always-show-logo yes
# requirepass helloworld

#################################################################################################
# RDB持久化配置
#################################################################################################
dbfilename dump-18000.rdb
dir "/data/services/redis/slave-18000/data"
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes

#################################################################################################
# AOF持久化配置
#################################################################################################
appendonly yes
appendfilename "appendonly-18000.aof"
appendfsync everysec
no-appendfsync-on-rewrite yes
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
aof-use-rdb-preamble no

#################################################################################################
# 主从配置
#################################################################################################
# slaveof <masterip> <masterport>
# masterauth helloworld
slave-serve-stale-data yes
slave-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
repl-ping-slave-period 10
repl-timeout 60
repl-disable-tcp-nodelay no
repl-backlog-size 1mb
repl-backlog-ttl 3600
slave-priority 100
min-slaves-to-write 1
min-slaves-max-lag 10

#################################################################################################
# 集群配置
#################################################################################################
# 集群开关
cluster-enabled yes
# 集群配置文件名称，每个集群都有一个集群配置相关文件用于持久化保存集群信息。Redis 自动生成
cluster-config-file /data/services/redis/slave-18000/conf/nodes.conf
# 节点连接超时毫秒数
cluster-node-timeout 5000
# 判断slave是否和master断开连接过长而导致数据过旧，这种节点旧不会倍选为主
# cluster-slave-validity-factor 10
# slave数量大于该值，slave才能迁移到其它孤立的master
# cluster-migration-barrier 1
# 默认所有节点的切片都正常集权状态才是OK
# cluster-require-full-coverage yes
# cluster-slave-no-failover no
EOF

4. 启动所有节点：

/data/services/redis/master-17000/bin/redis-server /data/services/redis/master-17000/conf/redis-17000.conf
/data/services/redis/slave-18000/bin/redis-server /data/services/redis/slave-18000/conf/redis-18000.conf 

进程如下：

5. 构建集群，在 redis 的解压包中有脚本：

/data/packages/redis-4.0.14/src/redis-trib.rb create --replicas 1 192.168.200.101:17000 192.168.200.102:17000 192.168.200.103:17000 192.168.200.102:18000 192.168.200.103:18000 192.168.200.101:18000

后面节点的顺序直接影响着主从关系。

6. 查看集群状态：

# 查看master
/data/services/redis/master-17000/bin/redis-cli -p 17000 cluster nodes | grep master

# 查看slave
/data/services/redis/master-17000/bin/redis-cli -p 17000 cluster nodes | grep slave

结果如下：

可以看到 0 - 16383 的内存槽位倍均分成了3个。

7. 模拟故障，假如节点 1 的master 挂了：

# 查看master
/data/services/redis/master-17000/bin/redis-cli -p 18000 cluster nodes | grep master

# 查看slave
/data/services/redis/master-17000/bin/redis-cli -p 18000 cluster nodes | grep slave

结果如图：

可以看到从顶了上去。此时恢复 17000 主节点：

可以看到启动了变成了 slave，如果我们希望恢复成主，只需要停掉对应的18000 主节点（也就是102的18000）让他切换过去，再启动即可。

8. 数据测试：

此时在 102:17000 设置一个 key：

然后去 101:17000 读取：

会提示让我们切换节点。

增加节点

随着业务的扩展，可能三个节点慢慢的无法满足我们的需求，所以需要新加入节点。此时我们以新加一个主从节点为例。

1. 运行 17000 / 18000 方法和上面的一样，并搭建ruby环境。

2. 使用之前的集群构建脚本添加节点：

/data/packages/redis-4.0.14/src/redis-trib.rb add-node 192.168.200.104:17000 192.168.200.101:17000

结果如图：

此时查看 master 节点：

/data/services/redis/master-17000/bin/redis-cli -p 17000 cluster nodes | grep master

结果如图：

能够看到新节点，但是存在一个问题，我们之前说过，Redis 有 16384 个内存分片，可以看到另外三个节点都有分片，但是这个节点并没有。说明该节点是不能使用的。所以开始分片。

特殊情况说明：

如果 gem 安装的  4 版本，这一步一定要执行，否则扩展可能失败，并且没法修复！

如果你 gem 安装的是 3 版本，则不需要管这一步，直接跳到第三步开始迁移即可！

网上有很多都是直接迁移，在 4.0 中迁移其实会报错，其实是 redis 的 BUG：

官方答复原因为 gem 版本差异造成的，在 5.0 版本中会弃用，修复也很简单，修改 redis-trib.rb 文件：

去掉这两个 client 即可，为了确保以后会用到，建议所有节点的包都做修改：

sed -i "s#source.r.client.call#source.r.call#g" /data/packages/redis-4.0.14/src/redis-trib.rb

3. 迁移切片到新节点：

/data/packages/redis-4.0.14/src/redis-trib.rb reshard 192.168.200.101:17000

如图：

后面还需要 yes 做个确认！

此时查看节点状态：

由于每个节点都分了一部分过来，所有分片由三个部分组成！

4. 最后给该节点添加一个从节点：

/data/packages/redis-4.0.14/src/redis-trib.rb add-node --slave --master-id 38e6a292a54f4d9c4bf44c28cbac91cb35b2bcaf 192.168.200.104:18000  192.168.200.101:17000

其中 master-id 为刚刚新加的 ID，此时添加节点完成：

删除节点

对于刚刚我们添加的节点，也可以删除它，但是删除需要分为两步，第一步将分片归还回去，第二步是删除节点。

对于归还切片，则需要一部分一部分的归还：

/data/packages/redis-4.0.14/src/redis-trib.rb reshard 192.168.200.101:17000

开始重新分片，上面的结果我们可以知道，新节点的分片为：

0-1364 5461-6826 10923-12287

那么第一部的数量为：1365，第二部分的数量为：1366，第三部分也是 1366。

后面 yes 确认即可！

此时查看新节点就少了一截：

其余两部分同理，最终效果：

所有的切片都归还回去了，此时再去节点1上删除节点，便于观察：

# 删除 master
/data/packages/redis-4.0.14/src/redis-trib.rb del-node 192.168.200.104:17000 38e6a292a54f4d9c4bf44c28cbac91cb35b2bcaf

# 删除 slave
/data/packages/redis-4.0.14/src/redis-trib.rb del-node 192.168.200.104:18000 465ca1f687c0c05f40dccca8f7a142ee18eefb16

然后查看：

至此，删除节点完成！

当然，这种增删节点是一种解决方案，更好的其实还是重新搭建重新规划，这样分片更连续，另外，做这种操作应该避开业务高峰期做。