搭建redis集群环境

Redis的集群机制

=============================

转自http://lib.csdn.net/article/redis/39999

别人写的,写得不错,转了.

Redis 集群使用数据分片（sharding）而非一致性哈希（consistency hashing）来实现： 一个 Redis 集群包含 16384 个哈希槽（hash slot）， 数据库中的每个键都属于这 16384 个哈希槽的其中一个， 集群使用公式 CRC16(key) % 16384 来计算键 key 属于哪个槽， 其中 CRC16(key) 语句用于计算键 key 的 CRC16 校验和 。

集群中的每个节点负责处理一部分哈希槽。 举个例子， 一个集群可以有三个哈希槽， 其中：

• 节点 A 负责处理 0 号至 5500 号哈希槽。
• 节点 B 负责处理 5501 号至 11000 号哈希槽。
• 节点 C 负责处理 11001 号至 16384 号哈希槽。

这种将哈希槽分布到不同节点的做法使得用户可以很容易地向集群中添加或者删除节点。 比如说：

• 如果用户将新节点 D 添加到集群中， 那么集群只需要将节点 A 、B 、 C 中的某些槽移动到节点 D 就可以了。
• 与此类似， 如果用户要从集群中移除节点 A ， 那么集群只需要将节点 A 中的所有哈希槽移动到节点 B 和节点 C ， 然后再移除空白（不包含任何哈希槽）的节点 A 就可以了。

因为将一个哈希槽从一个节点移动到另一个节点不会造成节点阻塞， 所以无论是添加新节点还是移除已存在节点， 又或者改变某个节点包含的哈希槽数量， 都不会造成集群下线。

为了使得集群在一部分节点下线或者无法与集群的大多数（majority）节点进行通讯的情况下， 仍然可以正常运作， Redis 集群对节点使用了主从复制功能： 集群中的每个节点都有 1 个至 N 个复制品（replica）， 其中一个复制品为主节点（master）， 而其余的 N-1 个复制品为从节点（slave）。

在之前列举的节点 A 、B 、C 的例子中， 如果节点 B 下线了， 那么集群将无法正常运行， 因为集群找不到节点来处理 5501 号至 11000号的哈希槽。

另一方面， 假如在创建集群的时候（或者至少在节点 B 下线之前）， 我们为主节点 B 添加了从节点 B1 ， 那么当主节点 B 下线的时候， 集群就会将 B1 设置为新的主节点， 并让它代替下线的主节点 B ， 继续处理 5501 号至 11000 号的哈希槽， 这样集群就不会因为主节点 B 的下线而无法正常运作了。

不过如果节点 B 和 B1 都下线的话， Redis 集群还是会停止运作。

按照这种实现机制,有几个问题需要特别注意:

1.数据不会自动的做sharding,如果集群新加入一个节点,需要手工进行sharding的重新分布操作

2.集群如果一个主从丢了会导致整个集群无法运行,这个机制不太好,我理解应该只是丢数据才对啊.

关于redis文章也很多了，放假在家里，把redis环境在OEL,OracleLinux-R5-U7-Server-x86_64的环境中搭建了一遍.

• 先安装redis,直接访问redis.io下载安装即可，我装的是3.2.4版本.

make

cd src

./redis-server ../redis.conf

• 创建6个目录，因为redis集群必须有3个master节点，3个slave节点，所以最小配置需要6个server

mkdir 7000 7001 7002 7003 7004 7005

将redis的目录cp到这6个目录中

cp -rf  redis-3.2.4/*  7000

cp -rf  redis-3.2.4/*  7001

cp -rf  redis-3.2.4/*  7002

cp -rf  redis-3.2.4/*  7003

cp -rf  redis-3.2.4/*  7004

cp -rf  redis-3.2.4/*  7005

配置文件redis.conf,并覆盖6个目录下的配置

port 7000

cluster-enabled yes

cluster-config-file nodes.conf

cluster-node-timeout 5000

appendonly yes

依次执行命令，启动redis server：./redis-serve r    ../redis.conf

• 安装ruby,rubygems和redis client

配置yum源

mount /dev/cdrom /mnt   #挂载光驱

cd /etc/yum.repos.d/      #创建yum配置文件

vi server.repo

[server]

name=Server

baseurl=file:/mnt/Server

enabled=1

gpgcheck=0

gpgkey=file:/mnt/RPM-GPG-KEY-oracle

安装gem 需要ruby的版本在 1.8.7 以上，默认的OEL5上都是1.8.5 版本，所以首先你的升级你的ruby ，有两种方式，yum 和 tar包，

如果你直接用yum的话，一般是装不上的，得先做些准备，首先添加一个源

rpm -ivh http://yum.puppetlabs.com/el/5/products/x86_64/puppetlabs-release-5-6.noarch.rpm

 

如果上面的rpm执行成功，就可以运行下面的yum命令了

 

yum install ruby ruby-devel rubygems rpm-build

 

为了以后不缺这少那 索性就都装上

 

# ruby -v

ruby 1.8.7 (2012-06-29 patchlevel 370) [i386-linux]

然后运行

gem install redis

• 创建redis Cluster

在7000的src目录下运行

./redis-trib.rb  create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

通过check可以看到哪些是master,哪些是slave

./redis-trib.rb check 127.0.0.1:7000

也可以通过info察看某个server的slave和entry