zookeeper 集群环境搭建及集群选举及数据同步机制

本文为博主原创，未经允许不得转载：

　　1. 分别创建3个data目录用于存储各节点数据

　　2. 编写myid文件

　　3. 编写配置文件

　 4.分别启动

　　5.分别查看状态

　　6. 检查集群复制情况：

　　7. 集群角色说明

　 8. 选举机制

　　9. 数据同步机制

　　1. 在dataDir配置的目录下分别创建3个data目录用于存储各节点数据

mkdir data

mkdir data/1

mkdir data/2

mkdir data/3

　　2. 编写myid文件

　　　　myid的值是zoo.cfg文件里定义的server.A项A的值，Zookeeper 启动时会读取这个文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较

　　从而判断到底是那个server，只是一个标识作用。

echo 1 > data/1/myid

echo 3 > data/3/myid

echo 2 > data/2/myid

　　3、编写配置文件

　　　　配置语法：　　server.<节点ID>=<ip>:<数据同步端口>:<选举端口>

　　　　　　 节点ID：服务id手动指定1至125之间的数字，并写到对应服务节点的 {dataDir}/myid 文件中。

　　　　　　 IP地址：节点的远程IP地址，可以相同。但生产环境就不能这么做了，因为在同一台机器就无法达到容错的目的。所以这种称作为伪集群。

　　　　　　 数据同步端口：主从同时数据复制端口，（做伪集群时端口号不能重复）。

　　　　　　 远举端口：主从节点选举端口，（做伪集群时端口号不能重复）。

　　　　通过在 zookeeper 每个节点配置所有的上述配置，实现集群环境配置。 以下为伪集群中配置的集群配置

#集群配置

server.1=127.0.0.1:2887:3887

server.2=127.0.0.1:2888:3888

server.3=127.0.0.1:2889:3889

　　conf/zoo1.cfg

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/tmp/zookeeper/data/1

clientPort=2181

#集群配置

server.1=127.0.0.1:2887:3887

server.2=127.0.0.1:2888:3888

server.3=127.0.0.1:2889:3889

　　conf/zoo2.cfg

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/tmp/zookeeper/data/2

clientPort=2182

#集群配置

server.1=127.0.0.1:2887:3887

server.2=127.0.0.1:2888:3888

server.3=127.0.0.1:2889:3889

　　conf/zoo3.cfg

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/tmp/zookeeper/data/3

clientPort=2183

#集群配置

server.1=127.0.0.1:2887:3887

server.2=127.0.0.1:2888:3888

server.3=127.0.0.1:2889:3889

　　4.分别启动

./bin/zkServer.sh start conf/zoo1.cfg

./bin/zkServer.sh start conf/zoo2.cfg

./bin/zkServer.sh start conf/zoo3.cfg

　　5.分别查看状态

./bin/zkServer.sh status conf/zoo1.cfg

Mode: follower

./bin/zkServer.sh status conf/zoo2.cfg

Mode: leader

./bin/zkServer.sh status conf/zoo3.cfg

Mode: follower

　　6. 检查集群复制情况：

　　分别连接指定节点，zkCli.sh 后加参数-server 表示连接指定IP与端口

./bin/zkCli.sh -server 127.0.0.1:2181

./bin/zkCli.sh -server 127.0.0.1:2182

./bin/zkCli.sh -server 127.0.0.1:2183

　　任意节点中创建数据，查看其它节点已经同步成功。

　　 -server参数后同时连接多个服务节点，并用逗号隔开 127.0.0.1:2181,127.0.0.1:2182

　　7. 集群角色说明

　　　　zookeeper 集群中总共有三种角色，分别是leader（主节点）follower(子节点) observer（次级子节点）

角色	描述
leader	主节点，又名领导者。用于写入数据，通过选举产生，如果宕机将会选举新的主节点。
follower	子节点，又名追随者。用于实现数据的读取。同时他也是主节点的备选节点，并用拥有投票权。
observer	次级子节点，又名观察者。用于读取数据，与fllower区别在于没有投票权，不能选为主节点。并且在计算集群可用状态时不会将observer计算入内。

　　　　　　observer配置：

　　　　　　　　只要在集群配置中加上observer后缀即可，示例：server.3=127.0.0.1:2889:3889:observer

　　8. 选举机制

　　　　　　　　投票机制说明：

　　　　　　　　　　第一轮投票全部投给自己

　　　　　　　　　　第二轮投票给myid比自己大的相邻节点

　　　　　　　　　　如果得票超过半数，选举结束。

　　　　　　　　选举触发：

　　　　　　　　　　当集群中的服务器出现已下两种情况时会进行Leader的选举

　　　　　　　　　　　　1.服务节点初始化启动

　　　　　　　　　　　　2.半数以上的节点无法和Leader建立连接

　　9. 数据同步机制

　　　　　　　　zookeeper 的数据同步是为了保证各节点中数据的一至性，同步时涉及两个流程，

　　　　　　一个是正常的客户端数据提交，另一个是集群某个节点宕机在恢复后的数据同步。

　　　　9.1 客户端写入流程说明：

1. client向zk中的server发送写请求，如果该server不是leader，则会将该写请求转发给leader server，leader将请求事务以proposal形式分发给follower；
2. 当follower收到收到leader的proposal时，根据接收的先后顺序处理proposal；
3. 当Leader收到follower针对某个proposal过半的ack后，则发起事务提交，重新发起一个commit的proposal
4. Follower收到commit的proposal后，记录事务提交，并把数据更新到内存数据库；
5. 当写成功后，反馈给client。

　　　　9.2 服务节点初始化同步：

　　　　　　在集群运行过程当中如果有一个follower节点宕机，由于宕机节点没过半，集群仍然能正常服务。当leader 收到新的客户端请求，此时无法同步给宕机的节点。造成数据不一至。为了解决这个问题，当节点启动时，第一件事情就是找当前的Leader，比对数据是否一至。不一至则开始同步,同步完成之后在进行对外提供服务。如何比对Leader的数据版本呢，通过ZXID事物ID来确认。比Leader就需要同步。

　　10. 集群的半数机制

　　　　　　ZooKeeper 集群在宕掉几个 ZooKeeper 服务器之后，如果剩下的 ZooKeeper 服务器个数大于宕掉的个数的话整个 ZooKeeper 才依然可用。