ZooKeeper动态增加Server（动态增加节点）的研究（待实践）

说明：是动态增加Server，不是动态增加连接到ZK Server的Client。

场景如下（转自外文）：

1、在t=t_1->[peer-1(Leader),peer-2]，peer-1是主节点，所有客户端连接到该节点。

2、在t=t_2->[peer-1(Leader),peer-2,peer-3]，稍后的时候，同行3加入了该组。是否可以“动态地”将动态列表添加到zookeeper服务器列表（即，在对等体1上不重新启动ZooKeeper）？

3、在t=t_3->[peer-3(Leader),peer-4]，一段时间后，对等体1和对等体2离开组（例如，死亡或被关闭）。假设有一种方法来动态地将peer-3和peer-4添加到组中peer-3成为领导者并且所有客户端请求都发送到对等体3。

提示：或者这样说，原始有3台Server，然后一段时候后访问剧增，想再增加多两台，最后变为5台Server。

动态增加ZK Server/节点会面临的问题：

1、每个连接到ZK Server时，都会配置一个Connect的字符串，字符串上指定了所有ZK Server的服务器列表，形式类似于：“192.168.1.2:2181,192.168.1.3:2181,192.168.1.4:2181”；且配置好之后是不能变的。

2、ZK Server在配置集群时，会在配置文件指定明确的服务器IP和端口，然后启动。如果中途某台挂了，那么只要在一定数量范围之内不影响；但是如果想要增加几台，需要在每台ZK Server上的配置文件上都加入新增加的IP和端口，最重要一点就是要重启所有的ZK Server才能使其生效。

注意：通过以上的做法，那么会面临一个问题，如果此时正在下单，或者分布式事务锁在运行，就会面临丢单等问题！

动态增加ZK Server/节点的解决方案：

1、ZK从3.5版本开始已经增加了动态增加节点的功能，并且是属于动态读取配置文件而不用重启全部ZK Server。

• 通过最新版本来解决的方案，对于已经连接到ZK Server的客户端，可以采用代码灰度更新的方案来逐步更新掉Connect的服务器IP列表。而不用影响现有的业务完整性。
• 当然，对于客户端的连接字符串，可以采用远程地址的方式，比如访问一条固定的URL，返回服务器IP列表，当有新的服务器IP列表更新时，将通知全部的客户端去更新。这样可以解决采用代码灰度更新的问题。

2、在3.5版本以前的公开解决方法

• 对于客户端的连接字符串，可以采用远程地址的方式，比如访问一条固定的URL，返回服务器IP列表，当有新的服务器IP列表更新时，将通知全部的客户端去更新。
• 对于ZK Server，可以采用部署另外一套环境，比如之前是3台的；那么再次部署9台，且这9台与之前的3台是没关联的。
• 然后客户端收到更新通知时，去获取新的9台服务器列表。

注意：上面采用更新客户端服务器IP列表的形式需要做业务空闲的判断处理，比如这个客户端在更新前没任何操作正在处理，并且要阻止新来的业务请求等。

以上研究的搜索线索：zookeeper dynamic add node

参考：

https://zookeeper.apache.org/doc/trunk/zookeeperReconfig.html（官方3.5版本的动态配置读取和动态增加节点）

http://mail-archives.apache.org/mod_mbox/zookeeper-user/201308.mbox/%3CCANcXBFO-oRxqVD_8AL8drCXtAvN3k+BOSpVFBPWrNRRKSw+8NA@mail.gmail.com%3E（3.5版本的线索）

https://stackoverflow.com/questions/11375126/zookeeper-adding-peers-dynamically（动态增加节点的问题研究）

https://issues.apache.org/jira/browse/ZOOKEEPER-107（动态增加节点的公开解决方案）

http://grokbase.com/t/zookeeper/user/138drn03sv/dynamically-adding-nodes-to-zk-ensemble（公开解决方案的一些操作）

https://issues.apache.org/jira/browse/ZOOKEEPER-1660（动态增加节点）

https://www.slideshare.net/Hadoop_Summit/dynamic-reconfiguration-of-zookeeper（动态增加节点）

https://gist.github.com/miketheman/6057930（动态增加节点）

https://forever-zs.github.io/2017/08/06/zookeeper/%E5%8A%A8%E6%80%81%E6%84%9F%E7%9F%A5%E6%9C%8D%E5%8A%A1%E5%99%A8%E4%B8%8A%E4%B8%8B%E7%BA%BF/（通过ZK实现的服务器上下线功能，不是关于ZK怎么动态增加节点）

http://heylinux.com/archives/2063.html（以前的方案不能动态增加节点）

http://dbaplus.cn/news-21-1240-1.html（以前的方案不能动态增加节点）