一. 前言     配置是每个程序不可或缺的一部分,配置有多重方式:xml.ini.property.database等等,从最初的单机环境到现在的分布式环境. 1. 以文件的格式存储配置,修改任何都要改程序,重新发布,重新部署,经常出现数据不一致的问题,配置错误,会造成更大的问题. 2. 以数据库+缓存配置,解决了动态更新配置的方式,但是存在数据库的单点问题,一单数据库出现问题,更新的操作都会失败,造成配置不能持久化. 随着机器数的增多,逐个修改配置是一件不合理的做法,使用Zookeeper可…

一. 前言     配置是每个程序不可或缺的一部分,配置有多重方式:xml.ini.property.database等等,从最初的单机环境到现在的分布式环境. 1. 以文件的格式存储配置,修改任何都要改程序,重新发布,重新部署,经常出现数据不一致的问题,配置错误,会造成更大的问题. 2. 以数据库+缓存配置,解决了动态更新配置的方式,但是存在数据库的单点问题,一单数据库出现问题,更新的操作都会失败,造成配置不能持久化. 随着机器数的增多,逐个修改配置是一件不合理的做法,使用Zookeeper可…

1.基本介绍 命名服务是指通过指定的名字来获取资源或者服务的地址,提供者的信息.利用Zookeeper非常easy创建一个全局的路径,而这个路径就能够作为一个名字.它能够指向集群中的集群.提供的服务的地址,远程对象等.简单来说使用Zookeeper做命名服务就是用路径作为名字,路径上的数据就是其名字指向的实体. 阿里巴巴集团开源的分布式服务框架Dubbo中使用ZooKeeper来作为其命名服务,维护全局的服务地址列表.在Dubbo实现中: 服务提供者在启动的时候,向ZK上的指定节点/dubbo/…

1.基本介绍 分布式锁是控制分布式系统之间同步訪问共享资源的一种方式,须要相互排斥来防止彼此干扰来保证一致性. 利用Zookeeper的强一致性能够完毕锁服务.Zookeeper的官方文档是列举了两种锁.独占锁和共享锁. 独占锁保证不论什么时候都仅仅有一个进程能或者资源的读写权限.共享锁能够同一时候有多个读,可是同一时刻最多仅仅能有一个写,读和写是相互排斥的. 2.场景分析 我们准备来实现相互排斥的锁,依照官网的思路,给定一个锁的路径,如/Lock,全部要申请这个锁的进程都在/Lock文件夹下创…

前言: 随着业务的扩大,用户的增多,访问量的增加,单机模式已经不能支撑,从而出现了从单机模式->垂直应用模式->集群模式,集群模式诞生了,伴随着一堆问题也油然而生,Master怎么选举,机器故障及时移除集群,添加机器了如何及时的感应到,Zookeeper不仅能维护当前的集群服务状态,还能及时的选出master,它们的实现方式都是在Zookeeper上面注册一个EPHEMERAL目录节点,在创建目录的父目录上面调用getChildren(String path,boolean watch)设置w…

前言: 随着业务的扩大,用户的增多,访问量的增加,单机模式已经不能支撑,从而出现了从单机模式->垂直应用模式->集群模式,集群模式诞生了,伴随着一堆问题也油然而生,Master怎么选举,机器故障及时移除集群,添加机器了如何及时的感应到,Zookeeper不仅能维护当前的集群服务状态,还能及时的选出master,它们的实现方式都是在Zookeeper上面注册一个EPHEMERAL目录节点,在创建目录的父目录上面调用getChildren(String path,boolean watch)设置w…

1.解压zookeeper 2.环境变量设置 hadoop@namenode:~/zookeeper-3.4.6/conf$ sudo vim /etc/profile export JAVA_HOME=/usr/programs/jdk1.7.0_65 export HADOOP_HOME=/home/hadoop/hadoop-1.2.1 export HADOOP_CONF_DIR=/home/hadoop/hadoop-1.2.1/conf export MAHOUT_HOME=/hom…

排它锁概念: Exclusive Locks,被称为X锁,写锁,独占锁.如果事物T1对数据对象O1加上了排它锁,那么在整个加锁期间,只允许事务T1对O1进行读写操作,其他事务必须等到T1释放锁后才能进行操作.在单机环境中,JDK提供了synchronized关键字和ReentrantLock 重用锁来提供排它锁的功能. zookeeper实现排它锁原理: 在需要获取排它锁时,所有的客户端都会调用create方法在固定路径下创建节点,并发环境下,只有一个客户端可以创建成功,相当于获取了锁,当该客户…

ZooKeeper 基本概念 ZooKeeper 是面向分布式应用的协调服务,其实现了树形结构的数据模型(与文件系统类似),并且提供了简洁的编程原语.ZooKeeper 能够作为基础,用于构建更高层级的分布式服务. ZooKeeper 是分布式的,具备高性能.高可用的特点. 如上架构图所示,ZooKeeper 集群中包括: Leader:提供 “读” & “写” 服务(Leader 由集群全部机器通过“Leader 选举”产生). Follower:集群中非 “Leader” 的其他节点. 集群…

Disconf是百度开源出来的一款基于Zookeeper的分布式配置管理软件.目前很多公司都在使用,包括滴滴.百度.网易.顺丰等公司.通过简单的界面操作就可以动态修改配置属性,还是很方便的.使用Disconf后发现的一大好处是省却应用很多配置,而且配置可以自动load,实时生效. Disconf优点总结如下: 部署简单:同一个上线包,无须改动配置,即可在多个环境中上线 部署动态化:更改配置,无需重新打包或重启,即可实时生效 统一管理:提供web平台,统一管理多个环境多个产品的所有配置 如果想直接…