zookeeper是分布式开源框架, 是Google Chubby的一个实现, 主要作为分布式系统的协调服务. Dobbo等框架使用了其功能.

zookeeper特性

  • 顺序一致性: 事务请求最终会严格按顺序执行
  • 原子性:
  • 可靠性:
  • 实时性:
  • 单一视图:

安装

使用windows的linux子系统时: cd /mnt/e/chromedownload/转到windows下载路径

拷贝 cp /mnt/e/chromedownload/zookeeper.tar.gz /program/zookeeper.tar.gz

转到 cd /program 如果没有的先mkdir program

解压 tar -zxvf zookeeper.tar.gz

转到 cd ZK_HOME/conf

拷贝 cp zoo_sample.cfg zoo.cfg

转到 cd ZK_HOME/bin

启动 sh zkServer.sh start

集群搭建

  • zoo.cfg中配置集群, 配置格式如 server.id=ip:port:port ; 有几台就配置几个.例如:

    server.1=192.168.1.145:2897:3181

    server.2=192.168.1.146:2897:3181

    server.3=192.168.1.147:2897:3181
  • zoo.cfg中的dataDir所配置的目录下新增myid文件, 值对应server.id的id
  • zoo.cfg中, 如果需要observer,则添加peerType=observer, 并且修改server.id=ip:port:port:observer

zoo.cfg 配置

  • tickTime=2000 zk的方法最小时间单位
  • initTime=10 时长为10*tickTime, follow节点和leader节点同步的时间
  • syncLimit=5 时长为5*tickTime, leader和follow几点进行心跳检测的最大延迟时间
  • dataDir=/tmp/zookeeper 存储快照文件的目录
  • dataLogDir = /log/zookeeper 事务日志的存储路径, 默认在dataDir下
  • clientPort=2181 连接zookeeper的默认端口

zookeeper几个概念

  • znode: zookeeper数据存储为树形结构, 深度层级没有限制, znode是数据存储节点,是zookeeper的最小存储单元. 分为1.持久化节点;2.持久化有序节点;3.临时节点;4.临时有序节点;
  • 临时节点, 是会话时生成的节点, 会话结束后节点会自动删除.

客户端命令操作

help 可以查看客户端支持的命令

  • create [-s] [-e] node : 创建节点 -s是有序 -e临时节点
  • get path [watch] 获取节点的信息
  • set path data [version] : 修改节点的值
  • delete path [version] : 删除节点, 当节点有子节点时无法删除

[version] 乐观锁

[Watcher] 提供了发布/订阅, 允许客户端向服务器端注册一个监听, 当服务端触发指定事件时会触发watcher,服务端向客户端发送一个通知.

Watcher是一次性的, 触发一次后自动失效

信息节点

  • stat path 可以查看节点的信息
cversion=0 子节点的版本
AclVersion=0 acl的版本号, 权限控制相关
dataVersion=1 数据的版本号
cxid 创建的事务id
mzxid 最后一次修改的事务id
pzxid 子节点最后一次修改的事务id
ephemeralOwner 临时会话的id
dataLength 数据长度
numChidren 子节点数量

java开发

引用依赖

 <dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<version>3.5.4-beta</version>
</dependency>

java代码

/**
* 定义Watcher
*/
public class MyWatcher implements Watcher {
@Override
public void process(WatchedEvent event) {
if(event.getState()== Event.KeeperState.SyncConnected){
System.out.println("---->>>>>"+event.getType());
System.out.println("---->>>>>"+event.getPath());
}
}
} //测试
public class MySession { private static final String CONN = "localhost:2181";
private static Stat stat = new Stat(); public static void main(String[] args) throws IOException, KeeperException, InterruptedException {
ZooKeeper zooKeeper = new ZooKeeper(CONN,1000,new MyWatcher()); // 创建
zooKeeper.create("/xlx","this is a string".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
// 查询,注册watcher
byte[] rst = zooKeeper.getData("/xlx",true,stat);
System.out.println(new String(rst)); //删除(只能删除永久节点)
zooKeeper.delete("/xlx",-1); // 创建
zooKeeper.create("/xlx","this is a string".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); // 查询
byte[] rs = zooKeeper.getData("/xlx",true,stat);
System.out.println(new String(rs)); // 注册watcher
zooKeeper.exists("/xlx/yy",true); // 创建
zooKeeper.create("/xlx/yy","this is a sub child string".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); // 获取子节点
List<String> children = zooKeeper.getChildren("/xlx", true);
System.out.println(children); //删除(只能删除永久节点)
zooKeeper.delete("/xlx/yy",-1); // 修改
zooKeeper.setData("/xlx","this is a modified string".getBytes(),-1);
byte[] rss = zooKeeper.getData("/xlx",true,stat);
System.out.println(new String(rss)); //删除(只能删除永久节点)
zooKeeper.delete("/xlx",-1); // watcher 异步的, 这里停留段时间才可以查看到watcher打印的信息
Thread.sleep(2000);
}
}

三方API

  • zkClient
  • curator 这个用的较多,Netflix开源

curator开发

特点:

  • 抽象层次更高
  • 链式编程风格
  • 异步回调
public class CuratorSession {

    private static final String CONN = "localhost:2181";

    public static void main(String[] args) throws Exception {
// 创建
CuratorFramework curatorFramework = CuratorFrameworkFactory.newClient(CONN, 2000, 5000, new ExponentialBackoffRetry(1000,3));
curatorFramework.start();
System.out.println(curatorFramework.getState());
//另一种方式
//curatorFramework = CuratorFrameworkFactory.builder().build(); // 新增节点
curatorFramework.create().creatingParentsIfNeeded().withMode(CreateMode.PERSISTENT).forPath("/curator/chd/dd","dfadfe".getBytes()); //读取
byte[] data = curatorFramework.getData().forPath("/curator/chd/dd");
java.lang.String string = new java.lang.String(data);
System.out.println(string); // 修改
Stat stat = curatorFramework.setData().forPath("/curator/chd/dd","fdaefv".getBytes());
System.out.println(stat); curatorFramework.setData().inBackground(new BackgroundCallback() {
@Override
public void processResult(CuratorFramework client, CuratorEvent event) throws Exception {
System.out.println(event);
}
}).forPath("/curator/chd/dd","fafdae".getBytes()); //删除
curatorFramework.delete().guaranteed().deletingChildrenIfNeeded().forPath("/curator/chd"); Thread.sleep(2000);
}
}

zookeeper应用场景

  • 分布式锁

    可以使用redis,数据库,zookeeper等实现.

    排他锁(写锁), 共享锁(读锁)

  • 发布/订阅(配置中心)

    配置中心数据的特点: 1. 数据量比较小;2.各台服务器的配置内容一致;3.配置信息在运行时会发生变更;

    配置中心有两种实现方式: pull,push; zookeeper结合这两种方式实现配置中心. 具体为: 客户端向服务器注册自己关注的节点, 当节点发生变化时, 服务器向客户端发送watcher事件通知,再由客户端pull变化的节点数据.

  • 负载均衡

    leader处理请求, 并将请求路由到特定节点. 核心是负载均衡的算法.

  • leader选举

  • 命名服务

  • 分布式队列

分布式锁实现(java api)

原理: 当需要锁时, 客户端会向服务端的节点A写有序的子节点, 此时可能有其他的客户端也同时需要获取锁,因此节点A下可能会有若干子节点001,002,003...., 然后客户端获取父节点A的所有子节点,并取得其中最小的节点001, 如果001是当前客户端创建的, 则当前客户端获取到锁;如果001不是当前客户端创建, 比如当前客户端创建了003, 则取003的前一个节点,也就是002添加监控watcher, 当002监控事件为删除时, 创建了003的客户端得到一个通知, 说明前一个节点已经释放, 此时003可以获取到锁.而002节点则监控001, 也就是说每个节点监控其前一个节点, 前一个节点释放, 则表示当前节点可以获取到锁了.

public class DistributeLock {

    private static final String ROOT_LOCKS="/LOCK";
private ZooKeeper zooKeeper;
private int sessionTimeout;
private String lockID;
private final static byte[] date={1,2};
private CountDownLatch countDownLatch = new CountDownLatch(1); public DistributeLock() throws IOException, InterruptedException {
this.zooKeeper = ZookeeperClient.getZookeeperClient();
this.sessionTimeout = ZookeeperClient.SESSIONTIMEOUT;
} public boolean lock(){
try{
lockID = zooKeeper.create(ROOT_LOCKS+"/",date, ZooDefs.Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL_SEQUENTIAL);
System.out.println(Thread.currentThread().getName()+"->成功创建了lock节点["+lockID+"], 开始去竞争锁");
List<String> childrenNodes = zooKeeper.getChildren(ROOT_LOCKS,true);
SortedSet<String> sortedSet = new TreeSet<>();
for(String children:childrenNodes){
sortedSet.add(ROOT_LOCKS+"/"+children);
}
String first = sortedSet.first();
if (first.equals(lockID)){
System.out.println(Thread.currentThread().getName()+"->成功获得锁,lock节点为:["+lockID+"]");
return true;
} SortedSet<String> lessThanLockId = ((TreeSet<String>) sortedSet).headSet(lockID);
if (!lessThanLockId.isEmpty()){
String prevLockID = lessThanLockId.last();
zooKeeper.exists(prevLockID,new LockWatcher(countDownLatch));
countDownLatch.await(sessionTimeout,TimeUnit.MILLISECONDS);
System.out.println(Thread.currentThread().getName()+" 成功获取锁:["+lockID+"]");
}
}catch (Exception e){e.printStackTrace();}
return false;
} public boolean unlock(){
System.out.println(Thread.currentThread().getName()+"->开始释放锁:["+lockID+"]");
try {
zooKeeper.delete(lockID,-1);
System.out.println("节点["+lockID+"]成功被删除");
return true;
} catch (InterruptedException e) {
e.printStackTrace();
} catch (KeeperException e) {
e.printStackTrace();
}
return false;
} public static void main(String[] args) {
final CountDownLatch latch=new CountDownLatch(10);
Random random=new Random();
for(int i=0;i<10;i++){
new Thread(()->{
DistributeLock lock=null;
try {
lock=new DistributeLock();
latch.countDown();
latch.await();
lock.lock();
Thread.sleep(random.nextInt(500));
} catch (IOException e) {
e.printStackTrace();
} catch (InterruptedException e) {
e.printStackTrace();
}finally {
if(lock!=null){
lock.unlock();
}
}
}).start();
}
}
}

这些代码写下来就算入门了, curator真正有用的使用场景还没接触到, 比如分布式锁,leader选举等, curator有示例程序, 可以在github上查看Curator源码.

分布式系列七: zookeeper简单用法的更多相关文章

  1. 【Zookeeper系列】Zookeeper简单介绍(转)

    原文链接:https://www.cnblogs.com/sunddenly/p/4033574.html 一.分布式协调技术 在给大家介绍ZooKeeper之前先来给大家介绍一种技术——分布式协调技 ...

  2. zookeeper编程入门系列之zookeeper实现分布式进程监控和分布式共享锁(图文详解)

    本博文的主要内容有 一.zookeeper编程入门系列之利用zookeeper的临时节点的特性来监控程序是否还在运行   二.zookeeper编程入门系列之zookeeper实现分布式进程监控 三. ...

  3. Zookeeper概念学习系列之zookeeper实现分布式进程监控

    不多说,直接上干货! 假设要监控多台服务器上的A程序运行状态, 当发现有服务器上的A程序下线的时候, 给管理员发短信, 并且尝试重启A程序. zookeeper实现分布式进程监控主要利用zk的临时节点 ...

  4. Zookeeper概念学习系列之zookeeper实现分布式共享锁

    首先假设有两个线程, 两个线程要同时到mysql中更新一条数据, 对数据库中的数据进行累加更新.由于在分布式环境下, 这两个线程可能存在于不同的机器上的不同jvm进程中, 所以这两个线程的关系就是垮主 ...

  5. [转载] 跟着实例学习zookeeper 的用法

    原文: http://ifeve.com/zookeeper-curato-framework/ zookeeper 的原生客户端库过于底层, 用户为了使用 zookeeper需要编写大量的代码, 为 ...

  6. 分布式协调服务Zookeeper集群监控JMX和ZkWeb应用对比

    分布式协调服务Zookeeper集群监控JMX和ZkWeb应用对比 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. JMX是用来远程监控Java应用的框架,这个也可以用来监控其他的J ...

  7. [转]ZooKeeper学习第一期---Zookeeper简单介绍

    ZooKeeper学习第一期---Zookeeper简单介绍 http://www.cnblogs.com/sunddenly/p/4033574.html 一.分布式协调技术 在给大家介绍ZooKe ...

  8. Java分布式:分布式锁之Zookeeper

    Java分布式:分布式锁之Zookeeper 分布式锁系列教程重点分享锁实现原理 引入ZooKeeper ZooKeeper是什么呢? ZooKeeper 是一个开源的分布式协调服务,它可以在分布式系 ...

  9. C#基础系列——委托实现简单设计模式

    前言:上一篇介绍了下多线程的相关知识:C#基础系列——多线程的常见用法详解,里面就提到了委托变量.这篇简单介绍下委托的使用.当然啦,园子里面很多介绍委托的文章都会说道:委托和事件的概念就像一道坎,过了 ...

随机推荐

  1. Android开发欢迎页点击跳过倒计时进入主页

    没点击跳过自然进入主页,点击跳过之后立即进入主页     1.欢迎页布局activity_sp.xml放一张背景图(图片随你便啦)再放一个盛放倒计时的TextView   <?xml versi ...

  2. 初识服务发现及Consul框架的简单使用

    初识服务发现及Consul框架的简单使用   1.什么是服务发现? 服务发现组件记录了(大规模)分布式系统中所有服务的信息,人们或者其它服务可以据此找到这些服务. DNS 就是一个简单的例子. 当然, ...

  3. Analyzing 'enq: HW - contention' Wait Event (Doc ID 740075.1)

    Analyzing 'enq: HW - contention' Wait Event (Doc ID 740075.1) In this Document   Symptoms   Cause   ...

  4. Guava Cache探索及spring项目整合GuavaCache实例

    背景 对于高频访问但是低频更新的数据我们一般会做缓存,尤其是在并发量比较高的业务里,原始的手段我们可以使用HashMap或者ConcurrentHashMap来存储. 这样没什么毛病,但是会面临一个问 ...

  5. iOS开发基础-九宫格坐标(2)之模型

    在iOS开发基础-九宫格(1)中,属性变量 apps 是从plist文件中加载数据的,在 viewDidLoad 方法中的第20行.26行中,直接通过字典的键名来获取相应的信息,使得 ViewCont ...

  6. php之swoole安装与基本使用

    扩展安装: 参考GitHub地址 安装: 1. 使用PHP官方的PECL工具安装 (初学者) pecl install swoole 2. 从源码编译安装 (推荐) git clone https:/ ...

  7. MySql下实现先排序后分组

    最近在工作中遇到一个先排序后分组的需求,发现MySql不同的版本有不同的结果,特此记录. 举例:要求在shop表中查询出各类型商店中价格最高的商品. --表结构-- create table `sho ...

  8. monkey事件简介

    操作事件简介 Monkey所执行的随机事件流中包含11大事件,分别是触摸事件.手势事件.二指缩放事件.轨迹事件.屏幕旋转事件.基本导航事件.主要导航事件.系统按键事件.启动Activity事件.键盘事 ...

  9. Vim简明学习

    前面的话 在linux云服务器上的编辑器默认是vim,类似于windows系统中的记事本,页面简洁,但入门不易.本文将介绍Vim的基础使用 操作模式 vim编辑器有三种模式: 1.命令模式(等待用户输 ...

  10. Ubuntu16.04安装Redis并配置

    Ubuntu16.04安装Redis并配置 2018年05月22日 10:40:35 Hello_刘 阅读数:29146   Ubuntu16.04安装Redis并配置 1):安装: 1:终端命令下载 ...