ZooKeeper下载 通过ZooKeeper官网下载最新的稳定版本 解压ZooKeeper到某个目录,其目录结构为: 运行环境要求 系统环境 ZooKeeper对于市面上各种操作系统都有了不错的支持,不论你用的是wins.Linux或者Mac,都可以很方便的启动并使用ZooKeeper Java环境 ZooKeeper是使用Java语言编写的,运行ZooKeeper需要Java环境的支持,虽然在ZooKeeper官网没有找到对Java版本的要求,我想起码你要用1.6以上的版本吧,我用的是Ora…

引言 之前就了解过kafka,看的似懂非懂,最近项目组中引入了kafka,刚好接着这个机会再次学习下. Kafka在很多公司被用作分布式高性能消息队列,kafka之前我只用过redis的list来做简单的队列处理,也还算好用,可能数据量比较小,也是单机运行,未出现过问题,用作轻量级消息队列还是比较好用的.而redis的作者antirez,设计redis的初衷并不是用来做消息队列,但用它做消息队列的人貌似还挺多,以至于后来antirez后来新开了个项目disque,专门用来做消息队列,但这个不是本…

项目描述: 今天花了680元买了阿里云的一台内存1G, 带宽1M 的云主机. 想以后方便测试用,而且想把自己的博客签到自己的主机上.所以自己就搭了一个测试的环境. 可以用来进行基本的hbase 入库, hadoop  mrjob 的运行. 步骤: 1.配置JDK 我的安装路径如下:/usr/local/java/jdk1.7.0_79 设置环境变量: JAVA_HOME=/usr/local/java/jdk1.7.0_79 export PATH=$JAVA_HOME/bin:$PATH 刷新…

ActiveMq+zookeeper+levelDB集群整合配置 环境:linux系统,jdk1.7  三台linux系统电脑.我这里使用一台window,分别远程3台linux电脑.三台电脑的ip分别为10.0.88.10 ,10.0.88.11 ,10.0.88.12 第一步:下载activemq 和zookeeper,levelDB会activemq自带有,所以不需要下载,把下载好的压缩包发送到所有的linux上,(我这里是把下载好的压缩包放在当前window下的tomcat,root目录…

由于zookeeper的client只有zookeeper一个对象,使用也比较简单,所以就不许要文字说明了,在代码中注释下就ok 了. 1.测试用的main方法 package ClientExample; public class TestMain { public static void main(String[] args) { /* * 测试流程 * 1.创建sever1的连接client1,并且创建一个永久性的/test节点 * 2.创建一个针对server1的临时节点 * 3.创建s…

一.RPC(Remote Procedure Call)—远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议.RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据.在OSI网络通信模型中,RPC跨越了传输层和应用层.RPC使得开发包括网络分布式多程序在内的应用程序更加容易. RPC采用客户机/服务器模式.请求程序就是一个客户机,而服务提供程序就是一个服务器.首先,客户机调用进程发送一个有进程参数的调用信息到服务进程,然后等待应答信息…

平时用惯了ZooInspector,偶然知晓了idea的这个插件,试了一下感觉挺方便的 由于开发环境在内网,所以这里介绍内网方式(外网更简单). 1.下载插件 http://plugins.jetbrains.com/plugin/7364 2.导入 导入后可以在Plugins列表的最下方找到zookeeper,要使用的话还必须重启idea 3.配置 4.使用 试用后感觉开发中使用确实挺方便,不用来回的工具切换.不过功能单一,ZooInspector功能差不多,比ZooInspector差的是当…

下载zookeeper-3.4.6 , 试用了一下 standlone 启动 ./bin/zkServer.sh start 注: Usage: ./bin/zkServer.sh {start|start-foreground|stop|restart|status|upgrade|print-cmd}_ 用cli工具就能够操作了 ./bin/zkCli.sh -server 127.0.0.1:2181 [zk: 127.0.0.1:2181(CONNECTED) 0] help ZooKe…

一.背景 基于公司发展硬性需求,生产VM服务器要统一迁移到ZStack 虚拟化服务器.检查自己项目使用的服务器,其中zookeeper集群中招,所以需要进行迁移. 二.迁移计划 为了使迁移不对业务产生影响,所以最好是采用扩容 -> 缩容 的方式进行. 说明: 1.原生产集群为VM-1,VM-2,VM-3组成一个3节点的ZK集群: 2.对该集群扩容,增加至6节点(新增ZS-1,ZS-2,ZS-3),进行数据同步完成: 3.进行缩容,下掉原先来的三个节点(VM-1,VM-2,VM-3): 4.替换n…

按照维基百科的解释:同步屏障(Barrier)是并行计算中的一种同步方法.对于一群进程或线程,程序中的一个同步屏障意味着任何线程/进程执行到此后必须等待,直到所有线程/进程都到达此点才可继续执行下文. 在ZK官网https://zookeeper.apache.org/doc/current/zookeeperTutorial.html ,提供了一个示例实现,但这个例子比较复杂,代码同时包括了Barrier和Queue两种实现,对例子做了修改,仅介绍Barrier的实现. 使用请客吃饭的场景:一…