最近公司的zk的down掉了,  storm job 重启的时候报出 kafka.common.OffsetOutOfRangeException 异常 网上查询了一些朋友的做法, 自己也看了一下代码, 最终还是解决了 原因: zk挂掉的这几天, kafka中之前的数据已经被清掉了, 但是zk中保存的offset还是几天之前的, 导致KafkaSpout要获取的offset超过了当前kafka的offset, 就像ArrayIndexOutOfRangeException一样 解决方案: Kaf

1.spring的缓存,mybatis缓存a.基于注解的方式 三种注解b.mybatis分为一级session和二级缓存mapperc.采用LRU算法(近期最少使用) http://www.iteye.com/topic/1112327/ 对缓存并发同步采用jdk的ReadWriteLock 读写锁源码:mapper调用.代理mapper调用.mapper的方法.sqlsession.缓存(二级没有到一级,一级没有到数据库搜)2.介绍下dubbo.A服务调用B服务,B服务又调用C服务,这种情况怎

Dubbo是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,以及SOA服务治理方案. 简单的说,dubbo就是个服务框架,如果没有分布式的需求,其实是不需要用的,只有在分布式的时候,才有dubbo这样的分布式服务框架的需求. dubbo是用来跨系统通信的,即使不用集群也可以.一个系统用作客户端,一个系统则充当服务端.服务端要把自己的接口定义提供给客户端,客户端将接口定义在spring中的bean. 客户端可以直接使用这个bean,就好像这些接口的实现也是在自己代码里一样.客

之前的几篇文章把dubbo服务层都介绍完毕,本篇文章咱们主要写web层如何调用服务层的方法.文章底部附带源码. 启动服务 服务启动时,会向zk注册自己提供的服务,zk则会记录服务提供者的IP地址以及暴露的接口名称,通过zkCli.cmd 查看树形结构,具体命令如下: 1.ls / 展示两个目录:dubbo.zookeeper,下面主要看一下dubbo目录 2.ls /dubbo 可以看到注册到dubbo目录下的接口了 3.ls /dubbo/com.example.dubbo.demo.api.

https://www.jianshu.com/p/73eec030db86 项目中用到storm+kafka+zookeeper,在实际应用中zk和kafka常出问题,这里记录下在使用zk过程中的问题. 注:zk版本是3.4.8,kafka是0.8.2.0.zk.storm和kafka都是运行在同一个集群的三台机器上. CancelledKeyException 在开发环境测试的时候,一直没有问题,后来原样移植到测试环境下,zk总是出异常,导致kafka和storm连接丢失并重新发起连接请求.

原生的zookeeper的监听API所实现的方法存在一些缺点,对于开发者来说后续的开发会考虑的细节比较多. Curator所实现的方法希望摒弃原声API 的不足,是开发看起来更加的简单,一些重连等操作对开发者变成了透明操作,而不需要去考虑. 1. Curator的监听API Curator的监听实现是对zookeeper原生监听方法的高级封装,主要体现在两点:监听重复注册,事件发生信息.而且监听事件返回详细的信息,如变动的节点信息,节点的value等. Curator 提供了3个接口,包含在or

1.什么是dubbo? DUBBO是一个分布式服务框架(关于框架,其实就是配置文件加java代码),致力于提供高性能和透明化的RPC远程服务调用方案,是阿里巴巴SOA服务化治理方案的核心框架,每天为2,000+个服务提供3,000,000,000+次访问量支持,并被广泛应用于阿里巴巴集团的各成员站点. Dubbo是Alibaba开源的分布式服务框架,它最大的特点是按照分层的方式来架构,使用这种方式可以使各个层之间解耦合(或者最大限度地松耦合).从服务模型的角度来看,Dubbo采用的是一种非常简单

原生的zookeeper的监听API所实现的方法存在一些缺点,对于开发者来说后续的开发会考虑的细节比较多. Curator所实现的方法希望摒弃原声API 的不足,是开发看起来更加的简单,一些重连等操作对开发者变成了透明操作,而不需要去考虑. 1. Curator的监听API Curator的监听实现是对zookeeper原生监听方法的高级封装,主要体现在两点:监听重复注册,事件发生信息.而且监听事件返回详细的信息,如变动的节点信息,节点的value等. Curator 提供了3个接口,包含在or

此文已由作者杨凯明授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 1.背景 目前项目中使用的定时任务框架存在下面这些问题 没有统一的定时任务管理平台 目前项目中使用定时任务的方式比较混乱,有部分系统使用了cron插件,有部分系统直接使用的spring task注解配置,没有一个统一的管理平台.使用cron插件的定时任务的配置集成在ms后台,管理页面比较简陋,需要一个更加友好.功能更加完善的管理系统,专门负责定时任务的管理,包括定时任务的创建.修改.删除.触发.查看历史等

转自: http://blog.csdn.NET/zhdd99/article/details/52263609 微服务架构成了当下的技术热点,实现微服务是要付出很大成本的,但也许是因为微服务的优点太过于吸引人,以至于大部分开发者都将它当成未来的发展趋势. 微服务架构的演进过程 dubbo的用户手册中介绍了服务化架构的进化过程,如下图: 图一.服务化架构的演进过程         1.orm – 单一应用架构        一个高内聚版本,所有功能部署在一起.数据访问框架(orm)成为关键.这个

MQ:消息队列.生产者消费者模式,可用于对消息实时性要求不高的场景.多进程之间间接调用关系 Dubbo:RPC实现.多进程之间直接调用关系 dubbo 1,rpc的分布式集群支持:负载均衡是对外提供一个公共地址,请求过来时通过轮询.随机的形式来分摊压力,挂一台补一台2,结合zookeeper解藕:(提供者注册和消费者订阅)客户端和服务端启动的时候都会把自己的机器IP注册到zookeeper上.客户端会把zk上的服务端ip拉到磁盘上,并记录哪些ip提供哪些服务(服务端启动的时候暴露给zk).  

hbase regionserver 老挂掉: 添加如下: <property><name>hbase.regionserver.restart.on.zk.expire</name><value>true</value><description>Zookeeper session expired will force regionserver exit.Enable this will make the regionserver r

最近hbase集群很多region server挂掉,查看其中一个RegionServer1日志发现,17:17:14挂的时候服务器压力很大,有大量的responseTooSlow,也有不少gc,但是当时内存还有很多剩余,不是因为oom被kill 2018-03-13T17:17:13.372+0800: [GC (Allocation Failure) 2018-03-13T17:17:13.372+0800: [ParNew: 3280066K->256481K(3762880K), 0.0

https://www.cnblogs.com/leeSmall/p/9563547.html 一.Zookeeper介绍 1. 介绍Zookeeper之前先来介绍一下分布式 1.1 分布式主要是下面两个方面: 1) 任务拆分 任务拆分指的是把传统的单节点服务拆分成多个节点服务部署到不同的机器上对外提供服务.比如一个传统服务有订单+支付+物流等3个模块,拆分成订单系统.支付系统.物流系统3个服务.2) 节点分工 如上面的服务拆分后,订单系统.支付系统.物流系统各司其职说明: 分布式解决高可用,高

Hadoop 在hadoop中,zk主要用来实现HA(High Availability).这部分逻辑主要集中在hadoop common的HA模块中,HDFS的NameNode和Yarn的ResourceManager都是基于此HA模块来实现自己的HA功能的.同时,在YARN中又特别提供了zk来存储应用的运行状态. YARN Yarn主要由ResourceManager.NodeManager.ApplicationMaster和Container四部分组成. 其中最核心的就是RM,它作为全局

  本文版权归 远方的风lyh和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作.        [这里是在一台机器上搭建的 zk伪集群] 1.从官网下载下载zk http://apache.fayea.com/zookeeper/ 解压 并复制三套zk,这里我使用三台zk实例(server,演示使用3.4.7版本) 为什么使用三台zk? 在zookeeper的选举过程中,为了保证选举过程最后能选出leader,就一定不能出现两台机器得票相同的僵局,所以一般的,要求zk集群的se

一.Master选举 1. master选举原理: 有多个master,每次只能有一个master负责主要的工作,其他的master作为备份,同时对负责工作的master进行监听,一旦负责工作的master挂掉了,其他的master就会收到监听的事件,从而去抢夺负责工作的权利,其他没有争夺到负责主要工作的master转而去监听负责工作的新master. 本质其实是利用zookeeper的临时节点的特性:临时节点随着会话的消亡二消亡,同一个临时节点只能创建一个,创建失败的节点(从master)对创

Overview zk是一个典型的发布/订阅模式的分布式数据管理与协调框架,开发人员可以使用它来进行分布式数据的发布与订阅. 另一方面,通过对zk中丰富的数据节点进行交叉使用,配合watcher事件通知机制,可以非常方便地构建一系列分布式应用中都会涉及的核心功能,如数据发布/订阅.负载均衡.命名服务.分布式协调通知.集群管理.Master选举.分布式锁和分布式队列等. 典型应用场景及实现 zk是一个高可用的分布式数据管理与协调框架.基于对ZAB算法的实现,该框架能很好地保证分布式环境中数据的一致

一.分布式锁概述 Java中基于AQS框架提供了一系列的锁,但是当需要在集群中的多台机器上互斥执行一段代码或使用资源时Java提供的这种单机锁就没了用武之地,此时需要使用分布式锁协调它们.分布式锁有很多实现,基于redis.基于数据库等等,本次讨论的是基于zk实现分布式锁. 免责声明:下面的分布式锁是本人学习zk时根据其特性摸索出来的实现,并不代表业内权威做法,仅作为不同的思想碰撞出灵感的小火花之用,如有错误之处还望多多指教. 二.不可重入的分布式锁(有羊群效应,不公平锁) 首先比较容易想到的就

dubbo集群部署安装依赖于zookeeper,所以先安装zookeeper集群. 1.准备三台机器做集群 2.配置 配置java环境  ,2,修改操作系统的/etc/hosts文件,添加IP与主机名映射: 具体看这里 http://www.cnblogs.com/lihaoyang/p/8341760.html   2.下载zookeeper-3.4.10.tar.gz 到/data/program/software/目录, 在网上下载或者 # wget http://mirror.bit.e