Flink架构分析之HA
抽象
LeaderElectionService
这个接口用于从一组竞选者中选出一个leader,其start
方法需要传递一个LeaderContender
竞选者作为参数,如果有多个竞选者,则每一个竞选者都需要拥有自己的竞选服务类。
LeaderContender
需要竞选leader的候选者们需要实现本接口,即flink中所有需要进行leader选举的组件均会实现本接口。
LeaderRetrievalService
这个接口用于当leader改变的时候收到通知,并回调注册的LeaderRetrievalListener
。某些组件对其他组件的leader变更敏感(比如ResourceManager的leader变更则TaskExecutor就需要重新连接到该新的RM上),这些组件就可以创建LeaderRetrievalService
服务,实现其敏感组件leader变更后的业务逻辑。
LeaderRetrievalListener
当leader改时获取到新的leader地址和id,进而实现自定义的业务功能。比如:TaskExecutor
的resourceManagerLeaderRetriever
就启动了一个ResourceManagerLeaderListener
当新的ResourceManager
被选举为leader时进行重新连接到新的leader。
实现
采用curator
库中的LeaderLatch
实现leader选举。主要涉及LeaderLatch
和LeaderLatchListener
这两个类.LeaderLatchListener
接口的两个回调方法:
isLeader
: LeaderLatch的失去leader时会被调用notLeader
: LeaderLatch的获得leader时会被调用
但是这两个方法都是在LeaderLatch
状态转变中被调用,都有可能在这两个方法调用前,leader又改变了回去了,这种情况下唯一可以保证的就是,你可以预期另一个对应的方法也会很快被调用。所以实现中LeaderLatchListener
的方法被回调时必须再次调用LeaderLatch.hasLeadership()
进行确认。
想了解更多的同学可以参考curator相关文档LeaderLatch
ZooKeeperLeaderElectionService
ZooKeeperLeaderElectionService
实现了LeaderLatchListener
接口当其启动的LeaderContender
被选举为leader时isLeader
方法会被回调,然后调用LeaderContender
的grantLeadership
,实现类可以在该方法中实现自己的业务逻辑(比如job的recovery)完成后再调用LeaderElectionService
的confirmLeaderSessionID
把新的leader的地址和uuid写入到相应的zk node节点,然后注册监听了该zk node节点的相关LeaderRetrievalService
就会收到leader变化的通知从而进行相应的业务处理。
下图为用zookeeper实现leader选举的时序图。
相关组件
- Dispatcher 负责任务的提交,任务持久化,创建JobManagerRunner执行任务以及当master失败时进行任务恢复
- ResourceManager 负责资源的分配和回收
- WebMonitorEndpoint 负责服务前端RESTful调用
- JobManagerRunner 负责job级别的leader选举
Flink架构分析之HA的更多相关文章
- Flink架构分析之Standalone模式启动流程
概述 FLIP6 对Flink架构进行了改进,引入了Dispatcher组件集成了所有任务共享的一些组件:SubmittedJobGraphStore,LibraryCacheManager等,为了保 ...
- Flink架构分析之资源分配
Task Slot Flink中每个真正执行任务的TaskManager都是一个JVM进程,其在多线程环境中执行一个或者多个子任务.为了控制一个JVM同时能运行的任务数量,flink引入了ta ...
- Flink架构分析之RPC详解
主要抽象 Flink RPC 框架主要抽象了RpcService,RpcEndpoint,RpcGateway,RpcServer这几个接口,具体实现可以采用多种方式,比如:akka,netty Rp ...
- flink架构介绍
前言 flink作为基于流的大数据计算引擎,可以说在大数据领域的红人,下面对flink-1.7的架构进行逻辑上的分析并和spark做了一些关键点的对比. 架构 如图1,flink架构分为3个部分,cl ...
- Flink架构,源码及debug
序 工作中用Flink做批量和流式处理有段时间了,感觉只看Flink文档是对Flink ProgramRuntime的细节描述不是很多, 程序员还是看代码最简单和有效.所以想写点东西,记录一下,如果能 ...
- tomcat架构分析 (Session管理)
Session管理是JavaEE容器比较重要的一部分,在app中也经常会用到.在开发app时,我们只是获取一个session,然后向session中存取数据,然后再销毁session.那么如何产生se ...
- 主流图数据库Neo4J、ArangoDB、OrientDB综合对比:架构分析
主流图数据库Neo4J.ArangoDB.OrientDB综合对比:架构分析 YOTOY 关注 0.4 2017.06.15 15:11* 字数 3733 阅读 16430评论 2喜欢 18 1: 本 ...
- Magento架构分析,Magento MVC 设计分析
Magento架构分析,Magento MVC 设计分析 分类:Magento 标签:Magento MVC.Magento架构 669人浏览 Magento 采用类似 JAVA的架构,其扩展与稳定性 ...
- Flickr 网站架构分析
Flickr 网站架构分析 Flickr.com 是网上最受欢迎的照片共享网站之一,还记得那位给Windows Vista拍摄壁纸的Hamad Darwish吗?他就是将照片上传到Flickr,后而被 ...
随机推荐
- AOP:选择正确的时机进行编织
在本文中,我们将采用三种重要的实现的例子,来实践本文提出的概念.这三种 AOP 实现是 AspectJ,Spring 和 JBoss.通过比较他们在 Weave 时机方面的不同,来获得对于如何选择 W ...
- BZOJ1029:[JSOI2007]建筑抢修(贪心,堆)
Description 小刚在玩JSOI提供的一个称之为“建筑抢修”的电脑游戏:经过了一场激烈的战斗,T部落消灭了所有z部落的 入侵者.但是T部落的基地里已经有N个建筑设施受到了严重的损伤,如果不尽快 ...
- glusterfs分布式文件系统
第一:安装依赖包: yum install libibverbs librdmacm xfsprogs nfs-utils rpcbind libaio liblvm2app lvm2-devel ...
- linux 的常用命令---------第一阶段
ls -a 列出所有的文件,包括以 . 开头的隐藏文件 ls -d 列出目录本身,并不包含目录中的文件 ls -h 人类易读 ls -h 长输出 man 帮助使用手册 ...
- 多启动引导工具——AIO Boot
该软件功能十分强大 官网介绍的也十分详尽 这里仅仅简单标记一下用来以后查找 https://www.aioboot.com/en/ 效果图: 支持多语言: 简单运用:
- Alias自定义命令
[root@localhost etc]# type home --检查是否占用-bash: type: home: not found[root@localhost etc]# alias h ...
- 使用vue.js实现checkbox的全选和多个的删除功能
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 3 ...
- Test随笔
测试一级主题 测试二级主题 测试内容,修改会不会出现历史记录
- Kafka设计解析(十五)Kafka controller重设计
转载自 huxihx,原文链接 Kafka controller重设计 目录 一.Controller是做什么的 二.Controller当前设计 三.Controller组成 四.Controlle ...
- tcpdump 和 wireshark 的实用例子
tcpdump: 1.用 tcpdump 截取本机 ip 10.2.1.2 10050 端口的包 tcpdump -nnv -i eth0 host 10.2.1.2 and port 10050 ...