关于zookeeper和zkfc的一些测试
1.停掉zookeeper集群
****进程影响******
zkfc:报错无法连接zookeeper.ClientCnxn java.net.connectexception:拒绝连接,但不会shutdown
nn :无影响,未发生切换或shutdown
****命令影响******
hdfs haadmin -failover nn2 nn1
失败 报错:因连接zkfc socket timeout导致operation failed,原因:failovercontroller是zkfc的一个模块,zkfc因无法连接zookeeper而无法正常工作
hdfs haadmin -transitionToActive --forceactive --forcemanual nn1
成功 作用:nn1变为active,nn2因为丢失latest epoch而shutdown 结论:transitionToActive/Standby命令与zkfc无关
2.停掉zkfc集群
****进程影响******
zookeeper: 一个候选地址拒绝连接,关闭socket
nn :无影响,未发生切换或shutdown
****命令影响******
hdfs haadmin -failover nn2 nn1
失败 报错:因无法连接zkfc(拒绝连接)导致operation failed,原因:failovercontroller是zkfc的一个模块,zkfc shutdown导致无法接收请求
hdfs haadmin -transitionToActive --forceactive --forcemanual nn1 成功 作用:nn1变为active,nn2因为丢失latest epoch而shutdown 结论:transitionToActive/Standby命令与zkfc无关,注:重启nn2后,有时会出现nn1会因不再持有最新epoch而shutdown
3.nn1 nn2均为standby状态
***执行mr操作****
mr客户端 报错:轮流连接两个nn,均返回——operation category read is not supported in state standby
2个nn端 报错:operation journal is not supported in state standby
***执行put操作****
同上
4.nn1 nn2均为active-脑裂
只有transition切换时会出现短暂的脑裂状态,但随后old nn就会因为丢失epoch值而shutdown,目前尝试的方法都无法模拟长时间acitve脑裂的现象
5.接下来需要测试的问题:
短暂脑裂后,旧acitve nn启动后转为standby状态,客户端是否会想两个nn都请求读、写,而standby nn是否还会发出delete要求
关于zookeeper和zkfc的一些测试的更多相关文章
- zookeeper部署及集群测试
zookeeper部署及集群测试 环境 三台测试机 操作系统: centos7 ; hostname: c1 ; ip: 192.168.1.80 操作系统: centos7 ; hostname: ...
- 消息中间件kafka+zookeeper集群部署、测试与应用
业务系统中,通常会遇到这些场景:A系统向B系统主动推送一个处理请求:A系统向B系统发送一个业务处理请求,因为某些原因(断电.宕机..),B业务系统挂机了,A系统发起的请求处理失败:前端应用并发量过大, ...
- zookeeper未授权访问渗透测试及修复方法
zookeeper未授权访问危害 服务器信息泄露.集群被破坏 一. 四字命令未授权使用 1.1 测试 工具:netcat ,Linux或Windows都可以测 命令行输入echo envi | nc ...
- zookeeper windows 入门安装和测试
一.序言 以下是我对zookeeper 的一些理解: zookeeper 作为一个服务注册信息存储的管理工具,好吧,这样说得很抽象,我们举个“栗子”. 栗子1号: 假设我是一家 ...
- zookeeper集群的python代码测试
上一篇已经讲解了如何安装zookeeper的python客户端,接下来是我在网上搜到的例子,举例应用环境是: 1.当有两个或者多个服务运行,并且同意时间只有一个服务接受请求(工作),其他服务待命. 2 ...
- zookeeper集群的搭建以及hadoop ha的相关配置
1.环境 centos7 hadoop2.6.5 zookeeper3.4.9 jdk1.8 master作为active主机,data1作为standby备用机,三台机器均作为数据节点,yarn资源 ...
- hadoop在zookeeper上的高可用HA
(参考文章:https://www.linuxprobe.com/hadoop-high-available.html) 一.技术背景 影响HDFS集群不可用主要包括以下两种情况:一是NameNode ...
- 分布式服务协调技术zookeeper笔记
本文主要学习ZooKeeper的体系结构.节点类型.节点监听.常用命令等基础知识,最后还学习了ZooKeeper的高可用集群的搭建与测试.希望能给想快速掌握ZooKeeper的同学有所帮助. ZooK ...
- zookeeper节点数与watch的性能测试
zookeeper中节点数量理论上仅受限于内存,但一个节点下的子节点数量受限于request/response 1M数据 (size of data / number of znodes) zooke ...
随机推荐
- 百度上传组件 WebUploader
WebUploader http://fex.baidu.com/webuploader/doc/index.html WebUploader API 文档详细解读 源码以及示例:https://gi ...
- Rails5 Model Document
创建: 2017/06/09 更新: 2017/06/21 更新: 2017/06/23 对待未完成的追加# TODO: 更新: 2017/06/29 修正文件名db/seed.rb ---> ...
- pyinstaller打包报错:AttributeError: 'str' object has no attribute 'items'
导致原因和python多数奇奇怪怪的问题一样,依赖包的版本问题. 解决办法: 对setuptools这个包进行升级,链接在这里 https://pypi.org/project/setuptools/ ...
- pip安装itchat模块成功后annocanda中No module named 'itchat'
在cmd中pip install itchat 成功后在annocanda中却出现了下面的情况: 经过查找网上各种查询,原来pip默认是把东西安装在系统python环境中,即C:\Python27\L ...
- 全面学习ORACLE Scheduler特性(10)管理Chains
5.2 管理Chains 5.2.1 修改Chains属性 基本上碰到修改CHAIN属性的机率不会太大,因此确实没啥可修改的,对于CHAIN对象来说,能够修改的属性只有两个:evaluation_ ...
- Cesium加载影像
注意:使用自定义数据源时,Cesium.Viewer类参数必须设置为 baseLayerPicker:false A. 使用天地图数据源 //天地图var provider=new Cesium.We ...
- ios基础笔试题-集锦二
前言 下文转载自:http://www.henishuo.com/objc-interview-two/ 1.即时聊天App不会采用的网络传输方式 A. UDP B. TCP C. HTTP D. F ...
- Ubuntu 16.04安装Kate文本编辑工具
Kate支持很多语言,比如NASM,比SBL3低那么一点,但是比Gedit好. 安装: sudo apt-get install kate 启动: 额外配置: 1.安装Kwrite sudo apt- ...
- Android电池电量跳变
高通平台8916/8917 对于第三方Fuel Gauge,跳变多是因为IC内部算法的问题,这样我们可以通过驱动来规避. 例如:usb在位时,要阻止电量的向下跳变. 当电量越级跳变时,要在驱动中能检测 ...
- Smarty的应用
smarty模板的核心是一个类,下载好的模板中有这么几个重要的文件夹 (1)libs核心文件夹(2)int.inc.php这是入口文件(3)plugins:自己写的插件文件夹(4)templates_ ...