1 问题 一般来说,在实际运行中,ceph monitor的个数是2n+1(n>=0)个,在线上至少3个,只要正常的节点数>=n+1,ceph的paxos算法能保证系统的正常运行.所以,对于3个节点,同时只能挂掉一个.一般来说,同时挂掉2个节点的概率比较小,但是万一挂掉2个呢? 如果ceph的monitor节点超过半数挂掉,paxos算法就无法正常进行仲裁(quorum),此时,ceph集群会阻塞对集群的操作,直到超过半数的monitor节点恢复. If there are not enoug

Mongodb5节点异地两中心故障转移恢复测试案例 架构方式:5节点,主中心(2数据1仲裁),备中心(1数据1仲裁) 1基本情况 操作系统:Red Hat Enterprise Linux Server release 6.3 (Santiago) Mongodb版本:db version v3.6.3 Mongodb架构: Ip,端口规划 "hosts" : [##数据节点 "10.15.7.114:28001",#主中心 "10.15.7.114:28

本文档简述了Kubernetes主节点灾备恢复的相关步骤,供在发生k8s master崩溃时操作. 就算是在k8s里部署了etcd群集, 主节点控制组件的高可用节点,灾备恢复也是必须要实现的操作,才能形成完备的企业级服务方案. K8s集群在master节点发生故障时,并不会影响已有的pod运行和服务开放,所以对服务是没有影响的.故而我们可以在发生故障之后,挑选合适的时间窗口进行维护和恢复,可以对外部客户造成最低的影响. 严格来讲,通过kubeadm安装的k8s主节点包括两大类的灾备恢复,etcd

Vertica集群单节点宕机恢复方法 第一种方法: 直接通过admintools -> 5 Restart Vertica on Host 第二种方法: 若第一种方法无法恢复,则清空宕机节点的catalog 和 data目录 比如 v_testdb_node0001_catalog/ v_testdb_node0001_data/ 然后从其他节点拷贝catalog目录下的vertica.conf,然后恢复.

xtrabackup 对pxc节点进行备份恢复 全量备份一个节点的数据,当节点挂掉时,使用备份恢复到最近状态,再启动节点加入集群. 备份 xtrabackup 命令小解释: --defaults-file=/etc/my.cnf : 指定pxc配置文件,默认/etc/my.cnf,手动指定该参数需要置于第一位,此配置文件里必须指定datadir --user=root : 用户 --password=*** : 密码 --socket=/tmp/mysql-pxc.sock : sock 文件

一.测试环境描述 之前我们已快速部署好一套Ceph集群(3节点),现要测试在现有集群中在线方式增加节点 如下表中可以看到增加节点node004具体配置 主机名 Public网络 管理网络 集群网络 说明 admin 192.168.2.39 172.200.50.39 --- 管理节点 node001 192.168.2.40 172.200.50.40 192.168.3.40 MON,OSD node002 192.168.2.41 172.200.50.41 192.168.3.41 MO

前言 cephfs 在L版本已经比较稳定了,这个稳定的意义个人觉得是在其故障恢复方面的成熟,一个文件系统可恢复是其稳定必须具备的属性,本篇就是根据官网的文档来实践下这个恢复的过程 实践过程 部署一个ceph Luminous集群 [root@lab102 ~]# ceph -v ceph version 12.2.5 (cad919881333ac92274171586c827e01f554a70a) luminous (stable) 创建filestore ceph-deploy osd c

之前在Blog中对RMAN 的备份和恢复做了说明,刚看了下,在恢复这块还有知识点遗漏了. 而且恢复这块很重要,如果DB 真要出了什么问题,就要掌握对应的恢复方法. 所以把DB的恢复这块单独拿出来说明一下. RMAN 备份与恢复 实例 http://blog.csdn.net/tianlesoftware/archive/2009/10/19/4699320.aspx 如何搭建一个数据库服务器平台 http://blog.csdn.net/tianlesoftware/archive/2010/0

linux内核启动修复 首先看linux内核重要文件grub.conf # grub.conf generated by anaconda # # Note that you do not have to rerun grub after making changes to this file # NOTICE: You have a /boot partition. This means that # all kernel and initrd paths are relative to /b

一.故障描述 成都某客户,存储损坏,数据库崩溃.重组存储,恢复数据库文件,发现有四个ndf文件大小变为0 KB.数据库大小约80TB.数据库中有1223个文件,数据库每10天生成一个NDF文件,每个NDF大约500GB,数据库包含两个LDF文件.二.故障分析    存储损坏,NDF文件大小变为0 KB,根据NDF文件在磁盘上可能存在.可以通过编写数据库扫描碎片程序,扫描数据库碎片.拼接碎片恢复NDF文件,然后修复数据库. 三.恢复过程1 磁盘扫描,扫描数据库碎片2 拼接碎片     根据NDF文

1. 配置系统环境 主机名,ssh互信,环境变量等 本文略去jdk安装,请将datanode的jdk安装路径与/etc/hadoop/hadoop-evn.sh中的java_home保持一致,版本hadoop2.7.5 修改/etc/sysconfig/network 然后执行命令hostname 主机名这个时候可以注销一下系统,再重登录之后就行了 [root@localhost ~]# hostname localhost.localdomain [root@localhost ~]# hos

目录 Atals 介绍 Atlas 主要功能 Atlas 相对于官方 MySQL-Proxy 的优势 Atlas 使用 Atlas 安装 Atlas 目录 Atlas 配置 Atlas 启动 Atlas 使用 Atlas + MHA 故障恢复 Atlas 自动恢复思路 Atlas + MHA 恢复脚本 MHA 恢复脚本 Atals 介绍 Atlas 主要功能 读写分离 从库负载均衡 IP 过滤 自动分表 DBA 可平滑上下线 DB 自动摘除宕机的 DB Atlas 相对于官方 MySQL-Pro

研究了一段时间Consul,想写个攻略来着,但太赖了而且表达能力非正常人...今天发现HashiCorp果然接纳大众意见改了点东西.. 场景是: 假如Consul集群内有三个Server Node 时,当一个节点突然挂掉了,想要重连怎么办. 在之前的版本中方案有两种: 1.部署完集群后将consul-data\raft\peers.json内的文件先备份,等到有节点挂掉后将peers.json文件替换成之前备份的文件然后通过-rejoin 如:consul agent -server -conf

服务器重启后,集群报错: [root@SHH-HQ-NHS11S nhsuser]# redis-cli -c -h ip -p 7000ip:7000> set cc dd(error) CLUSTERDOWN Hash slot not served 检查集群节点情况 > cluster nodes c0767666bee76e5e0dc67f24031a3e1b574235cc :7000@17000 myself,master - 0 0 0 connected 发现集群的节点只剩一个

问题描述:情形是当主库真正出现异常之后,才会执行的操作,那么我们执行过failover 之后,如何在重新构建DG,这里我们利用flashback database来重构.模拟前主库要开启闪回区,否则要重新搭建DG了 1.由于主库已经不可访问,下面所有的操作都在备库完成,先取消实时同步 SQL> alter database recover managed standby database cancel; 2.强制取消redo接收 3.确认一下备库 4.切换为物理主库,然后open,确认一下切换成

问题描述:Linux VM异常重启,需要排查问题原因 排查结果: 查询Messages日志获取到的信息 虚拟机内核版本: Jun :: test01 kernel: Linux version -.el6.x86_64 (mockbuild@worker1.bsys.centos.org) ( (Red Hat -) (GCC) ) # SMP Tue May :: UTC 查看到虚拟机重启时间约为:2019/6/20 03:34 CST Jun :: test01 kernel: hv_uti

<pre name="code" class="html">如果在连接时候zk服务器宕机 To create a client session the application code must provide a connection string containing a comma separated list of host:port pairs, each corresponding to a ZooKeeper server (e.g. &q

MariaDB集群Galera Cluster的研究与测试 Galera Cluster是MariaDB的一个双活多主集群,其可以使得MariDB的所有节点保持同步,Galera为MariaDB提供了同步复制(相对于原生的异步复制),因此其可以保证HA,且其当前仅支持XtraDB/InnoDB存储引擎(扩展支持MyISAM),并且只可在Linux下使用.Galera Cluster拥有以下特性: 真正的多主架构,任何节点都可以进行读写 同步复制,各节点间无延迟且节点宕机不会导致数据丢失 紧密耦合

原文链接http://www.sxt.cn/info-2730-u-756.html 目录 Spark开发指南 简介 接入Spark Java 初始化Spark Java 弹性分布式数据集 并行集合 外部数据集 RDD操作 基本操作 传递Functions到Spark Wroking with Key-Value Pairs使用键/值对工作 转换 动作 RDD持久化 存储级别的选择 移除数据 共享变量 Spark开发指南 简介 总的来说,每一个Spark应用程序,都是由一个驱动程序组成,它运行用

Spark 编程指南 概述 Spark 依赖 初始化 Spark 使用 Shell 弹性分布式数据集 (RDDs) 并行集合 外部 Datasets(数据集) RDD 操作 基础 传递 Functions(函数)给 Spark 理解闭包 示例 Local(本地)vs. cluster(集群)模式 打印 RDD 的 elements 与 Key-Value Pairs 一起使用 Transformations(转换) Actions(动作) Shuffle 操作 Background(幕后) 性能

概述 在高层次上,每个Spark应用程序都由一个运行用户main方法的driver program组成,并在集群上执行各种 parallel operations.Spark提供的主要抽象是resilient distributed dataset (RDD),它是可以并行操作的群集节点之间分配的元素的集合.RDD是由Hadoop文件系统(或任何其他Hadoop支持的文件系统)中的文件或驱动程序中的现有Scala集合开始,并进行转换创建的.用户还可以要求Spark在内存中保留RDD,从而在并行操