去哪儿是如何做到大规模故障演练的？｜TakinTalks

【去哪儿是如何做到大规模故障演练的？｜TakinTalks】的更多相关文章

Eureka【故障演练分析】

1.应用服务启动前不可用假设eureka server服务在client应用服务启动之前挂掉,或者没有启动,这时应用服务依然可以正常启动,但是会有报错信息: 2019-10-13 14:40:41.056 INFO 79897 --- [ main] com.netflix.discovery.DiscoveryClient : Saw local status change event StatusChangeEvent [timestamp=1570948841056, current=U…

基于阿里云SLB/ESS/EIP/ECS/VPC的同城高可用方案演练

今天基于阿里云SLB/ESS/EIP/ECS/VPC等产品进行了一次同城高可用方案演练: 基本步骤如下: 1. 在华东1创建VPC网络VPC1,在华东1可用区B和G各创建一个虚拟交换机vpc1_switch 和 vpc1_switch_2_g: 2. 创建两个EIP,其中一个用于绑定到ECS上方便远程操作,另一个用于绑定到SLB上对外提供服务: 3. 在可用区G 创建一台ECS,同时将其中一个EIP绑定到该ECS上,远程登陆该ECS安装软件运行环境: 运行网站可以得到该ECS的内网IP: 4.…

Redis 哨兵机制以及灾难演练

#### 哨兵都采用这个配置即可 ##### 1.修改sentinel.conf配置文件 ![image](https://img2018.cnblogs.com/blog/1334966/201910/1334966-20191022165743993-90469300.png) ##### 2.禁止保护模式 protected-mode no protected-mode参数是为了禁止外网访问redis,如果启用了,则只能够通过lookback ip(127.0.0.1)访问Redis,…

golang 服务诡异499、504网络故障排查

事故经过排查总结事故经过 11-01 12:00 中午午饭期间,手机突然收到业务网关非200异常报警,平时也会有一些少量499或者网络抖动问题触发报警,但是很快就会恢复(目前配置的报警阈值是5%,阈值跟当时的采样窗口qps有直接关系). 报警当时非200占比已经过10%并且在持续升高,根据历史规律应该很快就会恢复,我们稍微观察了几分钟(一边吃着很香的饺子一边看着手机),但是过了几分钟故障没有恢复而且占比升高了突破50%,故障逐渐升级(故障如果不在固定时间内解决会逐渐升级,故障群每次升级都会…

互联网研发效能之去哪儿网(Qunar)核心领域DevOps落地实践

本文从业务目标角度出发,确定了开源+自建模式搭建 Qunar 研发工具链整体生态:通过 APPCODE 打通工具链,流程规范化自动化:多种手段+发布门禁助力质量提升:建立应用画像确定运维最小单元,可发布可运维:最后通过流水线加速整个流程更顺畅高效. 本文根据张春芳老师在[deeplus直播:逆袭生产力担当,云原生时代的运维新归宿]线上分享演讲内容整理而成.我自己为了消化里边的内容,整理了一个脑图,各位可以把图片打印下来对照着看,这样帮助更大,另外以后翻到这篇文章通过这个脑图也能大概了解主要内容.…

keepalived对nginx高可用演练脚本

keepalived对nginx高可用演练脚本参考文章:http://deidara.blog.51cto.com/400447/302402/ .安装nginx.keepalived.epel-release源 yum install -y epel-release yum install -y nginx yum install -y keepalived .配置好nginx .设置keepalived配置文件 #主机 vi /etc/keepalived/keepalived.conf…

在 Ali Kubernetes 系统中，我们这样实践混沌工程

在传统的软件测试中,我们通常通过一个给定的条件来判断系统的反馈,通过断言来判断是否符合预期,测试条件和结果通常比较明确和固定.而混沌工程,是通过注入一些“不确定”因素,象放进了一群淘气的猴子,在系统资源.可用性.安全性.延迟.压力等方面进行捣乱,而此过程中,要求系统可以毫无影响的提供服务,用户无感知. 这其实对系统的自愈能力,健壮性都有很高的要求.故障注入一般是指比较受控的一些实验条件,通过注入一些相对极端的异常场景,为系统提供可靠性测试的过程. 整体来说,混沌是一种故障注入规则,强调了一些不确…