计算机系统的可用性用平均无故障时间( MTTF)来度量,即计算机系统平均能够正常运行多长时间,才发生一次故障.系统的可用性越高,平均无故障时间越长. 可维护性用平均维修时间(MTTR)来度量,即系统发生故障后维修和重新恢复正常运行平均花费的时间.系统的可维护性越好,平均维修时间越短. 计算机系统的可用性定义为:MTTF/ (MTTF+MTTR) *%.

作者介绍 倪增光,饿了么BDI-大数据平台研发高级技术经理,曾先后就职于PPTV.唯品会.15年加入饿了么,组建数据架构team,整体负责离线平台.实时平台.平台工具的开发和运维,先后经历了唯品会.饿了么数据平台从无到有到不断完善的过程.   一.背景 饿了么BDI-大数据平台研发团队目前共有20人左右,主要负责离线&实时 Infra 和平台工具开发,其中包括20+组件的开发和维护.2K+ Servers 运维及数据平台周边衍生工具研发&维护.离线 Infra 和平台工具这一块对外分享的比

一致性问题 一致性算法是用来解决一致性问题的,那么什么是一致性问题呢? 在分布式系统中,一致性问题(consensus problem)是指对于一组服务器,给定一组操作,我们需要一个协议使得最后它们的结果达成一致. 更详细的解释就是,当其中某个服务器收到客户端的一组指令时,它必须与其它服务器交流以保证所有的服务器都是以同样的顺序收到同样的指令,这样的话所有的 服务器会产生一致的结果,看起来就像是一台机器一样. 实际生产中一致性算法需要具备以下属性: safety:即不管怎样都不会返回错误的结果

1. 前情回顾 RabbitMQ使用教程(一)RabbitMQ环境安装配置及Hello World示例 RabbitMQ使用教程(二)RabbitMQ用户管理,角色管理及权限设置 RabbitMQ使用教程(三)如何保证消息99.99%被发送成功? 在上一篇博客中,我们讲解了如何通过RabbitMQ的生产者确认机制,保证消息尽可能的成功的发送到RabbitMQ服务器,这只是从源头降低了消息丢失的几率,并没有真正解决之前提到的问题:如何保证RabbitMQ异常情况(人为重启.异常宕机等)下,队列和消

1. 前情回顾 RabbitMQ使用教程(一)RabbitMQ环境安装配置及Hello World示例 RabbitMQ使用教程(二)RabbitMQ用户管理,角色管理及权限设置 RabbitMQ使用教程(三)如何保证消息99.99%被发送成功? RabbitMQ使用教程(四)如何通过持久化保证消息99.99%不丢失? 截止目前,我们能够保证消息成功地被生产者发送到RabbitMQ服务器,也能保证RabbitMQ服务器发生异常(重启,宕机等)后消息不会丢失,也许你认为现在消息应该很安全了吧?其实

1. 简介 MQ虽然帮我们解决了很多问题,但是也带来了很多问题,其中最麻烦的就是,如何保证消息的可靠性传输. 我们在聊如何保证消息的可靠性传输之前,先考虑下哪些情况下会出现消息丢失的情况. 首先,上图中完整的展示了消息从生产到被消费的完整链路,我们通过图列举下各种情况. Producer在把Message发送到Broker的过程中,因为网络不可靠的原因,可能会出现Message还未发送到Broker就丢失,或者Message发送到了Broker,但是由于某种原因,消息未保存到Broker. Br

1. 前情回顾 RabbitMQ使用教程(一)RabbitMQ环境安装配置及Hello World示例 RabbitMQ使用教程(二)RabbitMQ用户管理,角色管理及权限设置 在以上两篇博客发布后不久,有细心的网友就评论,创建的队列和发送的消息,如果在没有启动消费者程序的时候,重启了RabbitMQ服务,队列和消息都丢失了. 这就引出了一个非常重要的问题,也是面试中经常会问的:在使用RabbitMQ时,如何保证消息最大程度的不丢失并且被正确消费? 2. 本篇概要 RabbitMQ针对这个问题

1. 本篇概要 RabbitMQ针对这个问题,提供了以下几个机制来解决: 生产者确认 持久化 手动Ack 本篇博客我们先讲解下生产者确认机制,剩余的机制后续单独写博客进行讲解. 2. 生产者确认 要想保证消息不丢失,首先我们得保证生产者能成功的将消息发送到RabbitMQ服务器. 但在之前的示例中,当生产者将消息发送出去之后,消息到底有没有正确地到达服务器呢?如果不进行特殊配置,默认情况下发送消息的操作是不会返回任何消息给生产者的,也就是默认情况下生产者是不知道消息有没有正确的到达服务器. 从b

论文记录:Identifying Encrypted Malware Traffic with Contextual Flow Data from:https://songcoming.github.io/lectures/%E8%AE%BA%E6%96%87%E8%AE%B0%E5%BD%95-Identifying-Encrypted-Malware-Traffic-with-Contextual-Flow-Data.html 0x00 本系列笔记是用来记录论文阅读过程中产生的问题与思考的随

基于Python实现的系统SLA可用性统计 1. 介绍 SLA是Service Level Agreement的英文缩写,也叫服务质量协议.根据SRE Google运维解密一书中的定义: SLA是服务与用户之间的一个明确的,或者不明确的协议,描述了在达到或者没有达到SLO(Service Level Objective)之后的后果. SLO通常需要SLI(Service Level Indicator)去描述,系统常见的指标有吞吐量(每秒钟可处理的请求数量).响应时间和可用性等,如系统的平均响应

SLA:服务等级协议(简称:SLA,全称:service level agreement).是在一定开销下为保障服务的性能和可用性,服务提供商与用户间定义的一种双方认可的协定.通常这个开销是驱动提供服务质量的主要因素. SLA的定义来源百度,这到底是什么意思呢? 我们平常经常看到互联网公司喊口号,我们今年一定要做到3个9.4个9,即99.9%.99.99%,甚至还有5个9,即99.999%. 这么多9代表什么意思呢? 首先,SLA的概念,对互联网公司来说就是网站服务可用性的一个保证.9越多代表全

在网站的界面完整有效的呈现在最终用户面前前,其中经历的每一环节出现问题都会导致网站页面不可访问.原因如,如DNS被劫持.网站交换机失效,硬盘损坏,网卡松掉,机房停电等都可能导致网站不可用(网站故障)情况出现.通常用多少个9来度量网站可用性,如QQ可用性99.99%,就意味着在一年中约有53分钟是不可用的.对于多数网站2个9是最基本的要求,即一年中要求不可用时间得小于88个小时.考核可用性通常用故障分类加权计算而得.具体参照“网站故障分类权重表示例”表. 可用性的作用是显而易见的,在上学期制作的X

SLA:服务等级协议(简称:SLA,全称:service level agreement).是在一定开销下为保障服务的性能和可用性,服务提供商与用户间定义的一种双方认可的协定.通常这个开销是驱动提供服务质量的主要因素. SLA的定义来源百度,这到底是什么意思呢? 我们平常经常看到互联网公司喊口号,我们今年一定要做到3个9.4个9,即99.9%.99.99%,甚至还有5个9,即99.999%. 这么多9代表什么意思呢? 首先,SLA的概念,对互联网公司来说就是网站服务可用性的一个保证.9越多代表全

SLA:服务等级协议(简称:SLA,全称:service level agreement).是在一定开销下为保障服务的性能和可用性,服务提供商与用户间定义的一种双方认可的协定.通常这个开销是驱动提供服务质量的主要因素. SLA的定义来源百度,这到底是什么意思呢? 我们平常经常看到互联网公司喊口号,我们今年一定要做到3个9.4个9,即99.9%.99.99%,甚至还有5个9,即99.999%. 这么多9代表什么意思呢? 首先,SLA的概念,对互联网公司来说就是网站服务可用性的一个保证.9越多代表全

HBase作为一个分布式存储的数据库,它是如何保证可用性的呢?对于分布式系统的CAP问题,它是如何权衡的呢? 最重要的是,我们在生产实践中,又应该如何保证HBase服务的高可用呢? 下面我们来仔细分析一下. 1. 什么是分布式系统的CAP? CAP是指一致性(Consistency).可用性(Availability)和分区容错性(Partition tolerance). Consistency 一致性 一致性指更新操作成功并返回客户端完成后,分布式系统中所有节点在同一时间的数据完全一致. 从

1.5 提高可用性-发布多节点的Node/Express网络应用程序 Kubernetes实战 - 从零开始搭建微服务 前言 在上一篇文章中,已经学习了如何简单地开发一个单层网络应用.[Kubernetes实战 - 从零开始搭建微服务 1 - 使用kind构建一个单层架构Node/Express网络应用程序] ,本文将在上一篇基础上,添加额外节点,目的在于提高可用性(high availability). 关于可用性 high availability 在软件产品环境下,如何提高服务稳定性,进而

2022年6月,腾讯云Redis全新升级,发布高性能版本,单节点可提供50W+吞吐,性能是原生Redis的4倍.同时,腾讯云Redis推出全球复制功能,解决原生Redis诸多痛点问题,可用性升级高达99.999%,助力企业实现降本增效. Redis作为全球最受欢迎的NoSQL数据库之一,凭借着极高的吞吐.极低的响应延迟和丰富的功能特性,成为企业在缓存场景中的首选方案.但在突发.热点访问及异地多活场景下,原生Redis方案会出现主从复制延迟.数据同步不连续.多地写入等问题,无法解决海量数据在规模.

摘要 ITU-T E.800建议书为服务质量(QoS)的研究和管理提供了一套通用术语.本建议书列出的与QoS相关的技术和非技术术语旨在代表电信市场所有各方(即用户.服务提供商.制造商和监管机构)的利益. 术语定义针对服务质量.一些术语在其它语境中可能有不同的定义,所以,应注意在适当语境中使用这些术语.有关QoS的完整术语,请参阅有关具体服务或性能特点的建议书. 来源 ITU-T E.800建议书是ITU-T第2研究组(2005-2008年)按照世界电信标准化全会(WTSA)第1号决议程序于200

前言 SLO和SLA是大家常见的两个名词:服务等级目标和服务等级协议. 云计算时代,各大云服务提供商都发布有自己服务的SLA条款,比如Amazon的EC2和S3服务都有相应的SLA条款.这些大公司的SLA看上去如此的高达上,一般是怎么定义出来的呢?本文就尝试从技术角度解剖一下SLA的制定过程. 说SLA不能不提SLO,这个是众所周知的,但是还有一个概念知道的人就不多了,那就是SLI(Service Level Indicator),定义一个可执行的SLA,好的SLO和SLI是必不可少的. 再有就

背景 伴随着业务复杂性的提高,系统的不断拆分,一个面向用户端的API,其内部的RPC调用层层嵌套,调用链条可能会非常长.这会造成以下几个问题: API接口可用性降低 引用Hystrix官方的一个例子,假设tomcat对外提供的一个application,其内部依赖了30个服务,每个服务的可用性都很高,为99.99%.那整个applicatiion的可用性就是:99.99%的30次方 ＝ 99.7%,即0.3%的失败率. 这也就意味着,每1亿个请求,有30万个失败:按时间来算,就是每个月的故障时间

RPC远程调用过程中如何防止服务雪崩效用 微服务中如何保护服务 Hystrix是一个微服务中关于服务保护框架,在分布式中能够实现对服务容错.出错之后的预备方案 背景 在今天,基于SOA的架构已经大行其道.伴随着架构的SOA化,相关联的服务熔断.降级.限流等思想,也在各种技术讲座中频繁出现.本文将结合Netflix开源的Hystrix框架,对这些思想做一个梳理. 伴随着业务复杂性的提高,系统的不断拆分,一个面向用户端的API,其内部的RPC调用层层嵌套,调用链条可能会非常长.这会造成以下几个问题: