QQ 相册后台存储架构重构与跨 IDC 容灾实践

【QQ 相册后台存储架构重构与跨 IDC 容灾实践】的更多相关文章

QQ 相册后台存储架构重构与跨 IDC 容灾实践

欢迎大家前往云加社区,获取更多腾讯海量技术实践干货哦~ 作者简介:xianmau,2015 年加入腾讯 TEG 架构平台部,一直负责 QQ 相册平台的维护和建设,主导相册上传架构重构和容灾优化等工作.主要研究方向为口语对话系统.分布式系统架构设计和优化,发表对话系统相关学术论文 3 篇,系统架构相关专利 2 篇. 本文由腾讯技术工程官方号发布在云加社区. 写在前面 QQ 相册作为重量级资深业务,稳定运营.有效容灾,一直是相册团队追求的目标.QQ 相册架构一直在演变进化,本文重点介绍相册最新的一次…

infoq 微信后台存储架构

infoq 上微信后台存储架构视频很是值得认真一听,大概内容摘要如下: 主要内容:同城分布式强一致,园区级容灾KV存储系统 - sync 序列号发生器移动互联网场景下,频繁掉线重连,使用 sync 消息协议是非常理想的.相比于推送协议,更加可靠.实现简洁(不需要考虑离线消息).从陌陌分享看,也使用sync机制. 可靠高效的序号发生器特别重要的,遗憾的是没给讲讲消息的存储机制. - 一致性hash 实现方式节点hash 值可能冲突快速初始化 …

传统业务上云：跨AZ容灾架构解析

本文由网易云发布. 数字化转型浪潮之下,采用云计算服务提升业务敏捷性.降低运维成本,成为了传统企业的优选方案.网易云资深解决方案架构师张亮通过某物流企业客户的实际案例,分享了传统业务系统在云上的架构设计如何满足数据高可靠.业务高可用的需求,并总结了传统业务上云的常见问题和解决方案. 物流企业业务系统上云需求对于物流企业来说,内部沟通.供应链协同对优化供应链效率提升核心竞争力非常重要.作为行业翘楚,该物流企业客户建立了一个企业级移动办公平台,该平台集成了即时通讯(IM).企业内部的ERP.O…

ceph 对象存储跨机房容灾

场景分析每个机房的Ceph都是独立的cluster,彼此之间没有任何关系. 多个机房都独立的提供对象存储功能,每个Ceph Radosgw都有自己独立的命名空间和存储空间. 这样带来两个问题: 针对Radosgw来说,我们的业务没法提供统一的命名空间: 没有机房级别的容灾,若一个机房Radosgw无法访问,则机房提供的对象存储瘫痪: Realm: Zonegroup: 理解为数据中心,由一个或多个Zone组成,每个Realm有且仅有一个Master Zonegroup,用于处理系统变更,其他…

万亿级KV存储架构与实践

一.KV 存储发展历程我们第一代的分布式 KV 存储如下图左侧的架构所示,相信很多公司都经历过这个阶段.在客户端内做一致性哈希,在后端部署很多的 Memcached 实例,这样就实现了最基本的 KV 存储分布式设计.但这样的设计存在很明显的问题:比如在宕机摘除节点时,会丢数据,缓存空间不够需要扩容,一致性哈希也会丢失一些数据等等,这样会给业务开发带来的很多困扰. 随着 Redis 项目的成熟,我们也引入了 Redis 来解决我们上面提到的问题,进而演进出来如上图右侧这样一个架构.大家可以看到,…

腾讯云COS对象存储占据数据容灾C位

说到公有云容灾,大家首先想到的是云上数据备份. 然而,随着企业核心业务逐渐从线下迁移到云上,客户提出了更高的要求.如何确保云上业务的高可用.数据的高可靠,这对云厂商提出了新的挑战. 腾讯云作为全球领先的云厂商,服务了上百万家客户.在公有云服务之初,就凭借自身业务的多年积累,从机房基础设施建设,到计算.存储.网络.安全等各种服务,为客户在云上构建高可用.数据高可靠的业务,提供了完善的产品和解决方案. 业务的容灾涉及到诸多方面,以典型的三层架构为例,架构上要确保每一层都具备高可用能力,才能保障整体业…