前不久使用Keepalived搭建了Nginx双活代理服务器,以达到一个公网IP后支持多个云主机的多个域名网站的目的.完成后又想在这双活的Nginx上有所有访问网站的日志,之前有了解过Google Analytics, 及一些日志分析系统.后来终于找到并部署了几个开源的分析系统,包括AWStats,JAWStats及Piwik.使用它发现有一个问题比较烦,就是如何将2个Nginx的日志发送到分析服务器后合并分析. 一.需求 合并多台服务器同一域名网站的访问日志后,定时导入网站分析系统,生成网站分…

XP7双活的虚拟卷global active device (GAD)实际上对应两个存储的两个物理卷(有点儿像Mirror Disk镜像) 当主机A向阵列A发出写数据请求后,阵列A首先检查要被写入的数据块是否被阵列B锁定:1,如果没有锁定,则锁定阵列B对应的数据块,再把主机数据传递给阵列B,等待阵列B完成数据更新后,然后解除锁定,最后通知主机A数据写入完成.2,如果被锁定,则等待锁定解除,再执行上述步骤. 对上面锁机制的描述可以看到,这个锁机制与ORACLE RAC很类似.数据锁的粒度大小对整体…

571亿背后:DRC助阿里实现异地双活 赶集网SQL自动上线…

投资界有一句至理名言——“不要把鸡蛋放在同一个篮子里”.说的是投资需要分解风险,以免孤注一掷失败之后造成巨大的损失. 转发来自 如何利用MongoDB实现高性能,高可用的双活应用架构?http://developer.51cto.com/art/201803/568856.htm [51CTO.com原创稿件]投资界有一句至理名言——“不要把鸡蛋放在同一个篮子里”.说的是投资需要分解风险,以免孤注一掷失败之后造成巨大的损失. 随着企业服务窗口的不断增加,业务中断对很多企业意味着毁灭性的灾难,因此…

一简介:说说我们异地双活的集群 二 背景:需要建立异地双活的架构 三 构建 1 需要保证第二机房至少两个副本集DB,这样在第一机房挂掉后才能保证第二机房的可用性 2 集群状态下第二机房启用config/router,确保在第二机房提供可用性服务. 3 选择稳定的VPN,精简数据库容量,这里是因为由于网络的不稳定,很可能导致需要全量拷贝,由于双机房带宽有限,建议由mongodb本身进行全量拷贝,而不是copy_data,全量拷贝的加速就在于精简数据库容量,将历史数据切割出去,只保留业务所需的核心业…

Keepalived LVS-DR单网络双活双主配置模式 Linux就该这么学 今天 LVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统.LVS目前有三种IP负载均衡技术(VS/NAT.VS/TUN和VS/DR).十种调度算法(rrr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq),LVS在Unix-like系统中是作为一个前端(Director)存在的,又称为调度器,它本身不提供任何的服务,只是将通过互联网进来的…

有货RabbitMQ双活实践   消息服务中间件在日常工作中用途很多,如业务之间的解耦,其中 RabbitMQ 是比较容易上手且企业使用比较广泛的一种,本文主要介绍有货在使用 RabbitMQ 的一些实践与尝试. 有货的 RabbitMQ 部署架构采用双中心模式,在两套数据中心中各部署一套 RabbitMQ 集群,各中心的 RabbitMQ 服务除了需要为业务提供正常的消息服务外,中心之间还需要实现部分队列消息共享. 消息传递的可靠性 场景 1:生产者与消费者互不感知,怎么确认生产者已将消息投递…

Oracle数据库中心双活之道:ASM vs VPLEX 来源 https://www.cnblogs.com/wenjiewang/p/7460212.html 双活方案对比:ASM vs V-PLEX 作者:王文杰 Oracle公司 Principle system analyst Oracle高级服务部 Oracle数据库中心的灾备的演变,经历了多年的演变从最初的冷备份,到热备份,到存储复制,到DG,ADG,RAC one node, RAC,最终演变到了目前最炙手可热的双活双中心构架,也…

Mysql双主双活+keepalived实现高可用           文件夹 1.前言... 4 2.方案... 4 2.1.环境及软件... 4 2.2.IP规划... 4 2.3.架构图... 4 3.安装设置MYSQL半同步... 5 4.Keepalived实现MYSQL的高可用... 11       1.前言 近期研究了下高可用的东西,这里总结一下mysql主主双活的架构方案,总体上提高服务的高可用性.出现故障也不须要手动切换.提高总体的维护效率. 确定改造的话,仅仅须要让他们的程…

双活方案对比:ASM vs V-PLEX 作者:王文杰 Oracle公司 Principle system analyst Oracle高级服务部 Oracle数据库中心的灾备的演变,经历了多年的演变从最初的冷备份,到热备份,到存储复制,到DG,ADG,RAC one node, RAC,最终演变到了目前最炙手可热的双活双中心构架,也就是我们常说的远程RAC(Extended RAC). 一般售前工程师口中实现双活的方案有很多种,但我认为真正RTO,RPO趋近于0,且双中心可用(读写)的方案,才…

什么是"双活" 主备数据中心之间一般有热备.冷备.双活三种备份方式. 热备 热备的情况下,只有主数据中心承担用户的业务,此时备数据中心对主数据中心进行实时的备份,当主数据中心挂掉以后,备数据中心可以自动接管主数据中心的业务,用户的业务不会中断,所以也感觉不到数据中心的切换. 冷备 冷备的情况下,也是只有主数据中心承担业务,但是备用数据中心不会对主数据中心进行实时备份,这时可能是周期性的进行备份或者干脆不进行备份,如果主数据中心挂掉了,用户的业务就会中断. 双活 双活是觉得备用数据中心只…

#### 说明 Mysql主主互备即为两个mysql的互为备份机   ##### Windows下安装步骤(Linux下步骤类似,基本就是装上mysql,然后修改配置来完成主从的设置) - step1.下载mysql的zip包(目前测试版本为5.7.28不带debug的包)并解压两次,文件夹改名为master和slave,要安装两台机器或者一台机器用不同的端口装两个实例 - step2.在mster和slave文件夹下新建数据库配置文件my.ini(linux则直接在安装完成后修改my.conf…

一.安装nginx 我们这边默认安装的nginx的是1.12.2的版本,所以我们需要安装1.16.1版本的nginx的,才好,所以我们这边先更新yum源,步骤如下: 1.添加yum源: [root@shtw-nk08 sbin]# cd /etc/yum.repos.d/ [root@shtw-nk08 sbin]# vim nginx.repo [nginx-stable] name=nginx stable repo baseurl=http://nginx.org/packages/cen…

本文整理自李样兵在北京站 RocketMQ meetup分享美菜网使用 RocketMQ 过程中的一些心得和经验,偏重于实践. 嘉宾李样兵,现就职于美菜网基础服务平台组,负责 MQ ,配置中心和任务调度等基础组件开发工作. 今天主要从三个方面进行分享: 美菜网消息队列的历史 基于 RocketMQ 我们做了那些事情 同城双活的选型和思考 美菜网消息队列的历史 美菜网历史上是多套 MQ 并存,Kafka 用于大数据团队:NSQ 和 RocketMQ 用于线上业务. 多套集群存在的问题:1.维护和资…

1. 概述 现在很多高可用系统为了应对极端情况,比如主机宕机.网络故障以及机房宕机等灾难的发生,通常会部署主备架构(双机房),或者双活架构(双机房),甚至多活架构(三个机房或者以上),mongodb天然就适合部署双机房或者多机房,但是在发生机房宕机灾难时,也会遇到无法选举主节点的问题,本文重点讨论在主备或者双活架构下的mongodb的部署方案和切换方案,下文中的讨论以主备架构为例(双活同理). 2. 主备架构网络部署图 在主备架构部署方案中,用户请求都是路由到主机房,备用机房无用户请求,为了简化…

容灾全景图: 按照距离划分:分为本地容灾 同城容灾 异地容灾  本地容灾包括本地高可用和本地主备.(本数据中心的两机房.机柜) 本地高可用这个方案为了保持业务的连续性,从两个层面来考虑: ①一个是从主机.服务器这个层面考虑,假如这个服务器上的虚拟机或者业务挂了,可以自动的从其他服务器上把它拉活,以此来保证业务的连续性,主要是通过集群HA.DRS.DPM的这些特性. ②另一个就是从存储层面来考虑,使用的Hypermetro特性/ HyperMirror+SmartVirtualization(异构…

最开始有些概念需要弄明白: 1. 什么是RPO? Wiki: https://en.wikipedia.org/wiki/Recovery_point_objective A recovery point objective, or “RPO”, is defined by business continuity planning. It is the maximum targeted period in which data might be lost from an IT service d…

以0.68服务器为例 1.拷贝emcgrab_Linux_v4.7.10.tar到linux服务器并将其解压到/tmp目录下 tar -xvf emcgrab_Linux_v4.7.10.tar -C /tmp/ 2.进入到/tmp目录,执行emcgrab.sh脚本文件 回车执行后会以more格式弹出大量提示信息,直接空格键,跳过最后会跳出选项,一般有这种情况默认选Y 选完Y后类似刚执行以more格式弹出大量信息,空白格键直到弹出选项 收集信息中……… 到这里存储设备信息就收集完毕了,该文件保存…

mirror maker2背景 通常情况下,我们都是使用一套kafka集群处理业务.但有些情况需要使用另一套kafka集群来进行数据同步和备份.在kafka早先版本的时候,kafka针对这种场景就有推出一个叫mirror maker的工具(mirror maker1,以下mm1即代表mirror maker1),用来同步两个kafka集群的数据. 最开始版本的mirror maker本质上就是一个消费者 + 生产者的程序.但它有诸多诸多不足,包括 目标集群的Topic使用默认配置创建,但通常需要…

对于单机房而言,只要参考Elastic Search 官方文档,搭建一个集群即可,示意图如下: 原理类似分布式选举那一套,当一个master节点宕机时,剩下2个投票选出1个新老大,整个集群可以继续服务.对于核心系统,只部署单机房总归有点不保险,万一单机房故障就废了(比如:断电断网.或光缆被挖断).那有同学肯定会想,多弄几个机房,把集群中的节点分散到多个机房不就好了么? 理论上讲,上面这种结构是可行的,但实际应用中,要考虑的因素会更多: 1.1个机房变3个机房,这成本就得翻好几倍了,回想一下mys…

nginx作为负载均衡根据定义将不同的用户请求分发到不同的服务器,同时也解决了因单点部署服务器故障导致的整个应用不能访问的问题 在加入nginx之后,如果多个服务器中的一个或多个(不是全部)发生故障,均不影响用户的正常使用,会将用户请求分发到可以提供服务的服务器上 本节实例仅实现 一个nginx + 2个tomcat + redis实现java web应用的自由切换,并保持用户会话信息,对前端用户完全不可见. 会话的共享是为了保证用户在首次登录系统后已经后续的会话不会因为nginx重新分发到其他…

源地址:http://www.cnblogs.com/SuperXJ/p/3480929.html 数据复制技术很多,初步比较如下. 后面重点讨论银行最常用的存储复制和数据库复制..当然,我最推荐的还是应用方式..只有应用做好了才能做到真正的多活应用!!!银行需要加大研发力度, 摆脱厂商的束缚,长远来看,肯定是节约成本的.但是目前由于风险问题,还是很少这方面的尝试 类别 方案 描述 优点 缺点 应用 应用双写 应用同时连接两个数据库将数据写入的方式,或应用将产生的文件写入到两个存储位置. 数据保…

本系列会分析OpenStack 的高可用性(HA)概念和解决方案: (1)OpenStack 高可用方案概述 (2)Neutron L3 Agent HA - VRRP (虚拟路由冗余协议) (3)Neutron L3 Agent HA - DVR (分布式虚机路由器) (4)Pacemaker 和 OpenStack Resource Agent (RA) (5)RabbitMQ HA (6)MySQL HA 1. 基础知识 1.1 高可用 (High Availability,简称 HA)…

Neo 2016-1-29 | 发表评论 编者按:以云数据中心为切入点,首先对SDN领域中的叠加网络.SDN控制器.VxLAN 3种重要技术特点进行了研究,接下来对NFV领域中的通用服务器性能.服务链两类关键问题展开具体分析.最后,阐述了前期开展的SDN/NFV技术试验工 作进展及相关结论,并对VDC应用产品进行了展望. 1 引言 伴随着云计算技术的兴起,数据趋于大集中,传统电信系统网络架构成为阻碍云数据中心发展的巨大桎梏.为满足数据中心在云计算环境下的虚拟网络资源调度和共享需求,未来的数据中心…

IT技术开发人士成功的6大步骤 一个前辈在移民加拿大后写的文章,写得不错,值得借鉴,转来给大家看看,也给自己   序言:经过001多年的洗礼,认识了这里这么多的JJMMGGDD,前几天刚得到签证, 无限感慨 面对未来,我也不知道我31岁如何发展,尤其是我现在在北京还算过的去,各种机会都纷至沓来. 无论如何,我相信,世界上各种事物都有他们自己的原因,也结合自己在北京接近8年的感悟,写一个总结,我相信,世界上只要有人,无论是什么皮肤,总有人性可以探索,人作为"天生的政治动物"的本性,都是有…

0.前提条件 环境两台ubuntu版本14.04 64位系统(并获取root权限) 假设两台服务器ip为:172.16.34.214(master),172.16.34.215(backup),keepalived的虚拟ip为172.16.34.216 两台ubuntu系统上装好docker,版本如下   1.运行docker的nginx1.7.6镜像实例 拉取基于官方的nginx1.7.6镜像 #docker pull nginx:1.7.6新建nginx测试页面(同样在另外一台机子上就不重复…

RAC Data Guard (DG) EMC NAS SAN 双活 数据完整性 约束 : 主键 : 非空 且 唯一 非空 : 唯一 : 外键 : 检查 : DISABLE, ENABLE VALIDATE, NOVALIDATE 约束条件检查 执行语句时 (对于非延迟约束条件) 发出commit时 (对于延迟约束条件) 删除表 : drop table hr.employees purge; : 删除(不能反悔,无法闪回) drop table hr.employees cascade con…

Oracle RAC的优势在于利用多个节点(数据库实例)组成一个数据库,这样在保证了数据库高可用性的情况下更充分的利用了多个主机的性能,而且可以通过增加节点进行性能的扩展.实现Oracle RAC需要解决的关键问题就是多节点进行数据访问时如何保证数据的一致性,Oracle是通过各节点间的私有连接进行内存融合(cache fusion)来保证各节点数据访问的一致性.用一个例子来解释一下内存融合的过程,在存在A.B两个节点的RAC环境中,当A节点使用DML语句(如Update)对一个数据块中的数据进…

利用多写Redis实现分布式锁原理与实现分析   一.关于分布式锁 关于分布式锁,可能绝大部分人都会或多或少涉及到. 我举二个例子:场景一:从前端界面发起一笔支付请求,如果前端没有做防重处理,那么可能在某一个时刻会有二笔一样的单子同时到达系统后台. 场景二:在App中下订单的时候,点击确认之后,没反应,就又点击了几次.在这种情况下,如果无法保证该接口的幂等性,那么将会出现重复下单问题. 在接收消息的时候,消息推送重复.如果处理消息的接口无法保证幂等,那么重复消费消息产生的影响可能会非常大. 类似…

导读 过去的几个月内,UCloud对自身的云计算基础架构进行了全面升级,于日前宣布基础架构全面支持地域和可用区,并将可用区项目命名为Sixshot.通过这两层的设计架构来组织云服务,可以为用户提供高可用的云服务.随着可用区的推出,用户可以获得更灵活的资源规划能力和更强大的容灾设计能力. UCloud在很久之前就着手于可用区项目Sixshot的整体布局. 从2014年起UCloud 开始致力为分布在各个地区的数据中心建设高可用.高带宽的同城环网,将北京的多个主力机房的内网互相打通:其后在完善环网之…