一.概况 1.概念 pgsql高可用集群采用postgresql+etcd+patroni+haproxy+keepalived等软件实现,以postgresql做数据库,etcd存储集群状态,patroni与etcd结合实现数据库集群故障切换,haproxy实现数据库高可用(读读写分离),keepalived实现VIP跳转. 2.拓扑图 二.postgresql部署(三个节点) 1.下载解压 https://www.enterprisedb.com/download-postgresql-bi

安装pgbouncer yum install libevent -y yum install libevent-devel -y wget http://www.pgbouncer.org/downloads/files/1.11.0/pgbouncer-1.11.0.tar.gz tar -xvf pgbouncer-1.11.0.tar.gz ./configure --prefix=/usr/local --with-libevent=libevent-prefix make make

环境: CentOS Linux release 7.6.1810 (Core) 内核版本:3.10.0-957.10.1.el7.x86_64 node1:192.168.216.130 node2:192.168.216.132 node3:192.168.216.134 postgres内核优化指南:https://github.com/digoal/blog/blob/master/201611/20161121_01.md?spm=a2c4e.10696291.0.0.660a19a4

环境: CentOS Linux release 7.6.1810 (Core) 内核版本:3.10.0-957.10.1.el7.x86_64 node1:192.168.216.130 node2:192.168.216.132 node3:192.168.216.134 VIP:192.168.216.138 基础环境准备 优化内核参数cat /etc/sysctl.conf net.netfilter.nf_conntrack_tcp_be_liberal=1 vm.swappiness

此文是根据赵磊在[QCON高可用架构群]中的分享内容整理而成.转载请事先联系赵磊及相关编辑. 赵磊,Uber高级工程师,08年上海交通大学毕业,曾就职于微软,后加入Facebook主要负责Messenger的后端消息服务.这个系统在当时支持Facebook全球5亿人同时在线.目前在Uber负责消息系统的构建并推进核心服务在高可用性方向的发展. 前言 赵磊在7月21号的全球架构师峰会深圳站上,做了主题演讲:Uber高可用消息系统构建,对于这个热门主题,高可用架构群展开了热议,大家对分布式系统中的各

前言: 继上一篇,介绍 CYQ.Data 在分布式缓存上支持高可用,详见:CYQ.Data 对于分布式缓存Redis.MemCache高可用的改进及性能测试 本篇介绍 CYQ.Data 在对数据库层面对分布式数据库的主从备的高可用的及负载调度. 目前框架支持的数据库(及缓存)种类为: Support:Txt.Xml.Access.Sqlite.Mssql.Mysql.Oracle.Sybase.Postgres.Redis.MemCache. 下面就开始介绍: 1.数据库集群与负载的高可用: 1

一.activeMQ主要的几类部署方式比较1.默认的单机部署(kahadb)activeMQ的默认存储的单机方式,以本地kahadb文件的方式存储,所以性能指标完全依赖本地磁盘IO,不能提供高可用. 2.基于zookeeper的主从(levelDB Master/Slave)5.9.0新推出的主从实现,基于zookeeper来选举出一个master,其他节点自动作为slave实时同步消息.因为有实时同步数据的slave的存在,master不用担心数据丢失,所以leveldb会优先采用内存存储消息

一.实现Grafana高可用 1.Grafana实现高可用性有两步: >>使用共享数据库存储仪表板,用户和其他持久数据>>决定如何存储会话数据. 2.Grafana高可用部署图 二 grafna代理配置 1.nginx配置 选取一台机器做主节点配置: cd /data/edsp-monitor-server/etc # grafana upstream gf{ ip_hash; server 主机ip:3000; server 其他机器ip:3000; server 其他机器ip:

patroni 是一个基于zk.etcd .consul 等的pg ha 模版,我们可以使用这个工具,快速的搭建一套 pg 的高可用方案 环境准备 mac 操作系统 安装基础差组件 brew install postgresql etcd haproxy libyaml python 安装python依赖 pip install patroni[etcd] 测试 clone 测试代码 git clone https://github.com/zalando/patroni.git 服务启动 et

http://blog.csdn.net/qguanri/article/details/51151974 需求描述 我们有两台centos7的数据库主机A.B.要对A.B实现双机热备,A作为数据库master主机,对外提供读写服务,B作为slave主机能实时同步A的数据.当A发生故障时,B从slave状态切换到master状态,以保证pg数据库能正常对外提供服务. 经过调研,最终我们给出的解决方案是采用pacemaker和corosync组件来实现postgresql的高可用. 所有部署脚本可

高可用.负载均衡和复制 1. 不同方案的比较 共享磁盘故障转移 共享磁盘故障转移避免了只使用一份数据库拷贝带来的同步开销. 它使用一个由多个服务器共享的单一磁盘阵列.文件系统(块设备)复制 DRBD是用于 Linux 的一种流行的文件系统复制方案.事务日志传送 温备和热备服务器能够通过读取一个预写式日志(WAL) 记录的流来保持为当前状态.如果主服务器失效, 后备服务器 拥有主服务器的几乎所有数据, 并且能够快速地被变成新的主数据库服务器.这可以是同步的或异步的, 并且只能用于整个数据库服务器.

前言 本文Harbor高可用依照Harbor官网部署,主要思路如下,大家可以根据具体情况选择搭建. 部署Postgresql高可用集群.(本文选用Stolon进行管理,请查看文章<kubernetes下Stolon部署高可用Postgresql>) 部署redis高可用集群.(本文选用Helm对redis进行高可用部署,请查看文章<kubernetes部署高可用redis>,该文以整理好redis编排文件可直接使用) 部署Harbor高可用集群.(本文主要阐述Harbor的高可用部

目录 前言 ....前言 本文选用Stolon的方式搭建Postgresql高可用方案,主要为Harbor提供高可用数据库,Harbor搭建可查看kubernetes搭建Harbor无坑及Harbor仓库同步,之后会提供redis高可用及Harbor高可用方案搭建 方案比较 几种postgresql高可用方案简单比较: 引用https://studygolang.com/articles/19002?fr=sidebar 首先repmgr这种方案的算法有明显缺陷,非主流分布式算法,直接pass:

文档结构: 由于博主之前是Oracle dba,oracle 高可用一般是rac,以及搭建ADG,一个是基于实例的高可用,一个是基于数据的容灾,甚至也有rac+adg的方式.Postgres有同步和异步两种同步方式,我发现,mysql,oracle,postgresql 这两种同步模式原理都是一个德行,可能都是绕不开关系型数据库吧. 异步方式主库上的事务不会等待备库接受日志流发出确认信息后主库才向客户端返回成功,同步方式事务会主库等待至少一个备库接受日志流发出确认信息后便返回成功:很明显,异步时

之前介绍Harbor私有仓库的安装和使用,这里重点说下Harbor高可用集群方案的部署,目前主要有两种主流的Harbor高可用集群方案:1)双主复制:2)多harbor实例共享后端存储. 一.Harbor双主复制高可用集群 1)主从同步harbor官方默认提供主从复制的方案来解决镜像同步问题,通过复制的方式,我们可以实时将测试环境harbor仓库的镜像同步到生产环境harbor,类似于如下流程: 在实际生产运维的中,往往需要把镜像发布到几十或上百台集群节点上.这时,单个Registry已经无法满

之前介绍Harbor私有仓库的安装和使用,这里重点说下Harbor高可用集群方案的部署,目前主要有两种主流的Harbor高可用集群方案:1)双主复制:2)多harbor实例共享后端存储. 一.Harbor双主复制高可用集群 1)主从同步harbor官方默认提供主从复制的方案来解决镜像同步问题,通过复制的方式,我们可以实时将测试环境harbor仓库的镜像同步到生产环境harbor,类似于如下流程: 在实际生产运维的中,往往需要把镜像发布到几十或上百台集群节点上.这时,单个Registry已经无法满

Gitlab 11.9.1 高可用教程 一. PostgreSQL数据迁移 由于默认Gitlab的安装会内置Postgres数据库,并且没有对外,所以我们需要通过设置对应的Gitlab的配置将其中的数据库对外, 以便于我们将其中的数据导出到外部的数据库. 1. 公开PostgreSQL连接 这里将把PostgreSQL公开对外. vi /etc/gitlab/gitlab.rb postgresql['listen_address'] = '0.0.0.0' postgresql['port']

高可用Harbor搭建 思路及介绍 Harbor官方有推出主从架构和双主架构来实现Harbor的高可用及数据备份.   一.主从架构:  说白了,就是往一台Harbor仓库中push镜像,然后再通过这台Harbor分散下发至所有的从Harbor,类似下图: 这个方法保证了数据的冗余性,但是仍然解决不了Harbor主节点的单点问题,当业务量足够大时,甚至会引起主节点崩溃.   二.双主架构: 双主复制就是两套Harbor的数据互相同步,来保证数据的一致性,然后两套Harbor的前端再挂一层负载,来

高可用harbor集群搭建 一.安装部署 1.节点角色 角色 数量 名称 备注 harbor主节点 2 harbor-1 harbor-2 双主模式 haproxy 2 HA-1 HA-2 需要通过keepalived绑定vip Redis 高可用集群 redis harbor组件,本地启动或远程配置 postgresql 高可用集群 postgres harbor组件,本地启动或远程配置 ceph 高可用集群 ceph harbor组件 2.离线安装 1.下载离线源码包解压至harbor-1

生产环境搭建高可用Harbor(包括恢复演练实操) 前言 因资源成本问题,本Harbor高可用架构为最小开销方案,如果资源充足,可以将PG.Redis全部使用使用云厂商集群模式. 同时为了配置简单,并没用使用keepalived与heartbeat等高可用开源组件. 准备工作 阿里云SLB 阿里云ECS 共享存储 Redis 最小实例SLB 2c4g 俩台 阿里云NFS 阿里云Redis 操作系统为Ubuntu18.04,在俩台ECS上搭建主从PG,如果不想用阿里云redis,也可以使用ECS搭