4 复制 REPLICATION 4.1 Sending Server(s) 4.1.1 max_wal_senders 数字型 默认: max_wal_senders = 10 , 为0表示启用流复制功能. 重启数据库生效 在主机(master)设置,是从机连接到master的并发连接数之和. 该并发连接数从进程上看,就是各个wal sender进程数之和. 该值不能超过系统的最大连接数(max_connections),可以允许超过实际的流复制用户数. 4.1.2 wal_keep_segm…

目录 PostgreSQL+pgpool-II复制方案 1. Pgpool-II介绍 2. pgpool-II安装 2.1 安装pgpool-II yum源,并安装pgpool-II 2.2 添加Pgpool-II运行用户 2.3 设置pcp.conf 2.4 设置Pgpool-II配置文件 2.5 配置backend信息 2.6 修改认证方式 2.7 测试pgpool-II同步 3. 安装pgpoolAdmin(不推荐) 3.1 解压pgpoolAdmin至web目录,使用户能访问其php 3…

本文主要介绍 Windows 环境下搭建 PostgreSQL 的主从逻辑复制,关于 PostgreSQl 的相关运维文章,网络上大多都是 Linux 环境下的操作,鲜有在 Windows 环境下配置的教程,所以本文采用 Windows 环境作为演示系统来进行 PostgreSQL 高可用数据库服务的搭建. 关于 Windows 系统 PostgreSQL 的安装方法可以直接看之前的博客 https://www.cnblogs.com/berkerdong/p/16645493.html 在Wi…

PostgreSQL 高可用数据库的常见搭建方式主要有两种,逻辑复制和物理复制,上周已经写过了关于在Windows环境搭建PostgreSQL逻辑复制的教程,这周来记录一下 物理复制的搭建方法. 首先介绍一下逻辑复制和物理复制的一些基本区别: 物理复制要求多个实例之间大版本一致,并且操作系统平台一致,如主实例是 Windows环境下的 PostgreSQL15 则 从实例也必须是这个环境和版本,逻辑复制则没有要求. 物理复制是直接传递 WAL归档 文件,在从实例进行重放执行,可以理解为实时的 W…

摘要: PostgreSQL同步复制搭建 一.初始化master节点 1. 安装PostgreSQL 2. 初始化db initdb -D /data/pg940_data 二.配置master节点 1. 修改postgresql.conf $ vim /data/pg940_data/postgresql.conf wal_level = hot_standby fsync = on synchronous_commit = on #同步复制必须设置为on wal_sync_method =…

postgresql 配置文件优化 配置文件 默认的配置配置文件是保存在/etc/postgresql/VERSION/main目录下的postgresql.conf文件 如果想查看参数修改是否生效,可以用psql连接到数据库后,用<show 选项名> 来查看.如果要修改shared_buffers, 在ubuntu下可能需要执行命令<sysctl -w>Managing Kernel Resources 主要选项 选项 默认值 说明 是否优化 原因max_connections…

Slony是PostgreSQL领域中最广泛的复制解决方案之一.它不仅是最古老的复制实现之一,它也是一个拥有最广泛的外部工具支持的工具,比如pgAdmin3.多年来,Slony是在PostgreSQL中复制数据的惟一可行的解决方案.Slony使用逻辑复制:Slony-I一般要求表有主键,或者唯一键:Slony的工作不是基于PostgreSQL事务日志的:而是基于触发器的:基于逻辑复制高可用性:PostgreSQL除了slony:还有Londiste,BDR等等后续文章会讲到 1. 安装Slony…

之前逻辑复制刚刚出来的时候就使用过,但是没有进行整理,这次一个项目需要逻辑复制的自动迁移,再次拾起逻辑复制. 在此之前有两个疑问: 1)同一个表,既有流复制,又有逻辑复制,这样数据会有两份吗? --不会,配置了流复制,从节点就不能配置逻辑复制了,因为是只读节点.不知道后面会不会修改? 但是主节点可以配置发布者进行发布,wal_level要配置为logical. 2)同一张表,在订阅端订阅两次,会不会允许? --允许,如果表没有配置primary key数据会写入两份.配置了主键,如果订阅了两次,…

PostgreSQL逻辑复制之slony篇 一.pglogical介绍 pglogical 是 PostgreSQL 的拓展模块, 为 PostgreSQL 数据库提供了逻辑流复制发布和订阅的功能. pglogical 重用了 BDR 项目中的一部分相关技术.pglogical 是一个完全作为PostgreSQL 扩展实现的逻辑复制系统.完全集成,它不需要触发器或外部程序.这种物理复制的替代方法是使用发布/订阅模型复制数据以进行选择性复制的一种高效方法.支持 PG10.9.6.9.5.9.4 ,…

以下正则可以过滤掉PostgreSQL配置文件被注释的部分,包括'#'前带空格的部分,但参数前带空格的部分不会过滤掉 postgres@linux-ij7j:/opt/pg8122/data> cat postgresql.conf | grep -Ev '^#|^$|^[[:space:]]+[#]'…

3 WAL WRITE AHEAD LOG 3.1 Settings 3.1.1 fsync 字符串 默认: fsync = on 开启后强制把数据同步更新到磁盘,可以保证数据库将在OS或者硬件崩溃的后恢复到一个一致的状态. 虽然关闭,可以提升数据库性能,但无法保证数据库崩溃后数据一致性. 通常情况下需要打开这个参数,除非能经受掉电或硬件故障带来的数据丢失,否则不要关闭. 3.1.2 wal_level 字符型 默认: wal_level = replica ,minimal.replica.l…

QA PgPool-II 同步 Postgresql X1 服务器准备 192.168.59.121 PostgreSQL10 192.168.59.120 PGPool-II 3.7 X2 安装PostgreSQL #M1 下载 $ https://yum.postgresql.org/ $ yum install https://download.postgresql.org/pub/repos/yum/10/redhat/rhel-7-x86_64/pgdg-centos10-10-2.n…

一.配置环境: 示例环境 主机名 IP 角色 系统版本 数据目录 pg版本 db1 192.168.128.128 主库 RedHat5.3 /app/postgreSQL/data 9.1.7 db2 192.168.129.129 备库 RedHat5.3 /app/postgreSQL/data 9.1.7 二.postgresql安装(略) 主库完全安装 .备库安装只需要到make install即可   不需要initdb. 三.主库配置(在192.168.128.128操作配置) 1…

OS: Red Hat Enterprise Linux Server release 6.5 (Santiago) PostgreSQL: postgresql-9.4.5.tar.bz2 master: 192.168.0.106 slave1: 192.168.0.108 slave2: 192.168.0.112 useradd -U postgres -p postgres 主备节点时钟同步: /usr/sbin/ntpdate asia.pool.ntp.org && /sbi…

待验证 在程序开发时,通常会经常修改spring的配置文件,不得不重启tomcat来加载spring配,费时费力.如果能在不重启tomcat的情况下,手动动态加载spring 配置文件,动态重启读取spring配置文件,这样会十分方便.spring貌似自带refresh刷新效果,只要获取到XmlWebApplicationContext,调用refresh即可. 代码如下: /** * 重新加载配置文件(只有想不到没有猜不到) * @Author        张志朋 * @param requ…

原理机制 参考--https://yq.aliyun.com/articles/51009 主备总体结构 PG主备流复制的核心部分由walsender,walreceiver和startup三个进程组成. walsender进程是用来发送WAL日志记录的 walreceiver进程是用来接收WAL日志记录的 startup进程是用来apply日志的 配置环境 主机名 IP地址 角色 数据目录 postgres202 192.168.1.202 primary /home/postgres/dat…

基本环境说明: os:FreeBSD 9.3 postgresql version: master:192.168.56.101 standby:192.168.56.102 安装过程略,基于pkg包 1.配置master端 # psql -U pgsql -d postgres -c "CREATE USER rep REPLICATION LOGIN ENCRYPTED PASSWORD 'password';" # cd /usr/local/pgsql # vim data/p…

转自:http://my.oschina.net/Kenyon/blog/152234PostgreSQL 9.2.4 主机:192.25.10.76 从机:192.25.10.71 做postgresql的流复制主从时,会遇到调整max_wal_sengers这个参数,官方文档对这个参数做了一个简要的说明(9.2.4比早先版本多了几句话并做了一些微调),但没有实际的例子. 1.参数说明: Specifies the maximum number of concurrent connection…

kafka 安装 wget http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz cp kafka_2.12-2.0.1.tgz  kafka.tgz sudo tar xzvf kafka.tgz --directory=/opt/java/kafka --strip 1 启动 kafka,需要先启动本地的 zookeeper,注意修改配置文件中zk的连接地址 /opt/kafka/bin/kafka-server-s…

在数字化时代的今天,我们都认同数据会创造价值.为了最大化数据的价值,我们不停的建立着数据迁移的管道,从同构到异构,从关系型到非关系型,从云下到云上,从数仓到数据湖,试图在各种场景挖掘数据的价值.而在这纵横交错的数据网络中,逻辑复制扮演着及其重要的角色. 让我们将视角从复杂的网络拉回其中的一个端点,从PostgreSQL出发,对其逻辑复制的原理进行解密. 1 概念与原理 逻辑复制,是基于复制标识复制数据及其变化的一种方法.区别于物理复制对页面操作的描述,逻辑复制是对事务及数据元组的一种描述. 图-…

Schema | Name | Result data type | Argument data types | Type ------------+-------------------------------------+------------------+---------------------------------------------------------------------------+-------- pg_catalog | pg_create_logical_re…

9 CLIENT CONNECTION DEFAULTS 9.1 Statement Behavior 9.1.1 search_path 字符型 默认:search_path = '"$user", public' 当以用户登录数据库时,默认先查找哪些数据库. "$user"表示同用户名 9.1.2 default_tablespace 字符型 默认:default_tablespace = '' 默认tablespace, ''使用系统默认值 9.1.3 tem…

6 错误操作和日志 ERROR REPORTING AND LOGGING 6.1 日志写到哪里 Where to Log 6.1.1 log_destination 字符串 默认: log_destination = 'stderr' , stderr, csvlog, syslog, and eventlog四选一 6.1.2 log_directory 字符串 默认: log_directory = 'log' 决定存放数据库运行日志文件的目录.可以是绝对路径,也可是相对路径(相对于数据库…

5 QUERY TUNING 5.1 Planner Method Configuration. 下列参数控制查询优化器是否使用特定的存取方法.除非对优化器特别了解,一般情况下,使用它们默认值即可. 5.1.1 enable_bitmapscan 布尔型 默认: enable_bitmapscan = on 打开或者关闭规划器对位图扫描规划类型的使用. 5.1.2 enable_hashagg 布尔型 默认: enable_hashagg = on 打开或者关闭查询规划器对散列连接规划类型的使用…

参考了别人的部分,添加了自己在实践中的内容,仅做记录. 1.同步流复制中 主机操作 1.1postgresql.conf wal_level = hot_standby # 这个是设置主为wal的主机 max_wal_senders # 这个设置了可以最多有几个流复制连接,差不多有几个从,就设置几个 wal_keep_segments # 设置流复制保留的最多的xlog数目 wal_sender_timeout = 60s # 设置流复制主机发送数据的超时时间 max_connections #…

2 资源使用(除WAL外) RESOURCE USAGE (except for WAL) 2.1 内存 Memory 2.1.1 shared_buffers 数字型 默认: shared_buffers = 128MB ,最小值128KB 重启数据库生效 影响postgresql性能的重要参数之一 共享缓冲区大小.postgresql对数据操作时都要先将数据从磁盘读取到内存中,然后进行更新,最后再将数据写回磁盘. shared_buffers的功能就是用于存放从磁盘读取的数据. 根据文档参数…

1 连接和认证 CONNECTIONS AND AUTHENTICATION 1.1 连接 CONNECTIONS 1.1.1 listen_addresses 字符型 默认: listen_addresses = 'localhost' 重启数据库生效 指定数据库用来监听客户端连接的TCP/IP地址.值是*表示服务器上所有的IP地址上监听用户请求. 可以写成机器的名字,也可以写成IP地址,不同的值用逗号分开,例如'server01', '140.87.171.49, 140.87.171.21…

解压PostgreSQL源代码包后可以到如下路径:postgresql-9.2.4\src\backend\replication下可以看到,basebackup.c,另外还可以看到walreceiver.c,walsender.c. basebackup做了什么一目了然: /*------------------------------------------------------------------------- * * basebackup.c * code for taking a…

8 AUTOVACUUM参数 AUTOVACUUM PARAMETERS 8.1 autovacuum 字符型 默认: autovacuum = on Enable autovacuum subprocess? 'on' ,requires track_counts to also be on. 表示是否开起autovacuum.特别的,当需要冻结xid(事务ID)时,尽管此值为off,PG也会进行vacuum. 8.2 log_autovacuum_min_duration 数字型 默认: l…

7 实时统计 RUNTIME STATISTICS 7.1 Query/Index Statistics Collector 下面的参数控制是否搜集特定的数据库运行统计数据 7.1.1 track_activities 布尔值 默认: track_activities = on 是否收集每个会话的当前正在执行的命令的统计数据,包括命令开始执行的时间. 7.1.2 track_counts 布尔值 默认: track_counts = on 是否收集数据库活动的统计数据. trackiotimin…