pgpool-II 高可用搭建
pgpool-II主备流复制的架设
1.环境
OS: CentOS release 6.4 (Final)
DB: postgresql 9.3.6
pgpool服务器: pgpool 172.16.0.240
数据库主服务器:master 172.16.0.241
数据库从服务器:slave 172.16.0.242
其中主从数据库使用的流复制,并且已经配置完毕,新配置的pgpool使用postgres用户进行管理。新架构使用的主备模式外加流复制,此架构支持流复制、负载均衡、故障恢复,不支持复制和并行查询,主库可以支持读写,从库只读。
2.pgpool安装
[root@pgpool opt]# yum install -y http://yum.postgresql.org/9.3/redhat/rhel-6-x86_64/pgdg-redhat93-9.3-1.noarch.rpm
[root@pgpool opt]# yum install postgresql93-devel
[root@pgpool opt]# wget http://www.pgpool.net/download.php?f=pgpool-II-3.4.2.tar.gz
[root@pgpool opt]# mv download.php\?f\=pgpool-II-3.4.2.tar.gz pgpool-II-3.4.2.tar.gz
[root@pgpool opt]# tar -zxvf pgpool-II-3.4.2.tar.gz
[root@pgpool opt]# cd pgpool-II-3.4.2
[root@pgpool pgpool-II-3.4.2]# ./configure --with-pgsql=/usr/pgsql-9.3
如果不加--with-pgsql=/usr/pgsql-9.3,可能会出现configure: error: libpq is not installed or libpq is old错误
[root@pgpool pgpool-II-3.4.2]# make
[root@pgpool pgpool-II-3.4.2]# make install
3.修改pgpool配置
启用并修改配置文件pgpool.conf
[root@pgpool etc]# cp /usr/local/etc/pgpool.conf.sample-stream /usr/local/etc/pgpool.conf
修改pgpool.conf文件中的内容
# - pgpool Communication Manager Connection Settings -
listen_addresses = '*'
---默认0是主库,其它是从库,backend_weight可以控制数据库读在两台机器上的分配比例
# - Backend Connection Settings -
backend_hostname0 = '172.16.0.241'
backend_port0 = 5432
backend_weight0 = 1
backend_data_directory0 = '/var/lib/pgsql/9.3/data'
backend_flag0 = 'ALLOW_TO_FAILOVER'
backend_hostname1 = '172.16.0.242'
backend_port1 = 5432
backend_weight1 = 1
backend_data_directory1 = '/data1'
backend_flag1 = 'ALLOW_TO_FAILOVER'
backend_data_directory0 = '/var/lib/pgsql/9.3/data'
# - Authentication -
---开启pgpool的hba认证
enable_pool_hba = on
#------------------------------------------------------------------------------
# MASTER/SLAVE MODE
#------------------------------------------------------------------------------
sr_check_user = 'postgres'
sr_check_password = '123456'
#------------------------------------------------------------------------------
# HEALTH CHECK
#------------------------------------------------------------------------------
health_check_period = 1
health_check_user = 'postgres'
health_check_password = '123456'
#------------------------------------------------------------------------------
# FAILOVER AND FAILBACK
#------------------------------------------------------------------------------
---用来在主库失败时,把只读的从库切为主库
failover_command = '/usr/local/bin/failover_stream.sh %d %H /tmp/trigger_file0'
启用并修改配置文件pcp.conf
[root@pgpool etc]# cp /usr/local/etc/pcp.conf.sample /usr/local/etc/pcp.conf
此文件是管理端口,可以暂时不用配置。
启用并修改配置文件pool_hba.conf
[root@pgpool etc]# cp /usr/local/etc/pool_hba.conf.sample /usr/local/etc/pool_hba.conf
---添加一行:
host all all 172.16.0.0/24 md5
---删除一行
host all all 127.0.0.1/32 trust
对pgpool的访问策略,要设置为md5的方式。
启用配置文件pool_passwd
[root@pgpool etc]# pg_md5 -m -p -u postgres pool_passwd
password:
密码填的是123456,该文件会在执行文件后自动生成。从远程连接pgpool的时候,需要使用该密码来访问,pgpool使用该用户密码来访问后面的真正的数据库。
添加主备脚本切换脚本failover_stream.sh
[root@pgpool bin]# vi /usr/local/bin/failover_stream.sh
# Failover command for streaming replication.
# This script assumes that DB node 0 is primary, and 1 is standby.
#
# If standby goes down, do nothing. If primary goes down, create a
# trigger file so that standby takes over primary node.
#
# Arguments: $1: failed node id. $2: new master hostname. $3: path to
# trigger file.
failed_node=$1
new_master=$2
trigger_file=$3
# Do nothing if standby goes down.
if [ $failed_node = 1 ]; then
exit 0;
fi
# Create the trigger file.
/usr/bin/ssh -T $new_master /bin/touch $trigger_file
exit 0;
[root@pgpool bin]# chmod 700 failover_stream.sh
对应的从库slave的recovery.conf配置:
[root@slave data]# cat recovery.conf
standby_mode = 'on'
primary_conninfo = 'host=172.16.0.241 port=5432 user=rep_user'
trigger_file = '/tmp/trigger_file0'
该trigger_file的参数要和pgpool.conf文件中failover_command对应的文件保持一致。
4.设置主机互信
修改hosts文件
对每个主机的/etc/hosts文件添加以下内容,
172.16.0.240 pgpool
172.16.0.241 master
172.16.0.242 slave
pgpool主机生成公钥和私钥
[root@pgpool bin]# su - postgres
-bash-4.1$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/var/lib/pgsql/.ssh/id_rsa):
Created directory '/var/lib/pgsql/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /var/lib/pgsql/.ssh/id_rsa.
Your public key has been saved in /var/lib/pgsql/.ssh/id_rsa.pub.
The key fingerprint is:
a0:93:d4:b5:ed:26:d0:94:a5:e7:99:95:6b:d6:18:af postgres@pgpool
The key's randomart image is:
+--[ RSA 2048]----+
| oo. |
| . +.+ . |
| . + + o + |
| . o o + + * |
| + S * = o |
| . o o . |
| E |
| |
| |
+-----------------+
输入命令后一直回车即可。在master和slave节点同样执行上面的操作。
同步公钥
在pgpool节点上执行
-bash-4.1$ ssh-copy-id -i ~/.ssh/id_rsa.pub postgres@172.16.0.241
-bash-4.1$ ssh-copy-id -i ~/.ssh/id_rsa.pub postgres@172.16.0.242
在master节点上执行
-bash-4.1$ ssh-copy-id -i ~/.ssh/id_rsa.pub postgres@172.16.0.241
-bash-4.1$ ssh-copy-id -i ~/.ssh/id_rsa.pub postgres@172.16.0.242
在slave节点上执行
-bash-4.1$ ssh-copy-id -i ~/.ssh/id_rsa.pub postgres@172.16.0.241
-bash-4.1$ ssh-copy-id -i ~/.ssh/id_rsa.pub postgres@172.16.0.242
上面的操作执行后,在每个机器检查一下,是否可以用ssh username@nodename的方式,对其他节点进行免密码的ssh访问,第一次访问的时候会记录known_hosts,否则ssh时候会有是否信任节点的提示。
5.启动pgpool
使用postgres用户启动pgpool服务的话,需要修改对应目录的权限,否则pgpool会启动失败
[root@pgpool etc]# mkdir /var/run/pgpool
[root@pgpool run]# chown -R postgres:postgres /var/run/pgpool
[root@pgpool local]# chown -R postgres:postgres /usr/local/etc
[root@pgpool local]# chown -R postgres:postgres /usr/local/bin
检验主从数据库切换的脚本是否可以正常运行,在pgpool服务器执行命令,检测在slave服务器是否生成了trigger_file0文件
shell脚本在pgpool执行
-bash-4.1$ /usr/local/bin/failover_stream.sh 0 slave /tmp/trigger_file0
切换到slave主机检查
[root@slave ~]# ls /tmp
ssh-rangWC1783 trigger_file0 yum.log
启动pgpool
-bash-4.1$ pgpool -n -d > /tmp/pgpool.log 2>&1 &
[1] 10474
6.检测pgpool功能
任一节点(如slave节点)连接pgpool
[root@slave ~]# psql -h 172.16.0.240 -p 9999 -d test -U postgres
Password for user postgres:
psql (9.3.6)
Type "help" for help.
test=# select * from t4;
id
----
1
(1 row)
test=# show pool_nodes;
node_id | hostname | port | status | lb_weight | role
---------+--------------+------+--------+-----------+---------
0 | 172.16.0.241 | 5432 | 2 | 0.500000 | primary
1 | 172.16.0.242 | 5432 | 2 | 0.500000 | standby
(2 rows)
可以看到此时241数据库是主节点,242是从节点。
关闭主要节点,可以关闭服务也可以直接杀进程模拟数据库崩溃
[root@master data]# service postgresql-9.3 stop
Stopping postgresql-9.3 service: [ OK ]
---master关闭后,从节点的连接中断后又成功连接上
server closed the connection unexpectedly
This probably means the server terminated abnormally
before or while processing the request.
The connection to the server was lost. Attempting reset: Succeeded.
test=# show pool_nodes;
node_id | hostname | port | status | lb_weight | role
---------+--------------+------+--------+-----------+---------
0 | 172.16.0.241 | 5432 | 3 | 0.500000 | standby
1 | 172.16.0.242 | 5432 | 2 | 0.500000 | primary
test=# insert into t4 values (6);
INSERT 0 1
test=# select * from t4;
id
----
1
6
(2 rows)
test=#
pgpool发生主从切换后,242节点变为主节点,241节点关闭(status为3)。
上面查询show pool_nodes中得status字段含义
Status 由数字 [0 - 3]来表示。
0 - 该状态仅仅用于初始化,PCP从不显示它。
1 - 节点已启动,还没有连接。
2 - 节点已启动,连接被缓冲。
3 - 节点已关闭。
可以看到主备已经切换完成。
7.其它注意事项
若pgpool上的主从切换脚本忘记写,或者没能正常执行,show pool_nodes命令会显示两个节点都是standby,而集群整体是只读的,此时可以关闭并启动节点的数据库服务,然后重启pgpool。
测试trigger文件的时候,注意要及时删除生成的trigger 文件,否则会破坏主从架构,导致后面的实验失败。
pgpool-II 高可用搭建的更多相关文章
- hadoop 集群HA高可用搭建以及问题解决方案
hadoop 集群HA高可用搭建 目录大纲 1. hadoop HA原理 2. hadoop HA特点 3. Zookeeper 配置 4. 安装Hadoop集群 5. Hadoop HA配置 搭建环 ...
- hadoop+zookeeper集群高可用搭建
hadoop+zookeeper集群高可用搭建 Senerity 发布于 2 ...
- 10-Flink集群的高可用(搭建篇补充)
戳更多文章: 1-Flink入门 2-本地环境搭建&构建第一个Flink应用 3-DataSet API 4-DataSteam API 5-集群部署 6-分布式缓存 7-重启策略 8-Fli ...
- Qingcloud_MySQL Plus(Xenon) 高可用搭建实验
实验:Xenon on 5.7.30 Xenon (MySQL Plus) 是青云Qingcloud的一个开源项目,号称金融级别强一致性的高可用解决方案,项目地址为 https://github.co ...
- Spring Cloud(Dalston.SR5)--Eureka 注册中心高可用搭建
高可用集群 在微服务架构这样的分布式环境中,我们需要充分考虑发生故障的情况,所以在生产环境中必须对各个组件进行高可用部署,对与微服务和服务注册中心都需要高可用部署,Eureka 高可用实际上就是将自己 ...
- kudu集群高可用搭建
首先咱得有KUDU安装包 这里就不提供直接下载地址了(因为有5G,我 的服务器网卡只有4M,你们下的很慢) 这里使用的是CDH版本 官方下载地址http://archive.cloudera.com/ ...
- Spring Cloud配置中心高可用搭建
本文通过config server连接git仓库来实现配置中心,除了git还可以使用svn或者系统本地目录都行. 引入依赖 <dependencies> <dependency> ...
- Spring Cloud注册中心高可用搭建
Spring Cloud的注册中心可以由Eureka.Consul.Zookeeper.ETCD等来实现,这里推荐使用Spring Cloud Eureka来实现注册中心,它基于Netfilix的Eu ...
- Redis5.0 主从模式和高可用 搭建和测试报告
Redis 单机模式很简单,相关测试水文看这里 Redis5 压力测试结果反馈报告 必须的,今天接着写水文,写一写现在redis 支持的三种集群,主从模式,哨兵模式,Cluster模式,今天先搞主从模 ...
- fastdfs+nginx集群高可用搭建的一些坑!!记录一下
首先我这里是三台节点,都搭tracker和storage,然后使用nginx做负载,只建一个group1,三个tracker! 搭建步骤比较麻烦,里面有很多坑需要注意,步骤就不啰嗦了,这里主要记录几个 ...
随机推荐
- Docker部署Kafka以及Spring Kafka操作
从https://hub.docker.com/ 查找kafka 第三个活跃并stars数量多 进去看看使用 我们使用docker-compose来构建镜像 查看使用文档中的docker-compos ...
- CentOS8 NextCloud 私有云存储搭建
本文首发:https://www.somata.work/2019/CentOS8NextCloudBuild.html 之前发现 Owncloud 越来越捞了,推出了企业版和社区版,近几日突然发现原 ...
- Codeforces Round #582 (Div. 3)-G. Path Queries-并查集
Codeforces Round #582 (Div. 3)-G. Path Queries-并查集 [Problem Description] 给你一棵树,求有多少条简单路径\((u,v)\),满足 ...
- java基础(2)---基本语法
一.程序注释 二.HelloWorld 三.关键字 四.常量 五.变量 六.标识符: 七.数据类型 数据类型间的转换: (1)自主转换:不需要明确指出所要转化的类型是什么,而是由java虚拟机自动转化 ...
- IntelliJ IDEA lombok插件的安装和使用
IntelliJ IDEA是一款非常优秀的集成开发工具,功能强大,而且插件众多.lombok是开源的代码生成库,是一款非常实用的小工具,我们在编辑实体类时可以通过lombok注解减少getter.se ...
- 关于部署 Kafka 的一些所得
前记 最近在做日志模块. 其中用到的日志信息传输的中间工具用的是的 Kafka,在自己的摸索中总是有一些问题的,在这里记录下来. Kafka 环境搭建 首先是下载需要的安装软件. JDK.Zooke ...
- machine learning(14) --Regularization:Regularized linear regression
machine learning(13) --Regularization:Regularized linear regression Gradient descent without regular ...
- Oracle数据库 — DDL:数据定义语言
1.数据定义语言:用于定义数据库的结构,比如创建.修改或删除数据库对象: 包括: CREATE TABLE:创建数据库表:创建表的命名规则: 2.以字母开头:在 1–30 个字符之间:只能包含 A–Z ...
- [Angular 8] Calculate and Measure Performance budgets with the Angular CLI
Measuring is extremely important, without numbers we don’t know about potential problems and we don’ ...
- HTML 004 属性
HTML 属性 属性是 HTML 元素提供的附加信息. HTML 属性 HTML 元素可以设置属性 属性可以在元素中添加附加信息 属性一般描述于开始标签 属性总是以名称/值对的形式出现,比如:name ...