生产环境MySQL数据库集群MHA上线实施方案

生产环境MySQL数据库集群MHA上线实施方案

一．不停库操作

1.在所有节点安装MHAnode所需的perl模块（需要有安装epel源）

yum install perl-DBD-MySQL -y

2.在所有的节点安装mhanode

rpm -ivh mha4mysql-node-0.56-0.el6.noarch.rpm

3.将系统调用的脚本统一放到一个目录下

#这里统一放在了/usr/bin/目录下
/usr/bin/apply_diff_relay_logs
/usr/bin/filter_mysqlbinlog
/usr/bin/purge_relay_logs
/usr/bin/save_binary_logs

4. 安装MHAManager根据生产环境实际IP更改配置文件和自动切换脚本

l  安装MHA Manger依赖的perl模块

yum install perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-ForkManagerperl-Time-HiRes -y

l  安装MHA Manager软件包

rpm -ivh mha4mysql-manager-0.56-0.el6.noarch.rpm

l  修改对应mysql环境所需的master_ip_failover脚本和mha配置文件

manger管理IP	配mha配置文件名	脚本名
192.168.1.100	base.cnf	base_master_ip_failover
192.168.1.200	exam_study.cnf	exam_study_master_ip_failover

5. 设置集群内服务器ssh信任，使用检查MHA SSH插件脚本检测通过

masterha_check_ssh--conf=/etc/masterha/base.cnf
masterha_check_ssh--conf=/etc/masterha/exam_study.cnf

6. 设置定期清除relay_logscrontab

mysql默认会自动清理relay_logs，但MHA会使用relay_logs在主从切换时恢复数据，所以MHA会关闭relay_logs的自动清理功能，会导致relay_logs逐渐增多

*/30 * * * * purge_relay_logs --user=faxuan --password=faxuan.net --host=192.168.1.172--port=3307 --disable_relay_log_purge >> /var/log/relay_log_purge.txt2>&1

二．需要停库的操作

1.前端门户nginx挂维护页

2.停掉所有需要连接数据库的服务，避免写库

例如：resin、tomcat等服务

/etc/init.d/resinstop
/usr/local/apache-tomcat/bin/shutdown.sh

3.主库备份

用mysqldump或者xtrabackup对主库进行备份

4.关闭原keepalived，手动绑定VIP

/etc/init.d/keepalivedstop
chkconfig keepalivedoff

base（我们公司会员积分的库）：

ifconfig eth0:1192.168.1.101/22 up
ifconfig eth1:110.0.0.101/24 up

exam、study（我们公司考试、学习的库）

ifconfig eth0:1192.168.1.201/22 up
ifconfig eth1:110.0.0.201/24 up

5.开启MHA

base：

nohupmasterha_manager --conf=/etc/masterha/base.cnf --remove_dead_master_conf--ignore_last_failover < /dev/null > /var/log/masterha/base/manager.log2>&1 &

#查看日志

tail -f /var/log/masterha/base/manager.log

exam_study：

nohupmasterha_manager --conf=/etc/masterha/exam_study.cnf --remove_dead_master_conf --ignore_last_failover< /dev/null > /var/log/masterha/exam_study/manager.log 2>&1 &

#查看日志

tail -f /var/log/masterha/exam_study/manager.log

6.测试

6.1准备测试数据库

create databasetestdb

6.2建表

CREATE TABLE`test_table` (
 `ID` bigint(20) NOT NULLAUTO_INCREMENT COMMENT '主键',
                        `DOMAIN_CODE`varchar(20) NOT NULL COMMENT '考试单位编号',
                        `EXAM_NAME` varchar(300)NOT NULL COMMENT '考试名称',
                        `EXAM_TYPE` int(1) NOTNULL COMMENT '考试类型(正式考试，补考)',
                        `TARGET_EXAM_ID`bigint(20) DEFAULT NULL COMMENT '关联正式考试的ID(如果是补考，该处是必填)',
                        `EXAM_PICTURE_PATH`varchar(100) DEFAULT NULL COMMENT '图示路径',
                        `EXAM_BEGIN_TIME`timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '考试开始时间',
                        `EXAM_END_TIME`timestamp NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '考试结束时间',
                        `EXAM_TIME` int(3) NOTNULL COMMENT '考试时长',
                        `EXAM_NEED_SCORE` int(5)NOT NULL COMMENT '考试所需积分',
                        `EXAM_PAPER_TYPE` int(1)DEFAULT NULL COMMENT '考试试卷类型（0固定、1随机）',
                        `EXAM_SCORE` double(6,2)DEFAULT NULL COMMENT '考试总分(关联试卷后回填)',
                        `EXAM_PASS_SCORE`double(6,2) NOT NULL COMMENT '考试及格分',
                        `EXAM_COMMIT_NUM` int(2)NOT NULL COMMENT '参考最大次数',
                        `EXAM_STATUS` int(1) NOTNULL COMMENT '发布状态0未发布，1已发布',
                        `EXAM_YEAR` varchar(5)NOT NULL COMMENT '年份',
                        `EXAM_PAPER_ID`bigint(20) DEFAULT NULL COMMENT '关联试卷ID',
                        `EXAM_DISCRIPTION`varchar(1000) DEFAULT NULL COMMENT '考试备注',
                        `OPERATOR_USER_ACCOUNT`varchar(20) NOT NULL COMMENT '修改人',
                        `OPERATOR_TIME`timestamp NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '修改时间',
                        `TARGET_DOMAIN_CODE`varchar(20) DEFAULT NULL COMMENT '发布目标单位编号（发布时回填）',
                        `RANK` varchar(100)DEFAULT NULL COMMENT '职务级别（发布时回填）',
                        `EXAM_DIPLOMA_ID`bigint(20) DEFAULT NULL COMMENT '关联证书',
                        `DIPLOMA_NAME`varchar(200) DEFAULT NULL COMMENT '证书标题(关联证书后回填',
                        `DIPLOMA_PICTURE_PATH`varchar(200) DEFAULT NULL COMMENT '证书背景图片保存位置(关联证书后回填)',
                        `INDUSTRY_CODES`varchar(1000) DEFAULT NULL,
                        `LANGUAGE` int(2) NOTNULL DEFAULT '1' COMMENT'语言（0:全部,1:汉语,2:维语,3:蒙语,4:哈语）',
                        `EXT1` int(1) NOT NULLDEFAULT '1' COMMENT '成绩计入学分的字段标识（0 是，1否）',
                        `EXT2` int(3) DEFAULTNULL COMMENT '成绩所占比例',
                        `EXT3` varchar(1)DEFAULT NULL,
                        `EXT4` varchar(1)DEFAULT NULL,
                        `EXT5` varchar(1)DEFAULT NULL,
                        PRIMARY KEY (`ID`),
                        KEY `DOMAIN_CODE`(`DOMAIN_CODE`),
                        KEY `EXAM_PAPER_ID`(`EXAM_PAPER_ID`)
                        ) ENGINE=InnoDBAUTO_INCREMENT=365 DEFAULT CHARSET=utf8;   

6.3写插入数据脚本

往数据库里插入数据的过程中停库测试

6.4网络中断测试

有的时候不是因为主库挂了，而是因为主库那台服务器网络中断了，所以也要进行VIP漂移等测试，所以这里要强调一下，不管是任何操作，或正上线任何东西，大家一定都要把问题考虑全面。

7.如果所有测试都没有问题，就恢复环境，补全mha配置文件，启动mha

因为测试完之后，mha会自动摘除down了的server标签，所以要补全配置文件

8.开启所有连库的服务（resin/tomcat）

/etc/init.d/resin start
/usr/local/apache-tomcat/bin/startup.sh

9.添加监控

利用zabbix等监控软件，监控mha的进程。

 

【注意】：之所以把命令都写出来，是因为，在生产环境中，一定要先写好上线流程的所有步骤，包括命令，然后在生产环境操作的时候，不要用手敲，一定要复制，复制一定不会出错，但是手敲，难免会出现错误，如果一个步骤出现问题，那么整个上线过程都会受到影响。