Atlas 读写分离 & Atlas + MHA 故障自动恢复
Atals 介绍
Atlas 主要功能
读写分离
从库负载均衡
IP 过滤
自动分表
DBA 可平滑上下线 DB
自动摘除宕机的 DB
Atlas 相对于官方 MySQL-Proxy 的优势
将主流程中所有 Lua 代码用 C 重写,Lua 仅用于管理接口
重写网络模型、线程模型
实现了真正意义上的连接池
优化了锁机制,性能提高数十倍
Atlas 使用
Atlas 安装
[root@db03 ~]# yum localinstall -y Atlas-2.2.1.el6.x86_64.rpm
Atlas 目录
[root@db03 ~]# ll /usr/local/mysql-proxy/
total 0
drwxr-xr-x 2 root root 75 Jul 29 10:15 bin
drwxr-xr-x 2 root root 22 Jul 29 10:15 conf
drwxr-xr-x 3 root root 331 Jul 29 10:15 lib
drwxr-xr-x 2 root root 6 Dec 17 2014 log
Atlas 配置
[root@db03 ~]# cat /usr/local/mysql-proxy/conf/test.cnf
[mysql-proxy]
# 管理接口的用户名
admin-username = user
# 管理接口的密码
admin-password = pwd
# Atlas后端连接的MySQL主库的IP和端口,可设置多项,用逗号分隔
proxy-backend-addresses = 172.16.1.55:3306
# Atlas后端连接的MySQL从库的IP和端口,@后面的数字代表权重,用来作负载均衡,若省略则默认为1,可设置多项,用逗号分隔
proxy-read-only-backend-addresses = 172.16.1.122:3306,172.16.1.123:3306
# 用户名与其对应的加密过的MySQL密码,密码使用PREFIX/bin目录下的加密程序encrypt加密,下行的user1和user2为示例,将其替换为你的MySQL的用户名和加密密码!
pwds = rep:3yb5jEku5h4=,mha:O2jBXONX098=
# 设置Atlas的运行方式,设为true时为守护进程方式,设为false时为前台方式,一般开发调试时设为false,线上运行时设为true,true后面不能有空格。
daemon = true
# 设置Atlas的运行方式,设为true时Atlas会启动两个进程,一个为monitor,一个为worker,monitor在worker意外退出后会自动将其重启,设为false时只有worker,没有monitor,一般开发调试时设为false,线上运行时设为true,true后面不能有空格。
keepalive = true
# 工作线程数,对Atlas的性能有很大影响,可根据情况适当设置
event-threads = 8
# 日志级别,分为message、warning、critical、error、debug五个级别
log-level = error
# 日志存放的路径
log-path = /usr/local/mysql-proxy/log
# SQL日志的开关,可设置为OFF、ON、REALTIME,OFF代表不记录SQL日志,ON代表记录SQL日志,REALTIME代表记录SQL日志且实时写入磁盘,默认为OFF
sql-log = OFF
# 慢日志输出设置。当设置了该参数时,则日志只输出执行时间超过sql-log-slow(单位:ms)的日志记录。不设置该参数则输出全部日志。
#sql-log-slow = 10
# 实例名称,用于同一台机器上多个Atlas实例间的区分
instance = test
# Atlas监听的工作接口IP和端口,用来连接 MySQL 数据库
proxy-address = 0.0.0.0:1234
# Atlas监听的管理接口IP和端口,用来管理 MySQL 数据库节点
admin-address = 0.0.0.0:2345
# 分表设置,此例中person为库名,mt为表名,id为分表字段,3为子表数量,可设置多项,以逗号分隔,若不分表则不需要设置该项
#tables = person.mt.id.3
# 默认字符集,设置该项后客户端不再需要执行SET NAMES语句
# charset = utf8
#允许连接Atlas的客户端的IP,可以是精确IP,也可以是IP段,以逗号分隔,若不设置该项则允许所有IP连接,否则只允许列表中的IP连接
#client-ips = 127.0.0.1
Atlas 启动
[root@db03 ~]# /usr/local/mysql-proxy/bin/mysql-proxyd test start
OK: MySQL-Proxy of test is started
# 检验启动
[root@db03 conf]# netstat -lntp
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:2345 0.0.0.0:* LISTEN 31101/mysql-proxy
tcp 0 0 0.0.0.0:1234 0.0.0.0:* LISTEN 31101/mysql-proxy
Atlas 使用
# 1.连接 Atlas 管理端
[root@db03 ~]# mysql -uuser -ppwd -P 2345 -h127.0.0.1
# 2.执行命令
mysql> show databases;
ERROR 1105 (07000): use 'SELECT * FROM help' to see the supported commands
mysql> SELECT * FROM help;
+----------------------------+---------------------------------------------------------+
| command | description |
+----------------------------+---------------------------------------------------------+
| SELECT * FROM help | 查看帮助 |
| SELECT * FROM backends | 查看后端数据库主机列表 |
| SET OFFLINE $backend_id | DBA可平滑下线DB |
| SET ONLINE $backend_id | DBA可平滑上线DB |
| ADD MASTER $backend | 添加主库 |
| ADD SLAVE $backend | 添加从库 |
| REMOVE BACKEND $backend_id | 移除后端数据库 |
| SELECT * FROM clients | 客户端列表 |
| ADD CLIENT $client | 临时添加客户端 |
| REMOVE CLIENT $client | 临时移除客户端 |
| SELECT * FROM pwds | 客户端用户名和密码 |
| ADD PWD $pwd | 添加客户端用户名和密码 |
| ADD ENPWD $pwd | 添加客户端用户名和加密后的密码 |
| REMOVE PWD $pwd | 移除客户端用户 |
| SAVE CONFIG | 保存配置到配置文件 |
| SELECT VERSION | 查看Atlas版本 |
+----------------------------+---------------------------------------------------------+
16 rows in set (0.00 sec)
Atlas + MHA 故障恢复
Atlas 自动恢复思路
# 1.找到新的主库
# 2.将新的主库从 Atlas 中配置下线,之前是作为从库由 Atlas 管理
# 3.作出的修改,要保存到配置文件
Atlas + MHA 恢复脚本
在 MHA 切换主库后,也需要在 Atlas 的配置中修改 Master 节点和 Slave 节点,下面为主脚本,主要功能:
将提升为主库的从库的原有记录(原有记录为:从库、只读)删除
因为主库使用了 VIP 漂移,Atlas 管理的 Master 节点不需要修改,Master 节点的只要记录为 VIP 即可
将宕机的原主库修复,改为从库(第五步)
将恢复好的从库(原主库),添加到 Atlas 管理的 Slave 节点
[root@dbtest03 bin]# vim switch_atlas.sh
#/bin/bash
# 1.获取新的主库IP
new_master=`grep "as a new master" /etc/mha/app1/manager | tail -1 | awk -F '[ ,(]' '{print $2}'` &> /dev/null
# 2.获取新的主库在Atlas中的ID
new_master_id=`mysql -uuser -ppwd -h127.0.0.1 -P 2345 -e "SELECT * FROM backends" | grep $new_master | awk '{print $1}'` &> /dev/null
# 3.移除提升为主库的从库
mysql -uuser -ppwd -h127.0.0.1 -P 2345 -e "REMOVE BACKEND $new_master_id" &> /dev/null
# 4.找到挂掉的主机
down_server=`grep "Master .* is down" /etc/mha/app1/manager | tail -1 | awk -F '[ ,(]' '{print $2}'` &> /dev/null
# 5.远程连接执行恢复脚本
ssh $down_server "sh /tmp/start_mha.sh" & &> /dev/null
# 6.获取挂掉的主机的IP加端口
down_server_port=`grep "Master .* is down" /etc/mha/app1/manager | tail -1 | awk -F '[ ,()]' '{print $3}'` &> /dev/null
# 7.添加down的主库为新的从库到Atlas
mysql -uuser -ppwd -h127.0.0.1 -P 2345 -e "add slave $down_server_port" &> /dev/null
# 8.保存配置
mysql -uuser -ppwd -h127.0.0.1 -P 2345 -e "save config" &> /dev/null
MHA 恢复脚本
[root@dbtest01 tmp]# vim /tmp/start_mha.sh
#!/bin/bash
mysql_pid=`ps -ef | grep [m]ysqld | wc -l`
# 如果挂掉,重启;如果没有挂掉,杀掉重启
if [ $mysql_pid -eq 0 ];then
systemctl start mysqld
else
pkill mysqld
systemctl stop mysqld
systemctl start mysqld
fi
# 重新配置主从
change=`ssh 172.16.1.123 "grep 'CHANGE MASTER TO' /etc/mha/app1/manager | tail -1 | sed s#xxx#123#g" |awk -F: '{print $4}'` &>/dev/null
mysql -uroot -p12345 -e "$change;start slave;" 2>/dev/null
ssh 172.16.1.123 "\cp /etc/mha/app1.conf.bak /etc/mha/app1.conf" >/dev/null
master_host=`ssh 172.16.1.123 "grep 'as a new master' /etc/mha/app1/manager | tail -1"| awk -F '[ ,(]' '{print $2}'`
ssh 172.16.1.123 "cd /binlog && mysqlbinlog -R --host=${master_host} --user=mha --password=mha --raw --stop-never mysql-bin.000001 2>/dev/null" & >/dev/null
ssh 172.16.1.123 "nohup masterha_manager --conf=/etc/mha/app1.conf --remove_dead_master_conf --ignore_last_failover < /dev/null > /etc/mha/manager.log 2>&1 &" >/dev/null
Atlas 读写分离 & Atlas + MHA 故障自动恢复的更多相关文章
- Mysql 高可用(MHA)-读写分离(Atlas)-分布式架构(Mycat)
Mysql 高可用(MHA)-读写分离(Atlas) 1. 搭建主从复制(一主两从) 1.1 准备环境 1 主库:10.0.0.51/db01 2 从库:10.0.0.52/db02,10.0.0.5 ...
- MySQL主从复制与Atlas读写分离
配置主从复制 1. 增加主从配置 # 主库配置文件 server-id = 1 log-bin = /var/lib/mysql/mysql-bin expire_logs_days = 10 ski ...
- mysql主从之基于atlas读写分离
一 mysql读写分离的概念 写在主库,主库一般只有一个,读可以分配在多个从库上,如果写压力不大的话,也能把读分配到主库上. 实现是基于atlas实现的,atlas是数据库的中间件,程序只需要连接at ...
- ProxySQL+MGR实现读写分离和主节点故障无感知切换 - 完整操作记录
前面的文章介绍了ProxySQL用法,这里说下ProxySQL中间件针对Mysql组复制模式实现读写分离以及主节点故障时能够自动切换到新的主节点,而应用对此过程无感知的功能.Mysql组复制(MGR) ...
- MySQL-18-MHA+Atlas读写分离架构
Atlas介绍 Atlas是由Qihoo 360 Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目 它是在mysql-proxy 0.8.2版本的基础上,对其进行了优化,增加了 ...
- Atlas读写分离[高可用]
Atlas下载地址: https://github.com/Qihoo360/Atlas/releases Atlas是出于360的, 比mysql-proxy更稳定, 部署起来更方便. 环境: pr ...
- atlas读写分离
Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目.它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上,修改了大量bug ...
- 数据切分——Atlas读写分离Mysql集群的搭建
关于数据切分的原理可以参见博客: http://blog.csdn.net/jhq0113/article/details/44226789 关于Atlas的介绍可以参见博客: http://blog ...
- Atlas 读写分离
1.前置条件 需要配置好mysql 主从 主库:192.168.28.137:16205 从库:192.168.28.135:16205 Atlas:192.168.28.139 2.Atlas 部署 ...
随机推荐
- 【Linux】添加硬盘不需要重启服务器
添加硬盘之后,不用重启服务器 执行下面的语句 ls /sys/class/scsi_host 查看下面有多少host 我这里有三个host 分别执行 echo "- - -" &g ...
- SQL Server和Oracle数据类型对应关系
在工作中,有时会遇到跨库传输数据的情况,其中 SQL Server 和 Oracle 之间的数据传输是比较常见的情况. 因为 SQL Server 和 Oracle 的数据类型有些差异,这就要求我们在 ...
- 转 Fiddler4 手机抓包
Fiddler4 手机抓包 文章转自:https://www.cnblogs.com/zhengna/p/10876954.html 1.要对计算机Fiddler进行配置,允许远程计算机连接. 2. ...
- 《UML与设计原则》--第四小组
关于设计模式与原则 一.设计模式简介 设计模式描述了软件设计过程中某一类常见问题的一般性的解决方案.而面向对象设计模式描述了面向对象设计过程中特定场景下.类与相互通信的对象之间常见的组织关系. 二.G ...
- 树莓派做私有云盘-极简版(owncloud)
这里直接给出配置好私有云的镜像,只需烧录镜像后微改配置后即可使用 链接:https://pan.baidu.com/s/1EOQaSQso-0wmnuWgZKknZg提取码:q26h 1.直接将此镜像 ...
- jQuery 勾选显示
<!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title> ...
- (转载)微软数据挖掘算法:Microsoft 关联规则分析算法(7)
前言 本篇继续我们的微软挖掘算法系列总结,前几篇我们分别介绍了:微软数据挖掘算法:Microsoft 决策树分析算法(1).微软数据挖掘算法:Microsoft 聚类分析算法(2).微软数据挖掘算法: ...
- epoll在fork子进程中的问题
epoll_create 创建的 文件描述符和其他文件描述符一样,是被fork出的子进程继承的,那也就是子进程可以使用这个epoll fd添加感兴趣的io(epoll_ctl),然后是可以影响到父进程 ...
- vue-router实现路由懒加载( 动态加载路由 )
三种方式第一种:vue异步组件技术 ==== 异步加载,vue-router配置路由 , 使用vue的异步组件技术 , 可以实现按需加载 .但是,这种情况下一个组件生成一个js文件.第二种:路由懒加载 ...
- LOJ10202樱花——数论
题目描述 原题来自:HackerRank Equations 求不定方程: 1/x+1/y=1/n! 的正整数解 (x,y) 的数目. 输入格式 一个整数 n . 输出格式 一个整数,表示有多少对 ( ...