数据库性能优化普遍采用集群方式,oracle集群软硬件投入昂贵,今天花了一天时间搭建基于mysql的集群环境。

主要思路

简单说,实现mysql主备复制-->利用mycat实现负载均衡。

比较了常用的读写分离方式,推荐mycat,社区活跃,性能稳定。

测试环境

MYSQL版本:Server version: 5.5.53,到官网可以下载WINDWOS安装包。

注意:确保mysql版本为5.5以后,以前版本主备同步配置方式不同。

linux实现思路类似,修改my.cnf即可。

  • A主mysql。192.168.110.1:3306, 用户root,密码root。操作系统:win7 x64,内存:4g

安装路径:C:\Program Files\MySQL\MySQL Server 5.5\bin

  • B备mysql。192.168.110.2:3306, 用户root,密码root。操作系统:win2003 x64,内存:1g

安装路径:C:\Program Files\MySQL\MySQL Server 5.5\bin

  • A主、B备的mysql中创建sync_test数据库

实现mysql主备复制

主要思路:A主mysql开启日志,B备mysql读取操作日志,同步执行。

一般为主备同步,主主同步不推荐使用。

配置A主mysql

1)修改my.ini。需要在log-bin="C:/Program Files/MySQL/MySQL Server 5.5/log/mysql-bin.log"的相关位置创建log目录,以及mysql-bin.log文件。

[mysqld]
server-id= #主机标示,整数
port=
log-bin="C:/Program Files/MySQL/MySQL Server 5.5/log/mysql-bin.log" #确保此文件可写
read-only= #主机,读写都可以
binlog-do-db=sync_test #需要备份数据库,多个写多行
binlog-ignore-db=mysql #不需要备份的数据库,多个写多行

2)允许MYSQL远程访问

#登录mysql console
进入%home%/bin,执行mysql -uroot -proot
#授权。允许root用户,从192.168.110.*的IP范围 远程访问A主mysql
mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'192.168.110.*' IDENTIFIED BY 'root' WITH GRANT OPTION;
#生效。该操作很重要!
mysql>FLUSH PRIVILEGES;

3)重启A主mysql数据库

进入%home%/bin,执行mysql -uroot -proot
mysql>net stop mysql;
mysql>net start mysql;

4)查看主mysql日志状态

mysql> show master status\G;
*************************** . row ***************************
File: mysql-bin.
Position:
Binlog_Do_DB: sync_test
Binlog_Ignore_DB: mysql
row in set (0.00 sec) ERROR:
No query specified

配置B备mysql

1)修改my.ini。需要在log-bin="C:/Program Files/MySQL/MySQL Server 5.5/log/mysql-bin.log"的相关位置创建log目录,以及mysql-bin.log文件。

[mysqld]
# add for sycn test
server-id= #从机标识
log-bin="C:/Program Files/MySQL/MySQL Server 5.5/log/mysql-bin.log" #确保此文件可写
#master-host="192.168.110.1" #主机Ip
#master-user=root #数据库访问用户名
#master-pass=root #数据库访问密码
#master-port= #主机端口
#master-connect-retry= #如果从服务器发现主服务器断掉,重新连接的时间差(秒)
replicate-do-db=sync_test #只复制某个库
replicate-ignore-db=mysql #不复制某个库

2)重启B备mysql数据库

进入%home%/bin,执行mysql -uroot -proot
mysql>net stop mysql;
mysql>net start mysql;

3)配置B备数据库的数据来源,核实高亮处的状态是否正常。

mysql>change master to master_host='192.168.110.1',master_port='',master_user='root',master_password='root';
mysql>slave start;
mysql>show slave status\G;
*************************** . row ***************************
Slave_IO_State: Waiting for master to send even
Master_Host: 192.168.110.1
Master_User: root
Master_Port:
Connect_Retry:
Master_Log_File: mysql-bin.
Read_Master_Log_Pos:
Relay_Log_File: wjt-1c698d8a032-relay-bin.
Relay_Log_Pos:
Relay_Master_Log_File: mysql-bin.
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB: sync_test
Replicate_Ignore_DB: mysql
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno:
Last_Error:
Skip_Counter:
Exec_Master_Log_Pos:
Relay_Log_Space:
Until_Condition: None
Until_Log_File:
Until_Log_Pos:
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master:
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno:
Last_IO_Error:
Last_SQL_Errno:
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id:
row in set (0.00 sec) ERROR:
No query specified

验证同步配置结果

  • A主mysql:使用navicat工具,在sync_test库中创建sync_table表,并添加一些数据
  • B备mysql:使用navicat工具,查看sync_test库,可以看到sync_table表和数据已被同步

实现读写分离

主要思路:使用mycat中间件,转发sql指令到后端mysql节点。mycat不负责数据库同步。

安装mycat

mycat是什么?可以认为它是一个数据库访问中间件,但更像f5、ngnix等产品,具备访问路由、多表分表分片操作等功能。总之很强大。

  • 下载:http://www.mycat.io/ ,本文使用的是:1.6-RELEASE
  • 解压Mycat-server-1.6-RELEASE-20161012170031-win.tar,到D:\dev-bin\mycat目录
  • 确保java环境为jdk1.7以上,否则mycat将不支持

安装完毕

配置mycat

1)server.xml。配置访问用户及权限。修改高亮处信息,其中admin、user为访问mycat的用户,TESTDB为mycat虚拟的数据库,供上层应用访问。

<user name="admin">
<property name="password">admin</property>
<property name="schemas">TESTDB</property>
<!-- 表级 DML 权限设置 -->
<!--
<privileges check="false">
<schema name="TESTDB" dml="" >
<table name="tb01" dml=""></table>
<table name="tb02" dml=""></table>
</schema>
</privileges>
-->
</user>
<user name="user">
<property name="password">user</property>
<property name="schemas">TESTDB</property>
<property name="readOnly">true</property>
</user>

2)schema.xml。这部分不太好理解,精简了一下,主要分schema、dataNode、dataHost三个主要配置。

<scheme>节点定义了mycat的虚拟数据库为TESTDB, balance="1":write操作路由到A机,读操作路由到B。

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="" dataNode="dn1">
<!-- 这里不配置,代表所有的表分片到dn1节点-->
</schema>
<dataNode name="dn1" dataHost="localhost1" database="sync_test" />
<dataHost name="localhost1" maxCon="" minCon="" balance=""
writeType="" dbType="mysql" dbDriver="native" switchType="" slaveThreshold="">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM1" url="192.168.110.1:3306" user="root" password="root">
<!-- can have multi read hosts -->
<readHost host="hostS2" url="192.168.110.2:3306" user="root" password="root" />
</writeHost>
</dataHost>
</mycat:schema>

启动mycat

1)启动mycat

D:\dev-bin\mycat\bin>startup_nowrap.bat

后台信息如下:

D:\dev-bin\mycat\bin>startup_nowrap.bat
D:\dev-bin\mycat\bin>REM check JAVA_HOME & java
D:\dev-bin\mycat\bin>set "JAVA_CMD=C:\Program Files (x86)\Java\jdk1.7.0_13/bin/java"
D:\dev-bin\mycat\bin>if "C:\Program Files (x86)\Java\jdk1.7.0_13" == "" goto noJavaHome
D:\dev-bin\mycat\bin>if exist "C:\Program Files (x86)\Java\jdk1.7.0_13\bin\java.exe" goto mainEntry
D:\dev-bin\mycat\bin>REM set HOME_DIR
D:\dev-bin\mycat\bin>set "CURR_DIR=D:\dev-bin\mycat\bin"
D:\dev-bin\mycat\bin>cd ..
D:\dev-bin\mycat>set "MYCAT_HOME=D:\dev-bin\mycat"
D:\dev-bin\mycat>cd D:\dev-bin\mycat\bin
#如果启动失败,请修改D:\dev-bin\mycat\bin\startup_nowrap.bat文件中的以下参数。默认占用内存为2G
D:\dev-bin\mycat\bin>"C:\Program Files (x86)\Java\jdk1.7.0_13/bin/java" -server -Xms512m -Xmx512m -XX:MaxPermSize=64M -XX:+AggressiveOpts -XX:MaxDirectMemorySize=768m -DMYCAT_HOME=D:\
p "..\conf;..\lib\*" io.mycat.MycatStartup
MyCAT Server startup successfully. see logs in logs/mycat.log #启动成功将看到如下信息。

注意:如日志中出现192.168.110.2 not connected 等信息,请允许B备mysql远程访问。

#登录mysql console
进入%home%/bin,执行mysql -uroot -proot
#授权。允许root用户,从192.168.110.*的IP范围 远程访问Bmysql
mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'192.168.110.*' IDENTIFIED BY 'root' WITH GRANT OPTION;
#生效,该操作很重要!
mysql>FLUSH PRIVILEGES;

测试读写分离

验证是否同步

  • 使用navicat连接mycat,操作方式和连接物理mysql库一致,用户admin,密码admin,端口8066
  • 在TESTDB虚拟库中,创建新表test2,增加一些数据
  • 查看A节点、B节点数据已同步

关闭B备mysql的同步,验证读写分离

mysql> slave stop;
Query OK, rows affected (0.00 sec) mysql> show slave status\G;
*************************** . row ***************************
Slave_IO_State:
Master_Host: 192.168.110.1
Master_User: root
Master_Port:
Connect_Retry:
Master_Log_File: mysql-bin.
Read_Master_Log_Pos:
Relay_Log_File: wjt-1c698d8a032-relay-bin.
Relay_Log_Pos:
Relay_Master_Log_File: mysql-bin.
Slave_IO_Running: No
Slave_SQL_Running: No
Replicate_Do_DB: sync_test
Replicate_Ignore_DB: mysql
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno:
Last_Error:
Skip_Counter:
Exec_Master_Log_Pos:
Relay_Log_Space:
Until_Condition: None
Until_Log_File:
Until_Log_Pos:
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: NULL
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno:
Last_IO_Error:
Last_SQL_Errno:
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id:
row in set (0.00 sec) ERROR:
No query specified

3)使用navicat连接mycat,操作方式和连接物理mysql库一致,用户admin,密码admin,端口8066

  • 连接成功后,将看到TESTDB数据库和test数据表
  • 在test表中添加一些数据,保存
  • 执行select * from test查看test操作,将看到数据未更新

原因:mycat将查询sq路由到B,因此读取的结果集不一致。

最后,mycat使用可以参见官网的权威指南学习。双主双备架构待后续更新。

mysql+mycat搭建稳定高可用集群,负载均衡,主备复制,读写分离的更多相关文章

  1. 搭建 Kubernetes 高可用集群

    使用 3 台阿里云服务器(k8s-master0, k8s-master1, k8s-master2)作为 master 节点搭建高可用集群,负载均衡用的是阿里云 SLB ,需要注意的是由于阿里云负载 ...

  2. 阿里云搭建k8s高可用集群(1.17.3)

    首先准备5台centos7 ecs实例最低要求2c4G 开启SLB(私网) 这里我们采用堆叠拓扑的方式构建高可用集群,因为k8s 集群etcd采用了raft算法保证集群一致性,所以高可用必须保证至少3 ...

  3. Flume-ng高可用集群负载安装与配置

    1. 写在前面 flume-ng高可用长在大数据处理环节第一个出现,对于处理日志文件有很好的作用,本篇博客将详细介绍flume-ng的高可用负载均衡搭建 2. flume-ng高可用负载均衡描述 在一 ...

  4. 基于 ZooKeeper 搭建 Spark 高可用集群

    一.集群规划 二.前置条件 三.Spark集群搭建         3.1 下载解压         3.2 配置环境变量         3.3 集群配置         3.4 安装包分发 四.启 ...

  5. Spark学习之路(七)—— 基于ZooKeeper搭建Spark高可用集群

    一.集群规划 这里搭建一个3节点的Spark集群,其中三台主机上均部署Worker服务.同时为了保证高可用,除了在hadoop001上部署主Master服务外,还在hadoop002和hadoop00 ...

  6. Spark 系列(七)—— 基于 ZooKeeper 搭建 Spark 高可用集群

    一.集群规划 这里搭建一个 3 节点的 Spark 集群,其中三台主机上均部署 Worker 服务.同时为了保证高可用,除了在 hadoop001 上部署主 Master 服务外,还在 hadoop0 ...

  7. 入门大数据---基于Zookeeper搭建Spark高可用集群

    一.集群规划 这里搭建一个 3 节点的 Spark 集群,其中三台主机上均部署 Worker 服务.同时为了保证高可用,除了在 hadoop001 上部署主 Master 服务外,还在 hadoop0 ...

  8. 使用 Load Balancer,Corosync,Pacemaker 搭建 Linux 高可用集群

    由于网络架构的原因,在一般虚拟机或物理环境中常见的用 VIP 来实现双机高可用方案,无法照搬到 Azure 平台.但利用 Azure 平台提供的负载均衡或者内部负载均衡功能,可以达到类似的效果. 本文 ...

  9. docker~swarm搭建docker高可用集群

    回到目录 Swarm概念 Swarm是Docker公司推出的用来管理docker集群,它将一群Docker宿主机变成一个单一的,虚拟的主机.Swarm使用标准的Docker API接口作为其前端访问入 ...

随机推荐

  1. [C#] 走进 LINQ 的世界

    走进 LINQ 的世界 序 在此之前曾发表过三篇关于 LINQ 的随笔: 进阶:<LINQ 标准查询操作概述>(强烈推荐) 技巧:<Linq To Objects - 如何操作字符串 ...

  2. ubuntu如何安装nodejs最新版 本

    如何正确的安装nodejs? 我们可以先安装nvm, git clone https://github.com/creationix/nvm.git ~/.nvm 然后打开 ~/.bashrc ,   ...

  3. 创建APPID&&部署服务端教程

    创建APPID&&部署服务端 一.创建APPID 1.打开https://console.developers.google.com ,左击顶部Project,然后左击创建项目 2.输 ...

  4. Effective java笔记(二),所有对象的通用方法

    Object类的所有非final方法(equals.hashCode.toString.clone.finalize)都要遵守通用约定(general contract),否则其它依赖于这些约定的类( ...

  5. 集合(set)-Python3

    set 的 remove() 和 discard()  方法介绍. 函数/方法名   等价操作符 说明 所有集合类型 len(s)   集合基数:集合s中元素个数 set([obj])   可变集合工 ...

  6. Android Studio开发RecyclerView遇到的各种问题以及解决(一)

    以前一直在用ListView,,,最近才看RecyclerView发现好强大.RecyclerView前提是Android版本在5.0以上,本人以前用的是eclipse只支持到4.4.索性就安装一个A ...

  7. JDK安装与配置

    JDK安装与配置 一.下载 JDK是ORACLE提供免费下载使用的,官网地址:https://www.oracle.com/index.html 一般选择Java SE版本即可,企业版的选择Java ...

  8. atitit.attilax的软件 架构 理念.docx

    atitit.attilax的软件 架构 理念.docx 1. 预先规划.1 2. 全体系化1 3. 跨平台2 4. 跨语言2 5. Dsl化2 5.1. 界面ui h5化2 6. 跨架构化2 7. ...

  9. 如何使用dos命令打开当前用户、当前日期、当前时间以及当前用户加当前时间?

    1.dos命令安装mysqld --stall.启动net start mysql.进入MySQL数据库mysql -uroot -p后,输入select user();当前用户 select cur ...

  10. hbase集群安装与部署

    1.相关环境 centos7 hadoop2.6.5 zookeeper3.4.9 jdk1.8 hbase1.2.4 本篇文章仅涉及hbase集群的搭建,关于hadoop与zookeeper的相关部 ...