mycat垂直分库

本文主要介绍了如何使用mycat对mysql数据库进行垂直分库，包括：

垂直分库的步骤
垂直分库的环境准备
配置mycat垂直分库

1. 垂直分库的步骤

收集分析业务模块间的关系
复制数据库到其他实例（减轻业务影响）
配置mycat垂直分库
通过mycat访问DB
删除原库中已迁移表

2. 垂直分库的环境准备

假定：node1主机为mysql数据库服务器，有dolphin_db数据库，访问压力大，要进行垂直分库。即将该数据库分为order_db，product_db，customer_db。

主机名	IP	角色	数据库	部署软件及版本
node1	172.31.11.134	mycat mysql	dolphin_db	mysql-5.7 mycat-1.6.7.3 xtrabackup-2.4.12
node2	172.31.11.135	mysql	order_db	mysql-5.7 xtrabackup-2.4.12
node3	172.31.11.136	mysql	product_db	mysql-5.7 xtrabackup-2.4.12
node4	172.31.11.138	mysql	customer_db	mysql-5.7 xtrabackup-2.4.12

2.1 node1备份

1. 进行物理备份

[root@node1 ~]# innobackupex --defaults-file=/data/mysql/my.cnf --user=root --password=abcd@ --socket=/data/mysql/run/mysql.sock /data/backup

2. 将备份文件复制到node2-4

[root@node1 ~]# scp -r /data/backup/--18_09--/ node2:/data/backup/

[root@node1 ~]# scp -r /data/backup/--18_09--/ node3:/data/backup/

[root@node1 ~]# scp -r /data/backup/--18_09--/ node4:/data/backup/

3.创建复制用户

mysql> grant replication slave on *.* to repluser@'172.31.11.%' identified by 'replpass';

2.2 node2还原

1. 准备一个备份

innobackupex --defaults-file=/data/mysql/my.cnf --socket=/data/mysql/run/mysql.sock --user=root --password='abcd@1234'  --apply-log /data/backup/--18_09--

2. 恢复数据前需要清空/data/mysql/data（数据目录）和cd /data/mysql/log/iblog（innodb日志目录）的内容，否则报错

rm -rf /data/mysql/data/*

rm -rf /data/mysql/log/iblog/*

3. 恢复数据

innobackupex --defaults-file=/data/mysql/my.cnf --user=root --password --socket=/data/mysql/run/mysql.sock --copy-back /data/backup/--18_09--

4. 修改目录权限

chown -R mysql:mysql /data/mysql

5. 重启mysqld服务

/usr/local/mysql/bin/mysqld_safe --defaults-file=/data/mysql/my.cnf --user=mysql &

6. 由于恢复过来的数据库时dolphin_db，需要将其改为order_db，由于不能直接修改数据库名称，可通过修改表名的方式间接修改。

修改数据库名称脚本：

  [root@node2 ~]# cat rename.sh

#!/bin/bash

#作者：fafu_li

#时间：2015.08.

#mysql数据库改名，官方没有直接修改数据库名称的命令

#只有通过修改表名方式实现

source /etc/profile        #加载系统环境变量

source ~/.bash_profile    #加载用户环境变量

set -o nounset             #引用未初始化变量时退出

mysqlconn="mysql -hlocalhost -uroot -pabcd@1234"

#需要修改的数据库名

olddb="dolphin_db"

#修改后的数据库名

newdb="order_db"

#创建新数据库

$mysqlconn -e "drop database if exists ${newdb};create database ${newdb};"

#获取所有表名

tables=$($mysqlconn -N -e "select table_name from information_schema.tables where table_schema='${olddb}'")

#修改表名

for name in $tables;do

    $mysqlconn -e "rename table ${olddb}.${name} to ${newdb}.${name}"

done

#删除老的空库

$mysqlconn -e "drop database ${olddb}"

7. 重置二进制日志

mysql> reset master;

8. 连接至主服务器，配置主从复制

mysql> change master to master_host='172.31.11.134', master_user='repluser', master_password = 'replpass', master_auto_position=;

9. 由于主从复制过程中可以使主从数据库的名称不一致（node1：dolphin_db，node2：order_db）

mysql> change replication filter replicate_rewrite_db=((dolphin_db, order_db));

10. 开启复制

mysql> start slave;

node3、node4都执行和node2相同的操作，只是数据库名称为：product_db和customer_db。

3. 配置mycat垂直分库　　

1. 需要修改的配置文件介绍

使用schema.xml配置逻辑库、
使用server.xml配置系统变量及用户权限
由于没有用到水平分片，不需要配置rule.xml

2. 配置schema.xml，配置逻辑库

 <?xml version="1.0"?>

 <!DOCTYPE mycat:schema SYSTEM "schema.dtd">

 <mycat:schema xmlns:mycat="http://io.mycat/">

         <schema name="dolphin_db" checkSQLschema="false" sqlMaxLimit="100">

            <table name="order_master" primaryKey="order_id" dataNode="ordb"/>

            <table name="order_detail" primaryKey="order_detail_id" dataNode="ordb"/>

            <table name="order_customer_addr" primaryKey="customer_addr_id" dataNode="ordb"/>

            <table name="order_cart" primaryKey="cart_id" dataNode="ordb"/>

            <table name="region_info" primaryKey="region_id" dataNode="ordb"/>

            <table name="shipping_info" primaryKey="ship_id" dataNode="ordb"/>

            <table name="warehouse_info" primaryKey="w_id" dataNode="ordb"/>

            <table name="warehouse_proudct" primaryKey="wp_id" dataNode="ordb"/>

            <table name="product_brand_info" primaryKey="brand_id" dataNode="prodb"/>

            <table name="product_category" primaryKey="category_id" dataNode="prodb"/>

            <table name="product_comment" primaryKey="comment_id" dataNode="prodb"/>

            <table name="product_info" primaryKey="product_id" dataNode="prodb"/>

            <table name="product_pic_info" primaryKey="product_pic_id" dataNode="prodb"/>

            <table name="product_supplier_info" primaryKey="supplier_id" dataNode="prodb"/>

            <table name="customer_balance_log" primaryKey="balance_id" dataNode="custdb"/>

            <table name="customer_inf" primaryKey="customer_inf_id" dataNode="custdb"/>

            <table name="customer_level_inf" primaryKey="customer_level" dataNode="custdb"/>

            <table name="customer_login" primaryKey="customer_id" dataNode="custdb"/>

            <table name="customer_login_log" primaryKey="login_id" dataNode="custdb"/>

            <table name="customer_point_log" primaryKey="point_id" dataNode="custdb"/>

         </schema>

         <dataNode name="ordb" dataHost="node2" database="order_db" />

         <dataNode name="prodb" dataHost="node3" database="product_db" />

         <dataNode name="custdb" dataHost="node4" database="customer_db" />

         <dataHost name="node2" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">

                 <heartbeat>select user()</heartbeat>

                 <writeHost host="172.31.11.135" url="172.31.11.135:3306" user="mycat" password="mycat"></writeHost>

         </dataHost>

         <dataHost name="node3" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">

                 <heartbeat>select user()</heartbeat>

                 <writeHost host="172.31.11.136" url="172.31.11.136:3306" user="mycat" password="mycat"></writeHost>

         </dataHost>

         <dataHost name="node4" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">

                 <heartbeat>select user()</heartbeat>

                 <writeHost host="172.31.11.138" url="172.31.11.138:3306" user="mycat" password="mycat"></writeHost>

         </dataHost>

 </mycat:schema>

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

/* Style Definitions */
table.MsoNormalTable
{mso-style-name:普通表格;
mso-tstyle-rowband-size:0;
mso-tstyle-colband-size:0;
mso-style-noshow:yes;
mso-style-priority:99;
mso-style-parent:"";
mso-padding-alt:0cm 5.4pt 0cm 5.4pt;
mso-para-margin:0cm;
mso-para-margin-bottom:.0001pt;
mso-pagination:widow-orphan;
font-size:10.5pt;
mso-bidi-font-size:11.0pt;
font-family:等线;
mso-ascii-font-family:等线;
mso-ascii-theme-font:minor-latin;
mso-fareast-font-family:等线;
mso-fareast-theme-font:minor-fareast;
mso-hansi-font-family:等线;
mso-hansi-theme-font:minor-latin;
mso-font-kerning:1.0pt;}

注意：由于mycat在和node2 node3 node4节点的mysql通信时，使用的是mycat用户，密码是mycat。因此我们需要在node2 node3 node4中分别创建该用户并授权

mysql> grant select, insert, update, delete, execute on *.* to 'mycat'@'172.31.11.%' identified by 'mycat';

3. 配置server.xml，添加用户，让其可访问该逻辑库

 <user name="dolphin" defaultAccount="true">

             <property name="usingDecrypt">1</property>

             <property name="password">PtBAuXp5Fi0b8riGxcG5SFzxqRHGVLD/bcXi+66Q/tppwZxy2P2DnhNm0mj+8u1JGyW/bLvqSXMDlntRy+n3ig==</property>

             <property name="schemas">dolphin_db</property>

 </user>

　　注意：这里对password进行了加密，方法如下：

[root@node1 ~]# cd /usr/local/mycat/lib

[root@node1 lib]# java -cp Mycat-server-1.6.7.3-release.jar io.mycat.util.DecryptUtil :dolphin:dolphin

4. 通过mycat连接数据库

[root@node1 bin]# ./mycat start

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

发现9066和8066端口已经开启，则说明mycat已经启动成功。

5. 通过8066端口，访问逻辑数据库dolphin_db

[root@node1 bin]# mysql -udolphin -p -P8066 -h127.0.0.

Enter password:

Welcome to the MySQL monitor.  Commands end with ; or \g.

Your MySQL connection id is

Server version: 5.6.-mycat-1.6.7.3-release- MyCat Server (OpenCloudDB)

Copyright (c) , , Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show databases;

+------------+

| DATABASE   |

+------------+

| dolphin_db |

+------------+

 row in set (0.01 sec)

mysql> use dolphin_db

Reading table information for completion of table and column names

You can turn off this feature to get a quicker startup with -A

Database changed

mysql> show tables;

+-----------------------+

| Tables in dolphin_db  |

+-----------------------+

| customer_balance_log  |

| customer_inf          |

| customer_level_inf    |

| customer_login        |

| customer_login_log    |

| customer_point_log    |

| order_cart            |

| order_customer_addr   |

| order_detail          |

| order_master          |

| product_brand_info    |

| product_category      |

| product_comment       |

| product_info          |

| product_pic_info      |

| product_supplier_info |

| region_info           |

| shipping_info         |

| warehouse_info        |

| warehouse_proudct     |

+-----------------------+

 rows in set (0.00 sec)

6. 取消

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

node2 node3 node4 与node1的主从复制关系，顺便删除node2 node3 node4中多余的表。

node2:

mysql> stop slave;

mysql> reset slave all;

将多余的表都drop掉。

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

node3、node4上的操作同理。

4. 配置和应用全局表

mysql> select supplier_name, b.region_name as '省', c.region_name as '市', d.region_name as '区' from product_supplier_info a join region_info b on b.region_id = a.province join region_info c on c.region_id = a.city join region_info d on d.region_id = a.district;

ERROR  (HY000): invalid route in sql, multi tables found but datanode has no intersection  sql:select supplier_name, b.region_name as '省', c.region_name as '市', d.region_name as '区' from product_supplier_info a join region_info b on b.region_id = a.province join region_info c on c.region_id = a.city join region_info d on d.region_id = a.district

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

由于表product_supplier_info位于node2上的product_db库中，表region_info位于node1上的order_db库中，两个表并不位于同一物理库中，因此当联合查询时会报错。

此外，region_info表在其他物理库中也会使用到，因此可以考虑将region_info表定义为全局表。

4.1 配置步骤

1. 将region_info表备份，并在node3和node4上各恢复一份

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

主机node2上：获取建表语句

CREATE TABLE `region_info` (

  `region_id` smallint() NOT NULL AUTO_INCREMENT COMMENT '主键id',

  `parent_id` smallint() NOT NULL DEFAULT '' COMMENT '上级地区id',

  `region_name` varchar() COLLATE utf8mb4_bin NOT NULL COMMENT '城市名称',

  `region_level` tinyint() NOT NULL COMMENT '级别',

  PRIMARY KEY (`region_id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin COMMENT='地区信息表';

主机node3上：

创建表

CREATE TABLE `region_info` (

  `region_id` smallint() NOT NULL AUTO_INCREMENT COMMENT '主键id',

  `parent_id` smallint() NOT NULL DEFAULT '' COMMENT '上级地区id',

 `region_name` varchar() COLLATE utf8mb4_bin NOT NULL COMMENT '城市名称',

  `region_level` tinyint() NOT NULL COMMENT '级别',

 PRIMARY KEY (`region_id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin COMMENT='地区信息表';

删除表空间，只剩表结构

mysql> ALTER TABLE region_info DISCARD TABLESPACE;

从xtrabackup的全备中，找到这个文件复制过去

cp /data/backup/--18_09--/dolphin_db/region_info.ibd /data/mysql/data/product_db/

chown mysql:mysql region_info.ibd

导入表空间

mysql> ALTER TABLE region_info IMPORT TABLESPACE;

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

主机node4上的操作与node3相同。

2. 修改mycat的配置文件schema.xml中表region_info的配置

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

该行修改后为：

<table name="region_info" primaryKey="region_id" dataNode="ordb,prodb,custdb" type="global"/>

3. 重启mycat服务

[root@node1 bin]# ./mycat stop

[root@node1 bin]# ./mycat start

4. 再运行上面的语句，发现没有报错。（由于数据不全，因此查询为空）

mysql> select supplier_name, b.region_name as '省', c.region_name as '市', d.region_name as '区' from product_supplier_info a join region_info b on b.region_id = a.province join region_info c on c.region_id = a.city join region_info d on d.region_id = a.district;

Empty set (1.76 sec)

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

mycat+mysql搭建高可用集群1--垂直分库的更多相关文章

(转)基于keepalived搭建MySQL的高可用集群
基于keepalived搭建MySQL的高可用集群原文:http://www.cnblogs.com/ivictor/p/5522383.html MySQL的高可用方案一般有如下几种: keep ...
MySQL MHA 高可用集群部署及故障切换
MySQL MHA 高可用集群部署及故障切换 1.概念 2.搭建MySQL + MHA 1.概念: a)MHA概念 : MHA(MasterHigh Availability)是一套优秀的MySQL高 ...
Nginx 笔记（四）nginx 原理与优化参数配置与 nginx 搭建高可用集群
个人博客网:https://wushaopei.github.io/ (你想要这里多有) 一.nginx 原理与优化参数配置 master-workers 的机制的好处首先,对于每个 ...
MyCAT+MySQL搭建高可用企业级数据库集群视频课程
原文地址:https://www.guangboyuan.cn/mycatmysql%E6%90%AD%E5%BB%BA%E9%AB%98%E5%8F%AF%E7%94%A8%E4%BC%81%E4% ...
CentOS 7下搭建高可用集群
一 .安装集群软件必须软件pcs,pacemaker,corosync,fence-agents-all,如果需要配置相关服务,也要安装对应的软件. 二.配置防火墙1.禁止防火墙和selinux# ...
基于keepalived搭建MySQL的高可用集群
MySQL的高可用方案一般有如下几种: keepalived+双主,MHA,MMM,Heartbeat+DRBD,PXC,Galera Cluster 比较常用的是keepalived+双主,MHA和 ...
MyCAT+MySQL 搭建高可用企业级数据库集群——第2章 MyCat入门
2-1 章节综述 2-2 什么是MyCat 2-3 什么是数据库中间层 2-4 MyCat的主要作用 2-5 MyCat基本元素 2-6 MyCat的安装 2-1 章节综述 1.掌握Mycat的基础概 ...
MySQL数据库高可用集群搭建－PXC集群部署
Percona XtraDB Cluster(下文简称PXC集群)提供了MySQL高可用的一种实现方法.集群是有节点组成的,推荐配置至少3个节点,但是也可以运行在2个节点上. PXC原理描述: 分布式 ...
MySQL mha 高可用集群搭建
[mha] MHA作为MySQL故障切换和主从提升的高可用软件,在故障切换过程中,MHA能做到在0~30秒之内自动完成数据库的故障切换操作,并且在进行故障切换的过程中,MHA能在最大程度上保证数据的一 ...

随机推荐

windows任务计划定时备份sqlserver数据库
使用windows的任务计划新建一个sqlserver数据库的定时备份任务一. (我是以sqlserver2008r2数据库版本测试的)在G盘下新建文集夹Database_backup,首 ...
游戏设计模式——Unity对象池
对象池这个名字听起来很玄乎,其实就是将一系列需要反复创建和销毁的对象存储在一个看不到的地方,下次用同样的东西时往这里取,类似于一个存放备用物质的仓库. 它的好处就是避免了反复实例化个体的运算,能减少大 ...
springcloud config配置读取优先级
情景描述最近在修复Eureka的静态页面加载不出的缺陷时,最终发现是远程GIT仓库将静态资源访问方式配置给禁用了(spring.resources.add-mappings=false).虽然最后直 ...
查看mysql中的用户和密码
use mysql; select host,user,password from user; 设置密码 set password for root@localhost=password('root' ...
[AI] 深度数据 - Data
Data Engineering Data Pipeline Outline [DE] How to learn Big Data[了解大数据] [DE] Pipeline for Data Eng ...
dom4j.jar下载
下载地址: 链接:https://pan.baidu.com/s/16GCgCpaF7dc33pMbK2sTLg 密码:z444
Android类似日历的翻转控件
最近写了个翻转面板的控件拿出来与大家分享一下,类似日历的那种,写的比较简单有需要的可以直接拿去用.直接上效果图吧,代码我放在百度云了,有问题的话直接回复就好呢,大家一起交流下. http://pan. ...
Fork/Join 框架框架使用
1.介绍 Fork/Join 框架是 Java7 提供了的一个用于并行执行任务的框架, 是一个把大任务分割成若干个小任务,最终汇总每个小任务结果后得到大任务结果的框架.在多核计算机中正确使用可以很好的 ...
WEB开发中常见的漏洞
一.SQL注入漏洞 SQL注入攻击(SQL Injection),简称注入攻击.SQL注入,被广泛用于非法获取网站控制权,是发生在应用程序的数据库层上的安全漏洞.在设计程序,忽略了对输入字符串中夹带的 ...
插入排序--JavaScript描述
记录一个插入排序写法 <script> var arr = [123,34,23,6,1,4,23,324,65,122]; for (let i =1, j = i ; i < a ...

mycat+mysql搭建高可用集群1--垂直分库

mycat垂直分库

1. 垂直分库的步骤

2. 垂直分库的环境准备

2.1 node1备份

2.2 node2还原

3. 配置mycat垂直分库

4. 配置和应用全局表

4.1 配置步骤

mycat+mysql搭建高可用集群1--垂直分库的更多相关文章

随机推荐

热门专题

3. 配置mycat垂直分库　　