Amoeba For MySQL入门:实现数据库水平切分
当系统数据量发展到一定程度后,往往需要进行数据库的垂直切分和水平切分,以实现负载均衡和性能提升,而数据切分后随之会带来多数据源整合等等问题。如果仅仅从应用程序的角度去解决这类问题,无疑会加重应用程度的复杂度,因此需要一个成熟的第三方解决方案。
Amoeba正是解决此类问题的一个开源方案,Amoeba位于应用程序和数据库服 务器之间,相当于提供了一个代理,使得应用程序只要连接一个Amoeba,相当于只是在操作一个单独的数据库服务器,而实际上却是在操作多个数据库服务 器,这中间的工作全部交由Amoeba去完成。
本文针对基于MySQL的水平切分的实现机制,讲解Amoeba For MySQL的简单应用。
一、背景介绍
使用数据库:MySQL
数据库节点1:127.0.0.1
数据库节点2:10.167.157.176
数据库名:yunzhu
切分的表:用户表(user_info)
切分的参数:用户ID(USERID)
切分规则:
用户ID小于等于100的数据存到数据库节点1,
用户ID大于100的数据存到数据库节点2
user_info表结构如下:
- CREATE TABLE `user_info` (
- `USERID` INT(10) NOT NULL DEFAULT '0',
- `USERNAME` VARCHAR(50) NULL DEFAULT NULL,
- PRIMARY KEY (`USERID`)
- )
数据库节点1中user_info表中的数据:
+--------+-----------+ | USERID | USERNAME | +--------+-----------+ | 73 | Chen Feng | | 88 | China | +--------+-----------+
数据库节点1中user_info表中的数据:
+--------+----------+ | USERID | USERNAME | +--------+----------+ | 108 | Jiang Su | | 200 | NanJing | +--------+----------+
Amoeba版本:
amoeba-mysql-binary-2.2.0
下载地址:
下载后直接解压即可使用
二、配置Amoeba
配置文件全部位于conf目录下
1、amoeba.xml
配置连接Amoeba程序的用户名和密码:
- <property name="user">root</property>
- <property name="password">chenfeng123</property>
2、dbServers.xml
先配置一个抽象的父节点,定义多个数据库节点的共通的信息,包括数据库节点的端口、schema、用户名和密码:
- <dbServer name="abstractServer" abstractive="true">
- <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
- ......
- <!-- mysql port -->
- <property name="port">3306</property>
- <!-- mysql schema -->
- <property name="schema">yunzhu</property>
- <!-- mysql user -->
- <property name="user">root</property>
- <!-- mysql password -->
- <property name="password">chenfeng</property>
- </factoryConfig>
- ......
- </dbServer>
再配置两个数据库节点,继承上面的父节点,然后配置各自的IP地址即可:
- <dbServer name="server1" parent="abstractServer">
- <factoryConfig>
- <!-- mysql ip -->
- <property name="ipAddress">127.0.0.1</property>
- </factoryConfig>
- </dbServer>
- <dbServer name="server2" parent="abstractServer">
- <factoryConfig>
- <!-- mysql ip -->
- <property name="ipAddress">10.167.157.176</property>
- </factoryConfig>
- </dbServer>
3、rule.xml
配置切分规则:
1、schema指定数据库名,name指定表名,defaultPools指定关联的数据库节点(指定哪几个节点就从哪几个节点里面查数据)
2、切分规则:
1)用户ID小于100的数据存到数据库节点1
2)用户ID大于100的数据存到数据库节点2
- <amoeba:rule xmlns:amoeba="http://amoeba.meidusa.com/">
- <tableRule name="user_info" schema="yunzhu" defaultPools="server1,server2">
- <rule name="rule1">
- <parameters>USERID</parameters>
- <expression><![CDATA[ USERID <= 100]]></expression>
- <defaultPools>server1</defaultPools>
- <readPools>server1</readPools>
- <writePools>server1</writePools>
- </rule>
- <rule name="rule2">
- <parameters>USERID</parameters>
- <expression><![CDATA[ USERID > 100 ]]></expression>
- <defaultPools>server2</defaultPools>
- <writePools>server2</writePools>
- <readPools>server2</readPools>
- </rule>
- </tableRule>
- </amoeba:rule>
三、运行及验证
1、启动Amoeba
通过bin目录下的amoeba.bat启动:
- amoeba start
启动后控制台打印如下信息,可以看到:
- log4j:WARN log4j config load completed from file:D:\JavaTools\amoeba-mysql-binar
- y-2.2.0\bin\..\conf\log4j.xml
- 2013-01-08 09:32:27,765 INFO context.MysqlRuntimeContext - Amoeba for Mysql cur
- rent versoin=5.1.45-mysql-amoeba-proxy-2.2.0
- log4j:WARN ip access config load completed from file:D:\JavaTools\amoeba-mysql-b
- inary-2.2.0\bin\../conf/access_list.conf
- 2013-01-08 09:32:27,921 INFO net.ServerableConnectionManager - Amoeba for Mysql
- listening on 0.0.0.0/0.0.0.0:8066.
- 2013-01-08 09:32:27,921 INFO net.ServerableConnectionManager - Amoeba Monitor S
- erver listening on /127.0.0.1:40170.
2、连接Amoeba
通过mysql客户端连接Amoeba,端口指定为8066,然后还像以前操作MySQL一样进行操作:
- D:\>mysql -P8066 -uroot -pchenfeng123
- Welcome to the MySQL monitor. Commands end with ; or \g.
- Your MySQL connection id is 21616774 to server version: 5.1.45-mysql-amoeba-prox
- y-2.2.0
- Type 'help;' or '\h' for help. Type '\c' to clear the buffer.
- mysql>
3、验证数据的查询
查询yunzhu库下的user_info表的数据,如下:
- mysql> select * from yunzhu.user_info;
- +--------+-----------+
- | USERID | USERNAME |
- +--------+-----------+
- | 108 | Jiang Su |
- | 200 | NanJing |
- | 73 | Chen Feng |
- | 88 | China |
- +--------+-----------+
- 4 rows in set (0.02 sec)
可以看到,现在查到了两个数据库节点中的user_info表中的所有记录。
4、验证数据的插入
这里插入两条数据,一条USERID为55,另一条USERID为155,如下:
- mysql> insert into yunzhu.user_info(USERID,USERNAME) values(55,'test55');
- Query OK, 1 row affected (0.13 sec)
- mysql> insert into yunzhu.user_info(USERID,USERNAME) values(155,'test155');
- Query OK, 1 row affected (0.05 sec)
查询数据库节点1:
- D:\>mysql -uroot -pchenfeng
- Welcome to the MySQL monitor. Commands end with ; or \g.
- Your MySQL connection id is 33 to server version: 5.0.18-nt
- Type 'help;' or '\h' for help. Type '\c' to clear the buffer.
- mysql> select * from yunzhu.user_info;
- +--------+-----------+
- | USERID | USERNAME |
- +--------+-----------+
- | 55 | test55 |
- | 73 | Chen Feng |
- | 88 | China |
- +--------+-----------+
- 3 rows in set (0.00 sec)
查询数据库节点2:
- D:\>mysql -uroot -pchenfeng -h10.167.157.176
- Welcome to the MySQL monitor. Commands end with ; or \g.
- Your MySQL connection id is 34 to server version: 5.0.18-nt
- Type 'help;' or '\h' for help. Type '\c' to clear the buffer.
- mysql> select * from yunzhu.user_info;
- +--------+----------+
- | USERID | USERNAME |
- +--------+----------+
- | 108 | Jiang Su |
- | 155 | test155 |
- | 200 | NanJing |
- +--------+----------+
- 3 rows in set (0.00 sec)
可以发现USERID为55的记录插入到了数据库节点1中,USERID为155的记录插入到了数据库节点2中。
因为根据rule.xml中的切分规则,USERID小于等于100的的记录存在数据库节点1中,而大于100的则存在数据库节点2中。
四、注意一些限制
这是我在实践中发现的,刚开始不知道存在这样的限制,以致于浪费了很多时间,以为配置有问题,搞了很久才发现原来是因为这些限制才导致没有出现预期的结果,所以必须要注意:
1、不管是查询和插入,每条都必须显式地指定数据库名(yunzhu),否则只会从一个数据库节点中查询数据,或者所有数据全部会插入一个数据库节点中。
2、插入数据时,必须显式地指定列名,如“insert into yunzhu.user_info(USERID,USERNAME)”,否则切分规则不会生效,所有记录都会插入到一个数据库节点中。
Amoeba For MySQL入门:实现数据库水平切分的更多相关文章
- 单KEY业务,数据库水平切分架构实践
本文将以"用户中心"为例,介绍"单KEY"类业务,随着数据量的逐步增大,数据库性能显著降低,数据库水平切分相关的架构实践: 如何来实施水平切分 水平切分后常见的 ...
- 多key业务,数据库水平切分架构一次搞定
数据库水平切分是一个很有意思的话题,不同业务类型,数据库水平切分的方法不同. 本篇将以"订单中心"为例,介绍"多key"类业务,随着数据量的逐步增大,数据库性能 ...
- 【转】单KEY业务,数据库水平切分架构实践
本文将以“用户中心”为例,介绍“单KEY”类业务,随着数据量的逐步增大,数据库性能显著降低,数据库水平切分相关的架构实践: 如何来实施水平切分 水平切分后常见的问题 典型问题的优化思路及实践 一.用户 ...
- 单KEY业务,数据库水平切分架构实践 | 架构师之路
https://mp.weixin.qq.com/s/8aI9jS0SXJl5NdcM3TPYuQ 单KEY业务,数据库水平切分架构实践 | 架构师之路 原创: 58沈剑 架构师之路 2017-06- ...
- 数据库水平切分的实现原理解析——分库,分表,主从,集群,负载均衡器(转)
申明:此文为转载(非原创),文章分析十分透彻,已添加原文链接,如有任何侵权问题,请告知,我会立即删除. 第1章 引言 随着互联网应用的广泛普及,海量数据的存储和访问成为了系统设计的瓶颈问题.对于一个大 ...
- MySQL入门笔记 - 数据库概述
参考书籍<MySQL入门很简单> 1.数据库 数据库(DataBase)是一个存储数据的仓库,将数据按照特定的规律存储在磁盘上. 2.数据存储方式 数据存储方式分为3个阶段:人工管理阶段. ...
- mycat分布式mysql中间件(数据库切分概述)[转]
mysql数据库切分 前言 通 过MySQLReplication功能所实现的扩展总是会受到数据库大小的限制,一旦数据库过于庞大,尤其是当写入过于频繁,很难由一台主机支撑的时 候,我们还是会面临到扩展 ...
- 基于amoeba实现mysql数据库的读写分离/负载均衡
一.Amoeba的简述:[来自百度百科] Amoeba是一个以MySQL为底层数据存储,并对应用提供MySQL协议接口的proxy.它集中地响应应用的请求,依据用户事先设置的规则,将SQL请 ...
- Windows版Mycat结合mysql安装配置+水平切分(转载)
来源:https://segmentfault.com/a/1190000009495748 参考文档:Mycat安装与使用 环境 环境 版本 windows 10 java 1.8.0 mysql ...
随机推荐
- POJ 3261 Milk Patterns 可重复k次的最长重复子串
Milk PatternsTime Limit: 20 Sec Memory Limit: 256 MB 题目连接 http://poj.org/problem?id=3261 Description ...
- sed常见使用方法总结
编辑文本 sed -i '1i xyz' test.txt 在第一行之前 sed -i '1a xyz' test.txt 在第一行之后插入 sed -i '1c xyz' test.txt 把第一行 ...
- PHP泛域名应用
以Windows开发环境 1.windows =>hosts文件 127.0.0.1 asia.t127.0.0.1 *.asia.t127.0.0.1 www.asia.t1 ...
- 网卡及MAC和PHY的区别
转载:http://blog.sina.com.cn/s/blog_53d7350f0100mudb.html 一块以太网网卡包括OSI(开方系统互联)模型的两个层.物理层和数据链路层.物理层定义了数 ...
- Android(java)学习笔记109:通过反射获取成员变量和成员方法并且使用
一.反射获取成员变量并且使用: 1.获取字节码文件对象: Class c = Class.forName("cn.itcast_01.Person"); 2.使用无 ...
- myeclipse web 包名保留字与servlet冲突
包名不能取modify ..........等保留字 不能有数字
- The required Server component failed to start so Tomcat is unable to start解决之一
http://www.cnblogs.com/quxuedan/archive/2012/12/11/2813445.html 看看这个博客园园主说的吧
- iOS之duplicate symbols for architecture x86_64错误
在我们写代码过程中可能会经常遇到这样一个错误: <span style="font-size:32px;color:#ff0000;">ld: 4 duplicate ...
- markdownpad2 pro注册信息升级 破解版
注册信息邮箱地址: Soar360@live.com 授权秘钥: GBPduHjWfJU1mZqcPM3BikjYKF6xKhlKIys3i1MU2eJHqWGImDHzWdD6xhMNLGVpbP2 ...
- eclipse插件svn 提交时报:"svn is already locked"解决方法
在出错文件夹下,鼠标右键TortoiseSVN->Clean up. SVN错误:Attempted to lock an already-locked dir 1.出现这个问题后使用“清理”功 ...