About Amoeba

Amoeba可译为阿米巴、变型虫
Amoeba是一个开源项目，致力于Mysq的分布式数据库前端代理层
Amoeba是一个以MySQL为底层数据存储，并对应用提供MySQL协议接口的proxy。它集中地响应应用的请求，依据用户事先设置的规则，将SQL请求发送到特定的数据库上执行。
Amoeba相当于一个SQL请求的路由器，目的是为负载均衡、读写分离、高可用性提供机制，而不是完全实现它们。用户需要结合使用MySQL的Replication等机制来实现副本同步等功能
通过Amoeba可以实现数据源的高可用、负载均衡、数据切片等功能
与MySQL官方的MySQL Proxy相比，amoeba配置更方便（基于XML的配置文件，用SQLJEP语法书写规则，比基于lua脚本的MySQL Proxy简单）
Amoeba对底层数据库连接管理和路由实现也采用了可插拨的机制，第三方可以开发更高级的策略类来替代作者的实现，这个程序总体上比较符合KISS原则的思想。

Amoeba主要的解决的问题有：
• 降低 数据切分带来的复杂多数据库结构
• 提供切分规则并降低 数据切分规则 给应用带来的影响
• 降低db 与客户端的连接数
• 读写分离

实验架构图

       

实验环境

主机名 操作系统版本 Mysql版本 主机IP 其他版本说明
lyj1(Master) Red Hat release 6.5 Mysql5.6.31 10.0.100.201  
lyj2(Slave) Red Hat release 6.5 Mysql5.6.31 10.0.100.202  
lyj3(Amoeda) Red Hat release 6.5 Mysql5.6.31 10.0.100.204 jdk-8u101-linux-i586.tar.gz、amoeba-mysql-1.3.1-BETA.zip

安装jdk(Amoeba是基于JavaSE1.5开发的因此需要Java环境)

//要看清系统的位数下载对应版本

# getconf LONG_BIT

//下载地址http://www.oracle.com/technetwork/java/javase/downloads/index.html

# tar xvf jdk-8u101-linux-i586.tar.gz

# cp jdk1.8.0_101/  /Amoeba -r

# vim /etc/profile

  export JAVA_HOME=/Amoeba/jdk1.8.0_101

  export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH

  export PATH=$JAVA_HOME/bin:$PATH

# source /etc/profile

# java -version

  java version "1.8.0_101"

  Java(TM) SE Runtime Environment (build 1.8.0_101-b13)

  Java HotSpot(TM) Client VM (build 25.101-b13, mixed mode)

安装Amoeba

//Amoeba安装非常简单，解压即可使用

# mkdir /usr/local/amoede

# unzip amoeba-mysql-1.3.1-BETA.zip -d /usr/local/amoeba/

# chmod -R +x /usr/local/amoeba/bin/

Amoeba的配置

1. 为Amoeba访问集群中所有Mysql数据库节点新建用户与授权

//注意每个Mysql服务器都要设置有

-> grant all privileges on *.* to 'amoeba'@'%' identified by 'amoeba123';

-> flush privileges;

2. Amoeba For MySQL 的使用非常简单，所有的配置文件都是标准的XML 文件，总共有四个配置文件。分别为：

  • amoeba.xml：主配置文件，配置所有数据源以及Amoeba 自身的参数设置(实现主从的话配置这个文件就可以了)
  • rule.xml：配置所有Query 路由规则的信息
  • functionMap.xml：配置用于解析Query 中的函数所对应的Java 实现类
  • rullFunctionMap.xml：配置路由规则中需要使用到的特定函数的实现类

3. 书写Amoeba.xml配置文件

<?xml version="1.0" encoding="gbk"?>

<!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">

<amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">

    <server>

        <!-- proxy server绑定的端口 -->

        <property name="port">9006</property>

        <!-- proxy server绑定的IP -->

        <property name="ipAddress">10.0.100.204</property>

        <!-- proxy server net IO Read thread size -->

        <property name="readThreadPoolSize">20</property>

        <!-- proxy server client process thread size -->

        <property name="clientSideThreadPoolSize">30</property>

        <!-- mysql server data packet process thread size -->

        <property name="serverSideThreadPoolSize">30</property>

        <!-- socket Send and receive BufferSize(unit:K)  -->

        <property name="netBufferSize">128</property>

        <!-- Enable/disable TCP_NODELAY (disable/enable Nagle's algorithm). -->

        <property name="tcpNoDelay">true</property>

        <!-- 对外验证的用户名 -->

        <property name="user">root</property>

        <!-- 对外验证的密码 -->

        <property name="password">123456</property>

        <!-- query timeout( default: 60 second , TimeUnit:second) -->

        <property name="queryTimeout">60</property>

    </server>

    <!--

        每个ConnectionManager都将作为一个线程启动。

        manager负责Connection IO读写/死亡检测

    -->

    <connectionManagerList>

        <connectionManager name="defaultManager" class="com.meidusa.amoeba.net.MultiConnectionManagerWrapper">

            <property name="subManagerClassName">com.meidusa.amoeba.net.AuthingableConnectionManager</property>

            <!--

              default value is avaliable Processors

            <property name="processors">5</property>

             -->

        </connectionManager>

    </connectionManagerList>

    <dbServerList>

        <!--

            一台mysqlServer 需要配置一个pool，

            如果多台 平等的mysql需要进行loadBalance，

            平台已经提供一个具有负载均衡能力的objectPool：com.meidusa.amoeba.mysql.server.MultipleServerPool

            简单的配置是属性加上 virtual="true",该Pool 不允许配置factoryConfig

            或者自己写一个ObjectPool。

        -->

        <dbServer name="server1">

            <!-- PoolableObjectFactory实现类 -->

            <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">

                <property name="manager">defaultManager</property>

                <!-- 真实mysql数据库端口 -->

                <property name="port">3306</property>

                <!-- 真实mysql数据库IP -->

                <property name="ipAddress">10.0.100.201</property>

                <property name="schema">test</property>

                <!-- 用于登陆mysql的用户名 -->

                <property name="user">amoeba</property>

                <!-- 用于登陆mysql的密码 -->

                <property name="password">amoeba123</property>

            </factoryConfig>

            <!-- ObjectPool实现类 -->

            <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool">

                <property name="maxActive">200</property>

                <property name="maxIdle">200</property>

                <property name="minIdle">10</property>

                <property name="minEvictableIdleTimeMillis">600000</property>

                <property name="timeBetweenEvictionRunsMillis">600000</property>

                <property name="testOnBorrow">true</property>

                <property name="testWhileIdle">true</property>

            </poolConfig>

        </dbServer>

        <dbServer name="server2">

            <!-- PoolableObjectFactory实现类 -->

            <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">

                <property name="manager">defaultManager</property>

                <!-- 真实mysql数据库端口 -->

                <property name="port">3306</property>

                <!-- 真实mysql数据库IP -->

                <property name="ipAddress">10.0.100.202</property>

                <property name="schema">test</property>

                <!-- 用于登陆mysql的用户名 -->

                <property name="user">amoeba</property>

                <!-- 用于登陆mysql的密码 -->

                <property name="password">amoeba123</property>

            </factoryConfig>

            <!-- ObjectPool实现类 -->

            <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool">

                <property name="maxActive">200</property>

                <property name="maxIdle">200</property>

                <property name="minIdle">10</property>

                <property name="minEvictableIdleTimeMillis">600000</property>

                <property name="timeBetweenEvictionRunsMillis">600000</property>

                <property name="testOnBorrow">true</property>

                <property name="testWhileIdle">true</property>

            </poolConfig>

        </dbServer>        

        <dbServer name="master" virtual="true">

            <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">

                <!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->

                <property name="loadbalance">1</property>

                <!-- 参与该pool负载均衡的poolName列表以逗号分割 -->

                <property name="poolNames">server1</property>

            </poolConfig>

        </dbServer>

        <dbServer name="slave" virtual="true">

            <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">

                <!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->

                <property name="loadbalance">1</property>

                <!-- 参与该pool负载均衡的poolName列表以逗号分割 -->

                <property name="poolNames">server1,server2</property>

            </poolConfig>

        </dbServer>        

    </dbServerList>

    <queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">

        <property name="ruleConfig">${amoeba.home}/conf/rule.xml</property>

        <property name="functionConfig">${amoeba.home}/conf/functionMap.xml</property>

        <property name="ruleFunctionConfig">${amoeba.home}/conf/ruleFunctionMap.xml</property>

        <property name="LRUMapSize">1500</property>

        <property name="defaultPool">master</property>

        <property name="writePool">master</property>

        <property name="readPool">slave</property>

        <property name="needParse">true</property>

    </queryRouter>

</amoeba:configuration>

amoeba.xml参考配置文件

4. 启动Amoeba与常见报错说明

# cd /usr/local/amoeba/bin/

# nohup bash -x amoeba &

# cat nohup.out

   2016-08-18 22:37:27,675 INFO  net.ServerableConnectionManager - Server listening on /10.0.100.204:9006.   ->出现这条说明成功
# netstat -tulnp|grep java
  tcp 0 0 ::ffff:10.0.100.204:9006 :::* LISTEN 10664/java  ->关闭Amoeba就是kill这个进程即可
常见报错1：

The stack size specified is too small, Specify at least 228k

Error: Could not create the Java Virtual Machine.

Error: A fatal exception has occurred. Program will exit.

解决1：

# vim /usr/local/amoeba/bin/amoeba

#DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss128k"  注释掉这行

DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss256k"   增加并修改这行

常见错误2:

org.xml.sax.SAXParseException; lineNumber: ;columnNumber: ; 注释中不允许出现字符串 "--"

解决2：

要注意注释两边注释两边要有空格才行

<!--  实体类路径和名   -->

此外的报错应该思考：

先尝试着用amoeba是不是可以登录Mysql、权限设置是否正确等

配置文件中要注意细节不要出错

Amoeba+Mysql 实现读写分离的更多相关文章

  1. CentOS系统 Amoeba+MySql主从读写分离配置 适合新手傻瓜式教程！-----仅供参考！

    废话不说,直接开始: 一.安装mysql的三种方式,这里采用第2种(安装方式不再详解,请参照) http://www.cnblogs.com/babywaa/articles/4837946.html ...

  2. Amoeba搞定mysql主从读写分离

    前言:一直想找一个工具,能很好的实现mysql主从的读写分离架构,曾经试用过mysql-proxy发现lua用起来很不爽,尤其是不懂lua脚本,突然发现了Amoeba这个项目,试用了下,感觉还不错,写 ...

  3. Amoeba实现mysql主从读写分离

    Amoeba实现mysql主从读写分离 这段在网上看了下关于amoeba的文章,总体感觉好像要比mysql-proxy好的多,也参考了不少的资料,此文章可能与其他文章作者会有雷同的地方,请谅解,但是此 ...

  4. 搭建基于MySQL的读写分离工具Amoeba

    搭建基于MySQL的读写分离工具Amoeba: Amoeba工具是实现MySQL数据库读写分离的一个工具,前提是基于MySQL主从复制来实现的: 实验环境(虚拟机): 主机 角色 10.10.10.2 ...

  5. MySQL+Amoeba实现数据库读写分离

    参考:https://www.cnblogs.com/liuyisai/p/6009379.html 一,Amoeba是什么 Amoeba(变形虫)项目,专注 分布式数据库 proxy 开发.座落与C ...

  6. mysql主从复制-读写分离-原理

    Mysql主从复制和读写分离 在实际的生产环境中,如果对mysql数据库的读和写都在一台数据库服务器中操作,无论是在安全性.高可用性,还是高并发等各个方面都是不能满足实际需求的.因此,一般通过主从复制 ...

  7. mysql主从复制-读写分离

    mysql主从复制+读写分离 环境:mysql主:193.168.1.1mysql从:193.168.1.2amoeba代理:193.168.1.3########################## ...

  8. MySQL的读写分离的几种选择

    MySQL的读写分离的几种选择 MySQL主从复制(Master-Slave)与读写分离(MySQL-Proxy)实践 原址如下: http://heylinux.com/archives/1004. ...

  9. MySQL/MariaDB读写分离配置

    DB读写分离描述 数据库的读写分离其实就是为了加减少数据库的压力:数据库的写入操作由主数据库来进行,读取操作由从数据库来进行操作.实现数据库读写分离技术是有很多方法的,在这里我就用一个比较简单的mys ...

随机推荐

  1. Oracle觸發器調用procedure寄信

    最近寫了一直Web Service給很多不同站的客戶端呼叫,并直接寄信通知程式中的異常. 直接在oracle中設置某張表的trigger(after insert),當有新的異常資料寫入時候,寄給相關 ...

  2. EF 查询视图返回重复数据的问题

    在特殊的情况下查询过滤视图 会出现重复的数据结果集(返回的多条数据结果一致). 原因是啥:主键 在数据库设计的理念中:每个表都应该的唯一的主键.但视图不同,EF中会自动按视图的最前几个非空型字段设置为 ...

  3. Crystal Reports for Visual Studio 2015 安装

    如果你在vs2015下要用到Cystal Reports,请安装下面的插件.安装时请退出vs2015,安装后重启. https://www.aspsnippets.com/Articles/Downl ...

  4. leetcode 加一

    给定一个非负整数组成的非空数组,在该数的基础上加一,返回一个新的数组. 最高位数字存放在数组的首位, 数组中每个元素只存储一个数字. 你可以假设除了整数 0 之外,这个整数不会以零开头. 示例 1: ...

  5. solidity 合约间调用以及参数传递

    在 以太坊中合约间是可以相互调用,并且正常进行参数传递以及返回值处理. contract1.sol pragma solidity ^0.4.0; contract Test1 { uint256 p ...

  6. Android通知栏介绍与适配总结（上篇）

    此文已由作者黎星授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 由于历史原因,Android在发布之初对通知栏Notification的设计相当简单,而如今面对各式各样的通知 ...

  7. [Perl][文件操作]判断文件是否为符号链接(Unicode路径)

    Win32API::File 判断文件/文件夹是否为符号链接 Win32::Unicode 好像无法做这方面的判断,只能判断是否为目录.文件.文件是否存在. Win32API::File 则支持 Ge ...

  8. 读取xml文件内容到数据库

    前言 前言不搭后语·················· 内容 听某个大牛说他们的公司常常会涉及到从xml文件中读数据到写入到数据库,序列化的时候会遇到这这个问题,将要持久化的数据到xml文件存储起来, ...

  9. 关于前后台DOM树应用

    Dom对象是在程序开发中很实用而且经常会应用到的技术,通过Dom对象可以传递具有树结构的对象,有利用前台页面的诸如树的显示和相应值的处理,本文从两个方面全面解析Dom对象的应用,一是从后台得到完整的D ...

  10. C#使用Redis的基本操作

    一,引入dll 1.ServiceStack.Common.dll 2.ServiceStack.Interfaces.dll 3.ServiceStack.Redis.dll 4.ServiceSt ...