Amoeba实现mysql主从读写分离

架设amoeba,实现mysql主从读写分

安装amoeba前需要先安装jdk,因为amoeba是JAVA编写的,所以需要JDK环境的支持,至于版本需要在JAVA1.5以后,mysql数据库需要在4.1以后的版本。

以下是我的实验环境。

System:    CentOS 6.5

Master mysql:192.168.88.133

Slave mysql:192.168.88.135

Amoeba server:   192.168.88.131

安装mysql及配置mysql主从这里省略,网上一大堆,也比较简单。

安装JDK环境

1.下载JDK,我这里是直接下载的RPM包,版本是 jdk-7u79-linux-x64.rpm

下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

2.安装

rpm -ivh  dk-7u79-linux-x64.rpm

3.配置环境

加下面的参数加入到/etc/profile中,


JAVA_HOME=/usr/java/jdk1.7.0_79/

JAVA_BIN=/usr/java/jdk1.7.0_79/bin

JRE_HOME=/usr/java/jdk1.7.0_79/jre

PATH=$PATH:/usr/java/jdk1.7.0_79/bin:/usr/java/jdk1.7.0_79/jre/bin

CLASSPATH=/usr/java/jdk1.7.0_79/jre/lib:/usr/java/jdk1.7.0_79/lib:/usr/java/jdk1.7.0_79/jre/lib/charsets.jar

export  JAVA_HOME  JAVA_BIN JRE_HOME  PATH  CLASSPATH

PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/usr/java/jdk1.7.0_79/bin:/usr/java/jdk1.7.0_79/jre/bin:/root/bin:/usr/local/mysql/bin

PATH=$PATH:$HOME/bin:/usr/local/amoeba/bin

使配置生效:source /etc/profile

安装amoeba-mysql

1.下载amoeba-mysql

wget http://iweb.dl.sourceforge.net/project/amoeba/Amoeba%20for%20mysql/amoeba-mysql-1.2.1-GA.tar.gz

2.安装

mkdir /usr/local/amoeba

tar zxvf amoeba-mysql-1.2.1-GA.tar.gz -C /usr/local/amoeba/

配置文件位于conf目录下,执行文件位于bin目录下

Amoeba For MySQL 的使用非常简单,所有的配置文件都是标准的XML 文件,总共有四个配置文件。分别为:

◆ amoeba.xml:主配置文件,配置所有数据源以及Amoeba 自身的参数设置;实现主从的话配置这个文件就可以了;

◆ rule.xml:配置所有Query 路由规则的信息;

◆ functionMap.xml:配置用于解析Query 中的函数所对应的Java 实现类;

◆ rullFunctionMap.xml:配置路由规则中需要使用到的特定函数的实现类;

下面我们就来通过更改amoeba.xml配置文件实现mysql主从读写分离,我的配置如下:

<?xml version="1.0" encoding="gbk"?>

<!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">
<amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">

<server>
        <!-- proxy server绑定的端口 -->
        <property name="port">8066</property>
        
        <!-- proxy server绑定的IP -->
        <property name="ipAddress">192.168.88.131</property>
        <!-- proxy server net IO Read thread size -->
        <property name="readThreadPoolSize">20</property>
        
        <!-- proxy server client process thread size -->
        <property name="clientSideThreadPoolSize">30</property>
        
        <!-- mysql server data packet process thread size -->
        <property name="serverSideThreadPoolSize">30</property>
        
        <!-- socket Send and receive BufferSize(unit:K)  -->
        <property name="netBufferSize">128</property>
        
        <!-- Enable/disable TCP_NODELAY (disable/enable Nagle‘s algorithm). -->
        <property name="tcpNoDelay">true</property>
        
        <!-- 对外验证的用户名 -->
        <property name="user">root</property>
        
        <!-- 对外验证的密码 -->
        <property name="password">12345678</property>
        
        <!-- query timeout( default: 60 second , TimeUnit:second) -->
        <property name="queryTimeout">60</property>
    </server>
    
    <!-- 
        每个ConnectionManager都将作为一个线程启动。
        manager负责Connection IO读写/死亡检测
    -->
    <connectionManagerList>
        <connectionManager name="defaultManager" class="com.meidusa.amoeba.net.MultiConnectionManagerWrapper">
            <property name="subManagerClassName">com.meidusa.amoeba.net.AuthingableConnectionManager</property>
            
            <!-- 
              default value is avaliable Processors 
            <property name="processors">5</property>
             -->
        </connectionManager>
    </connectionManagerList>
    
    <dbServerList>
        <!-- 
            一台mysqlServer 需要配置一个pool,
            如果多台 平等的mysql需要进行loadBalance, 
            平台已经提供一个具有负载均衡能力的objectPool:com.meidusa.amoeba.mysql.server.MultipleServerPool
            简单的配置是属性加上 virtual="true",该Pool 不允许配置factoryConfig
            或者自己写一个ObjectPool。
        -->
        <dbServer name="server1">
            
            <!-- PoolableObjectFactory实现类 -->
            <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
                <property name="manager">defaultManager</property>
                
                <!-- 真实mysql数据库端口 -->
                <property name="port">3306</property>
                
                <!-- 真实mysql数据库IP -->
                <property name="ipAddress">192.168.88.133</property>
                <property name="schema">test</property>
                
                <!-- 用于登陆mysql的用户名 -->
                <property name="user">amoeba</property>
                
                <!-- 用于登陆mysql的密码 -->
                
                <property name="password">12345678</property>
                
            </factoryConfig>
            
            <!-- ObjectPool实现类 -->
            <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool">
                <property name="maxActive">200</property>
                <property name="maxIdle">200</property>
                <property name="minIdle">10</property>
                <property name="minEvictableIdleTimeMillis">600000</property>
                <property name="timeBetweenEvictionRunsMillis">600000</property>
                <property name="testOnBorrow">true</property>
                <property name="testWhileIdle">true</property>
            </poolConfig>
        </dbServer>

<dbServer name="server2">
            
            <!-- PoolableObjectFactory实现类 -->
            <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
                <property name="manager">defaultManager</property>
                
                <!-- 真实mysql数据库端口 -->
                <property name="port">3306</property>
                
                <!-- 真实mysql数据库IP -->
                <property name="ipAddress">192.168.88.135</property>
                <property name="schema">test</property>
                
                <!-- 用于登陆mysql的用户名 -->
                <property name="user">amoeba</property>
                
                <!-- 用于登陆mysql的密码 -->
                <property name="password">12345678</property>
                
            </factoryConfig>
            
            <!-- ObjectPool实现类 -->
        <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool">
                <property name="maxActive">200</property>
                <property name="maxIdle">200</property>
                <property name="minIdle">10</property>
                <property name="minEvictableIdleTimeMillis">600000</property>
               <property name="timeBetweenEvictionRunsMillis">600000</property>
                <property name="testOnBorrow">true</property>
                <property name="testWhileIdle">true</property>
            </poolConfig>
        </dbServer>

<dbServer name="master" virtual="true">
            <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
                <!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
                <property name="loadbalance">1</property>
                
                <!-- 参与该pool负载均衡的poolName列表以逗号分割 -->
                <property name="poolNames">server1</property>
            </poolConfig>
        </dbServer>

<dbServer name="slave" virtual="true">
            <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
                <!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
                <property name="loadbalance">1</property>
                
                <!-- 参与该pool负载均衡的poolName列表以逗号分割 -->
                <property name="poolNames">server1,server2</property>
            </poolConfig>
        </dbServer>
        
    </dbServerList>
    
    <queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
        <property name="ruleConfig">${amoeba.home}/conf/rule.xml</property>
        <property name="functionConfig">${amoeba.home}/conf/functionMap.xml</property>
        <property name="ruleFunctionConfig">${amoeba.home}/conf/ruleFunctionMap.xml</property>
        <property name="LRUMapSize">1500</property>
        <property name="defaultPool">master</property>
        
        <property name="writePool">master</property>
        <property name="readPool">slave</property>
        <property name="needParse">true</property>
    </queryRouter>
</amoeba:configuration>

3.启动amoeba

启动之前要做一个设置,在/usr/local/amoeba/bin/amoeba 找到 “-server -Xms256m -Xmx256m -Xss128k”这一行,把最后面的数字128改成256,否则启动时会报错。

启动: /usr/local/amoeba/bin/amoeba &

检验启动是否成功(使用的是默认的8066端口):

[[email protected] amoeba]# ps aux|grep amoeba

root     23213  0.5 12.8 1081124 63448 pts/0   Sl   May26   0:27 /usr/java/jdk1.7.0_79//bin/java -server -Xms256m -Xmx256m -Xss256k -Damoeba.home=/usr/local/amoeba -Dclassworlds.conf=/usr/local/amoeba/bin/amoeba.classworlds -classpath /usr/local/amoeba/lib/classworlds-1.0.jar org.codehaus.classworlds.Launcher

root     23703  0.0  0.1 103248   880 pts/0    S+   01:13   0:00 grep amoeba

[[email protected] amoeba]# netstat -lnp|grep java

tcp        0      0 ::ffff:192.168.88.133:8066  :::*                        LISTEN      23213/java

如上面显示表示已启动。

4.测试

测试之前先要保证amoeba-server有访问两个主从服务器test库的权限,在主从mysql上都执行:

grant all on test.* to [email protected]‘192.168.88.%‘ identified by ‘12345678‘;

#用户名密码要和前面配置的意志

flush privileges;

测试的时候和我们平时使用一样,amoeba-mysql对我们应用透明,就是个mysql的代理了!

登录mysql使用如下命令(用户名密码和上面配置的要一致):

mysql -uroot -ppassword -h192.168.1.159 -P8066

登录上去后,为了测试读和写必须,先把mysql的主从复制停掉,才能更清楚地看出读写的服务器是哪台,在从上使用stop slave;登录到amoeba-mysql上,使用命令mysql -uroot -ppassword -h192.168.1.159 -P8066,然后执行写和读操作,查看写的是哪台服务器,读的是哪台服务器,实验结果显示:写只在主上进行,读在主和从都进行,比率是1:1

测试步骤:

还没有停掉从同步之前,创建一个表:

create table zhang (id int(10) ,name varchar(10),address varchar(20));

在从上执行stop slave;

然后在主从上各插入一条不同数据(供测试读的时候用),

在主上插入:insert into zhang values(‘1‘,‘zhang‘,‘this_is_master‘);

在从上插入:insert into zhang values(‘2‘,‘zhang‘,‘this_is_slave‘);

接下来通过登录amoeba-mysql上来测试读写:


[[email protected] ~]# mysql -uroot -p12345678 -h192.168.88.133 -P8066

Welcome to the MySQL monitor.  Commands end with ; or \g.

Your MySQL connection id is 14556042

Server version: 5.1.45-mysql-amoeba-proxy-1.3.1-BETA Source distribution

Type ‘help;‘ or ‘\h‘ for help. Type ‘\c‘ to clear the buffer.

mysql> use test;

Database changed

mysql> select * from zhang;    ###第一次执行显示在主上读取的数据!

+------+-------+----------------+

| id   | name  | address        |

+------+-------+----------------+

|    1 | zhang | this_is_master |

+------+-------+----------------+

1 row in set (0.02 sec)

mysql> select * from zhang;         ####第二次执行select语句显示是在从上读取的数据

+------+-------+---------------+

| id   | name  | address       |

+------+-------+---------------+

|    2 | zhang | this_is_slave |

+------+-------+---------------+

1 row in set (0.02 sec)

mysql> insert into zhang values(‘3‘,‘hhh‘,‘test_write‘);               ###插入一条数据,然后查询

Query OK, 1 row affected (0.01 sec)

mysql> select * from zhang;                ###我们可以看到插入的数据被添加到了主上!

+------+-------+----------------+                   ####可以多插入几次数据看看是否会出现错误!

| id   | name  | address        |

+------+-------+----------------+

|    1 | zhang | this_is_master |

|    3 | hhh   | test_write     |

+------+-------+----------------+

mysql> select * from zhang;                ###从上还是没有插入,因为执行了stop slave;

+------+-------+---------------+

| id   | name  | address       |

+------+-------+---------------+

|    2 | zhang | this_is_slave |

+------+-------+---------------+

5.简单主从权重配置

大家可能会想到,我们加入只有两台数据库服务器,一台主,一台从,按照上面的配置只能是主和从的读取比率是1:1,而写又全部在主上进行,这样主的压力就很大了,所以如果能让主和从的读设置权重,比如设置成1:3,这样就可以很好的解决主从不压力均衡的问题!通过研究确实可以!

配置就是将上面的读的池的配置更改一下:

将<property name="poolNames">server1,server2</property>更改成

<property name="poolNames">server1,server2,server2,server2</property>

测试结果如下:

mysql> select * from zhang;

+------+-------+----------------+

| id   | name  | address        |

+------+-------+----------------+

|    1 | zhang | this_is_master |

|    3 | hhh   | test_write     |

+------+-------+----------------+

2 rows in set (0.01 sec)

mysql> select * from zhang;

+------+-------+---------------+

| id   | name  | address       |

+------+-------+---------------+

|    2 | zhang | this_is_slave |

+------+-------+---------------+

1 row in set (0.04 sec)

mysql> select * from zhang;

+------+-------+---------------+

| id   | name  | address       |

+------+-------+---------------+

|    2 | zhang | this_is_slave |

+------+-------+---------------+

1 row in set (0.01 sec)

mysql> select * from zhang;

+------+-------+---------------+

| id   | name  | address       |

+------+-------+---------------+

|    2 | zhang | this_is_slave |

+------+-------+---------------+

以上可以看出以实现1:3。

若是想添加多个从库的话,只需要在配置文件amoeba.xml中添加一段dbserver即可。

本人来自http://blog.chinaunix.net/uid-20639775-id-154600.html

时间: 2024-10-12 11:10:54

Amoeba实现mysql主从读写分离的相关文章

Amoeba for MySQL的读写分离配置

一.Amoeba概述 1.amoeba简介 Amoeba是一个类似MySQL Proxy的分布式数据库中间代理层软件,是由陈思儒开发的一个开源的java项目.其主要功能包括读写分离,垂直分库,水平分库等,经过测试,发现其功能和稳定性都非常的不错,如果需要构架分布式数据库环境,采用Amoeba是一个不错的方案.目前Amoeba一共包括For aladdin,For MySQL和For Oracle三个版本,本文主要关注For MySQL版本的一个读写分离实现. Amoeba处于在应用和数据库之间,

使用Amoeba 实现MySQL DB 读写分离

Amoeba(变形虫)项目是一个开源框架,于2008年开始发布一款 Amoeba for Mysql软件: 这个软件致力于MySQL的分布式数据库前端代理层,它主要在应用层访问MySQL的时候充当SQL路由功能,专注于分布式数据库代理层(Database Proxy)开发:位于 Client.DB Server(s)之间,对客户端透明: =================================================================== 1 简介 2 准备 2.

利用amoeba实现mysql主从复制读写分离

一般大型网站为了缓解大量的并发访问,会在web端实现负载均衡,但是这是远远不够的.到了数据存储层.数据访问层,如果还是传统的架构,或者只是依靠一台服务器,大量的数据库连接操作,会导致数据库面临崩溃的危险.进而造成数据丢失,后果不堪设想.所以我们会考虑如何减少数据库的连接,一方面进行代码的优化,采用优秀的数据缓存技术如memcached,如果资金丰厚的话,必然会想到假设服务器群,来分担主数据库的压力.今天我们就利用MySQL主从配置,实现读写分离,分散数据库的压力.这种方式,很多网站都有应用,今天

【实战】Amoeba 代理 MySQL 主从复制 + 读写分离 【提供源码包】

目录简介: 1· Amoeba 的介绍2· MySQL 主从复制原理3· MySQL 读写分离原理4· 实战案例5· 总结归纳 Amoeba 的介绍 1)Amoeba 是什么: 1·Amoeba 的中文名是:变形虫.它是一个以MySQL为底层数据存储,并对应用提供MySQL协议接口的proxy.它集中地响应应用的请求,依据用户事先设置的规则,将SQL请求发送到特定的数据库上执行.基于此可以实现负载均衡.读写分离.高可用性等需求. 2·Amoeba相当于一个SQL请求的路由器,目的是为负载均衡.读

Amoeba搞定mysql主从读写分离

一个简单完整的 Mysql 主从复制,读写分离的示意图. 1. 首先搭建 Mysql 主从架构,实现 将 mater 数据自动复制到 slave MySQL 复制的工作方式很简单,一台服务器作为主机,一台或多台服务器作为从机.主机会把数据库的变化记录到日志.一旦这些变化被记录到日志,就会立刻(或者以设定的时间间隔)被送到从机. 使用MySQL 复制提供扩展大型网站的能力,这些大型网站的数据库主要是读操作(SELECTs).从机用於复制主机的銷秏是很少的(通常每个从机1%的开销),在大型网站中每个

CentOS系统 Amoeba+MySql主从读写分离配置 适合新手傻瓜式教程!-----仅供参考!

废话不说,直接开始: 一.安装mysql的三种方式,这里采用第2种(安装方式不再详解,请参照) http://www.cnblogs.com/babywaa/articles/4837946.html 1.rpm安装2.源码安装3.通用二进制源码安装 环境准备 192.168.5.10 master1 192.158.5.20 slave1 二.配置master服务器,192.168.5.101.第一步:登陆mysql,给root账号添加密码     //参考命令:SETPASSWORD = P

Amoeba实现mysql的读写分离 CentOS6.5下

Amoeba是一个以MySQL为底层数据存储,并对应用提供MySQL协议接口的proxy.它集中地响应应用的请求,依据用户事先设置的规则,将SQL请求发送到特定的数据库上执行.基于此可以实现负载均衡.读写分离.高可用性等需求.与MySQL官方的MySQL Proxy相比,作者强调的是amoeba配置的方便(基于XML的配置文件,用SQLJEP语法书写规则,比基于lua脚本的MySQL Proxy简单) 不足 a).目前还不支持事务b).暂时不支持存储过程(近期会支持) c).不适合从amoeba

mysql主从-读写分离

一个完整的MySQL读写分离环境包括以下几个部分: 应用程序client database proxy database集群 在本次实战中,应用程序client基于c3p0连接后端的database proxy.database proxy负责管理client实际访问database的路由策略,采用开源框架amoeba.database集群采用mysql的master-slave的replication方案.整个环境的结构图如下所示: 实战步骤与详解 一.搭建mysql的master-slave

Mycat实现Mysql主从读写分离

一.概述 关于Mycat的原理网上有很多,这里不再详述,对于我来说Mycat的功能主要有如下几种: 1.Mysql主从的读写分离 2.Mysql大表分片 3.其他数据库例如Oracle,MSSQL,DB2等的读写分离和分片. 之所以第3点单独列出来只是因为它不常用,而且使用的JDBC,连接Mysql则是直接使用Mysql协议. 对于Mycat的分片功能,由于遇到了几个很严重的BUG,同时分片带来的一系列并发问题比较繁杂,因此测试之后放弃了,这里只讨论读写分离. 二.安装配置 1.安装JDK(要求