基于主从复制的Mysql双机热备+amoeba实现读写分离、均衡负载

读写分离指的是客户只能在主服务器上写，只能在从服务器上读，当然了，这也是要看配置，你可以在主服务器配置读的功能，但是在从服务器上只能读不能写，因为从服务器是基于binlog对主服务器的复制，如果在从服务器上写的话，会造成主从不一致的结果。mysql实现读写分离，写的压力虽然没有减少，但是读的压力瞬间就减少了一半。

Amoeba的中文意思是阿米巴、变型虫
Amoeba是一个以MySQL为底层数据存储，并对应用提供MySQL协议接口的proxy代理服务器。它集中地响应应用的请求，依据用户事先设置的规则，将SQL请求发送到特定的数据库上执行。基于此可以实现负载均衡、读写分离、高可用性等需求。与MySQL官方的MySQL Proxy相比，作者强调的是amoeba配置的方便（基于XML的配置文件，用SQLJEP语法书写规则，比基于lua脚本的MySQL Proxy简单）。
Amoeba相当于一个SQL请求的路由器， 目的是为负载均衡、读写分离、高可用性提供机制，而不是完全实现它们。用户需要结合使用MySQL的 Replication等机制来实现副本同步等功能。amoeba对底层数据库连接管理和路由实现也采用了可插拨的机制，第三方可以开发更高级的策略类来 替代作者的实现。这个程序总体上比较符合KISS原则的思想。

1、环境介绍

Master--IP:192.168.1.135(主服务器)
Slave---IP:192.168.1.136(从服务器)
Amoeba--IP:192.168.1.137(代理服务器)
Client--IP:192.168.1.138(客户机)

2、安装JDK

#mkdir /Amoeba
#tar –xvf jdk-7u40-linux-x64.tar.gz
# vim /etc/profile
JAVA_HOME=/Amoeba/jdk1.7.0_40
export JAVA_HOME

PATH=$JAVA_HOME/bin:$PATH
export PATH

CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
export CLASSPATH

3、安装Amoeba

#:mkdir /usr/local/amoeba
#:unzip amoeba-mysql-1.3.1-BETA.zip -d /usr/local/amoeba
#:chmod -R +x /usr/local/amoeba/bin/
# java -version java version "1.7.0_40"Java(TM) SE Runtime Environment (build 1.7.0_40-b43)
Java HotSpot(TM) 64-Bit Server VM (build 24.0-b56, mixed mode)

4、主从授权，增加用户

mysql-->grant all privileges on *.* to [email protected]‘%‘ identified by ‘amoeba123‘;
mysql-->flush privileges;

===================================================================================

5、amoeba相关的配置

<?xml version="1.0" encoding="gbk"?>

<!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">
<amoeba:configuration xmlns:amoeba="">http://amoeba.meidusa.com/">

<!--
amoeba开放接口相关配置
-->
<server>
<!-- proxy server绑定的端口 -->
<property name="port">9006</property>

<!-- proxy server绑定的IP -->

<property name="ipAddress">192.168.1.137</property>

<!-- proxy server net IO Read thread size -->
<property name="readThreadPoolSize">20</property>

<!-- proxy server client process thread size -->
<property name="clientSideThreadPoolSize">30</property>

<!-- mysql server data packet process thread size -->
<property name="serverSideThreadPoolSize">30</property>

<!-- socket Send and receive BufferSize(unit:K) -->
<property name="netBufferSize">128</property>

<!-- Enable/disable TCP_NODELAY (disable/enable Nagle‘s algorithm). -->
<property name="tcpNoDelay">true</property>

<!-- 对外验证的用户名 -->
<property name="user">root</property>

<!-- 对外验证的密码 -->

<property name="password">aixocm</property>

<!-- query timeout( default: 60 second , TimeUnit:second) -->
<property name="queryTimeout">60</property>
</server>

<!--
每个ConnectionManager都将作为一个线程启动。
manager负责Connection IO读写/死亡检测
-->
<connectionManagerList>
<connectionManager name="defaultManager" class="com.meidusa.amoeba.net.MultiConnectionManagerWrapper">
<property name="subManagerClassName">com.meidusa.amoeba.net.AuthingableConnectionManager</property>

<!--
default value is avaliable Processors
<property name="processors">5</property>
-->
</connectionManager>
</connectionManagerList>

<dbServerList>
<!--
一台mysqlServer 需要配置一个pool，
如果多台 平等的mysql需要进行loadBalance，
平台已经提供一个具有负载均衡能力的objectPool：com.meidusa.amoeba.mysql.server.MultipleServerPool
简单的配置是属性加上 virtual="true",该Pool 不允许配置factoryConfig
或者自己写一个ObjectPool。
-->

<!--
master授权相关设置
-->
<dbServer name="server1">

<!-- PoolableObjectFactory实现类 -->
<factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
<property name="manager">defaultManager</property>

<!-- 真实mysql数据库端口 -->
<property name="port">3306</property>

<!-- 真实mysql数据库IP -->
<property name="ipAddress">192.168.1.135</property>
<property name="schema">test</property>

<!-- 用于登陆mysql的用户名 -->
<property name="user">amoeba</property>

<!-- 用于登陆mysql的密码 -->
<property name="password">amoeba</property>

</factoryConfig>

<!-- ObjectPool实现类 -->
<poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool">
<property name="maxActive">200</property>
<property name="maxIdle">200</property>
<property name="minIdle">10</property>
<property name="minEvictableIdleTimeMillis">600000</property>
<property name="timeBetweenEvictionRunsMillis">600000</property>
<property name="testOnBorrow">true</property>
<property name="testWhileIdle">true</property>
</poolConfig>
</dbServer>

<!--
slave数据库授权相关设置
-->
<dbServer name="server2">

<!-- PoolableObjectFactory实现类 -->
<factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
<property name="manager">defaultManager</property>

<!-- 真实mysql数据库端口 -->
<property name="port">3306</property>

<!-- 真实mysql数据库IP -->
<property name="ipAddress">192.168.1.136</property>

<property name="schema">test</property>

<!-- 用于登陆mysql的用户名 -->
<property name="user">amoeba</property>

<!-- 用于登陆mysql的密码 -->
<property name="password">amoeba</property>

</factoryConfig>

<!-- ObjectPool实现类 -->
<poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool">
<property name="maxActive">200</property>
<property name="maxIdle">200</property>
<property name="minIdle">10</property>
<property name="minEvictableIdleTimeMillis">600000</property>
<property name="timeBetweenEvictionRunsMillis">600000</property>
<property name="testOnBorrow">true</property>
<property name="testWhileIdle">true</property>
</poolConfig>
</dbServer>

<!--
master均衡负载
-->
<dbServer name="master" virtual="true">
<poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
<!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
<property name="loadbalance">1</property>

<!-- 参与该pool负载均衡的poolName列表以逗号分割 -->
<property name="poolNames">server1</property>
</poolConfig>
</dbServer>

<!--
slave均衡负载
-->
<dbServer name="slave" virtual="true">
<poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
<!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
<property name="loadbalance">1</property>

<!-- 参与该pool负载均衡的poolName列表以逗号分割 -->
<property name="poolNames">server1,server2</property>
</poolConfig>
</dbServer>

<!--
读写分离配置
-->
</dbServerList>

<queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
<property name="ruleConfig">${amoeba.home}/conf/rule.xml</property>
<property name="functionConfig">${amoeba.home}/conf/functionMap.xml</property>
<property name="ruleFunctionConfig">${amoeba.home}/conf/ruleFunctionMap.xml</property>
<property name="LRUMapSize">1500</property>

<property name="defaultPool">master</property>
<property name="writePool">master</property>
<property name="readPool">slave</property>

<property name="needParse">true</property>
</queryRouter>
</amoeba:configuration>

===================================================================================================

6、启动Amoeba

# cd /usr/local/amoeba/bin
这种启动方便看nohup.log日志.防止提示溢出
#:nohup bash -x amoeba &
#:重启amoeba要先杀死amoeba进程

#ps -ef|grep amoeba|awk ‘{print $2}‘|xargs kill -9

#echo >nohup.out

#nohup bash -x amoeba &

常见错误：1
The stack size specified is too small, Specify at least 228k
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.
解决办法:
# vim /usr/local/amoeba/bin/amoeba
#DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss128k"  注释
DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss256k"   增加

7、测试是否读写分离

1、在(master)主上的test库建立一个alvin的表
Mysql->use test;
Mysql->create table alvin(id int,name char(10));

2、在(slave)从上查看test库是否同步了alvin表
Mysql-> use test;
Mysql->show tables;

3、在主(master)操作.插入一条数据.
mysql-->insert into alvin values(1,‘master‘);

4、在从(slave)操作,插入一条数据.
mysql-->insert into alvin values(2,‘slave‘);


注意因为从同步主的数据。所以这里有2条数据，在slave上插入2条数据目的是为了和主服务器内容上存在差异，这样更好的显示轮询均衡负载的查看效果，

5、在Amoeba机器上操作
在192.168.1.138上面测试(能够连接到安装了amoeba的主机都可以充当客户机),这个密码就是配置文件里面对外的验证密码root 和密码，对外开放的密码，一定要街上端口号，端口号可以自己定义


#mysql –uroot –paixocm -h192.168.1.137 -P9006
(1) 先验证读。我们配置文件是用的是DR轮询,注意这个IP地址要写：amoeba的IP地址，不是master也不是slave ，是通过amoeba代理登陆。
Mysql->use test;

测试轮询成功。主和从各查询一次。
(2) 验证写，正常来说。如果只有全部写到主里面，两边的数据才会以致。如果其中有一个
不一致的话。那么说明写到从里面去了。因为主不会同步从的数据。都是单向数据传输。

先关闭从服务器136的同步功能

#stop slave;

然后通过客户端138插入一条数据

再到主服务器上来查询，可以看到刚刚插入的数据

最后到从服务器上来查询，并没有看到插入的数据，也就是说数据只写入到了主服务器中，你可以开启从服务器的复制功能，start slave;再次查询你就可以看到从服务器同步的数据了，不信你试试！！

常见配置：
八:常用配置写法.
(1)如果负载多个库,软件会根据你用户授权来决定对哪些库有权限.
grant all privileges on *.* to [email protected]‘%‘ identified by ‘amoeba123‘; 这里写的是all 那么就是对所有的库有权限(会自动负载所有的库).
上面配置文件的库名test.根据这个语句来决定.如果是all.那么直接用写test来测试.方便一点.

(2)一主一从的负载写法一:
主只写.<property name="poolNames">server1</property>(主的均衡负载配置)
从只读.<property name="poolNames">server2</property>(从的均衡负载配置)

(3)一主一从的负载写法:
主负写:<property name="poolNames">server1</property>
主也负责读,从也负责读.比例1:1 第一读.从.第二次读住.循环 写的话,只能写主.<property name="poolNames">server1,server2</property>

(4)一主多从的负载写法:
比如.一台主.3台从.在最上面定义了.server1(master)  server2(slave1) server3(slave2) server4(slave3)
1主只写:<property name="poolNames">server1</property>
3从负载读 <property name="poolNames">server2,server3,server4</property>   
权重:1:1    3台轮询各一次.持续循环

(5)比如我想要.slave1 权重高一点.其它的.2台从.每次读一次.slave1读.2次.
<property name="poolNames">server2,server2,server3,server4</property>  

时间： 2024-10-26 11:54:03

基于主从复制的Mysql双机热备+amoeba实现读写分离、均衡负载的相关文章

基于RHCS的web双机热备集群搭建

基于RHCS的web双机热备集群搭建 RHCS集群运行原理及功能介绍 1. 分布式集群管理器(CMAN) Cluster Manager,简称CMAN,是一个分布式集群管理工具,它运行在集群的各个节点上,为RHCS提供集群管理任务.CMAN用于管理集群成员.消息和通知.它通过监控每个节点的运行状态来了解节点成员之间的关系,当集群中某个节点出现故障,节点成员关系将发生改变,CMAN及时将这种改变通知底层,进而做出相应的调整. 2.锁管理(DLM) Distributed Lock Manager,

CentOS下Mysql双机热备安装详解

Mysql双机热备安装文档 1. 安装环境和资源 211.88.22.74 4CPU 8G 120G硬盘 centos6.5_64 211.88.22.73 4CPU 8G 120G硬盘 centos6.5_64 服务器两台.这里使用211.88.22.74作为主服务器,211.88.22.73作为从服务器. 1.1 mysql下载地址 a. 官方下载地址: http://dev.mysql.com/downloads/mysql/#downloads 或镜像文件下载: http://dev.m

MySQL双机热备配置过程——任征

准备工作 1. 把需要同步的数据库实例从主数据库备份出来,然后手动导入从数据库,以保证数据库同步的时候主从数据库是一致的. 2. 配置主数据库所在操作系统的防火墙,开放数据库访问端口,默认端口3306.准备服务器 由于Mysql不同版本之间的(二进制日志)binlog格式可能会不太一样,因此最好的搭配组合是主(Master)服务器的Mysql版本和从(Slave)服务器版本相同或者更低,主服务器的版本肯定不能高于从服务器版本.设置方法: a. 范例环境: (1).操作系统: windows 7

Centos7系统安装mysql双机热备步骤

首先,设置系统语言格式,用系统自带的yum命令安装.升级所需的程序库 #LANG=C yuminstall gcc gcc-c++ libtool libtool-libs kernel kernel-devel libjpeglibjpeg-devel libpng libpng-devel libtiff libtiff-devel gettext gettext-devellibxml2 libxml2-devel zlib-devel net-snmp file glib2 glib2-

CentOS系统MySQL双机热备配置

1  概述 在集成项目中需要应对不同环境下的安装配置,主流操作系统大致可以分为三种:Linux.Windows以及UNIX.其中Linux备受青睐的主要原因有两个: 首先,Linux作为自由软件有两个特点:一是它免费提供源码,二是爱好者可以按照自己的需要自由修改.复制和发布程序的源码,并公布在Internet上.这就吸引了世界各地的操作系统高手为Linux编写各种各样的驱动程序和应用软件,使得Linux成为一种不仅只是一个内核,而且包括系统管理工具.完整的开发环境和开发工具.应用软件在内,用户很

mysql双机热备的配置步骤

设置双机热备: 首先要在两台机器上建立同步用户: grant replication slave on *.* to 'repdcs'@'192.168.21.39' identified by '123456'; grant all privileges on *.* to 'repdcs'@'192.168.21.39  identified by '123456'; FLUSH PRIVILEGES; grant replication slave on *.* to 'repdcs'@'

windows下使用mysql双机热备功能

一. 准备工作 1. 准备两台服务器(电脑),接入局域网中,使互相ping得通对方 2. 两台服务器都安装mysql-server-5.1,必须保证mysql的版本一致 3. 假设,服务器A:192.168.0.2,服务器B:192.168.0.3 二. 创建与测试同步用户 1. 在主服务器上为从服务器建立一个连接账户,该账户必须授予replication slave权限.因为服务器A和服务器B互为主从,所以都要分别建立一个同步用户. 服务器A: mysql> grant replication

MySQL双机热备部署

卸载系统自带的版本. 这里以MySQL-5.5.28-1为版本 为了简单,RPM方式安装: rpm -ivh MySQL-server-5.5.28-1.linux2.6.x86_64.rpm rpm -ivh MySQL-client-5.5.28-1.linux2.6.x86_64.rpm #mysql mysql>update mysql.user set password="chengshan" where user="root"; // mysql&

mysql双机热备+heartbeat集群+自动故障转移

环境说明:本环境由两台mysql 数据库和heartbeat 组成,一台的ip 为 192.168.10.197,一台为192.168.10.198,对外提供服务的vip 为192.168.10.200 备注:heartbeat 本身是不能做到服务不可用自动切换的,所以用结合 额外的脚本才可以做到,本文中提到的moniter 脚本即为实现某个 mysql 服务不可用的时候自动切换的还可以自动报警 安装和配置过程分为如下几步: 第一部分:mysql 的安装配置 1 安装 1.1. 添加mysql