mysql-proxy和amoeba 分别实现Mariadb读写分离

1、Mysql-proxy实现读写分离


MySQL Proxy就是这么一个中间层代理，简单的说，MySQL Proxy就是一个连接池，负责将前台应用的连接请求转发给后台的数据库，并且通过使用lua脚本，可以实现复杂的连接控制和过滤，从而实现读写分离和负载平衡。对于应用来说，MySQL Proxy是完全透明的，应用则只需要连接到MySQL Proxy的监听端口即可。当然，这样proxy机器可能成为单点失效，但完全可以使用多个proxy机器做为冗余，在应用服务器的连接池配置中配置到多个proxy的连接参数即可。

MySQL Proxy更强大的一项功能是实现“读写分离”，基本原理是让主数据库处理事务性查询，让从库处理SELECT查询。数据库复制被用来把事务性查询导致的变更同步到集群中的从库。

-——百度百科

Mysql-proxy官方地址：dev.mysql.com/downloads/mysql-proxy/

1、1 拓扑图和环境介绍



主机名
IP地址
系统环境
功能说明

Mysql-proxy
172.16.4.100
Centos6.6 64位
接收用户对后端数据库的读写操作，并且将读写操作分别发往后端不同主机

Master
172.16.4.136
Mysql主库，可以接收读请求或者写请求

Slave
172.16.4.10
Mysql从库，只能接收读请求，如果想写入数据，需要从主库复制

说明：Master和Slave的主从复制环境已经在实验前配置完成，这里不提供配置。

1、2  mysql-proxy安装：


在epel的yum源中提供了mysql-proxy的rpm包，直接配置epel的yum源使用yum安装即可。

[[email protected] ~]# yum install mysql-proxy

但是rpm包安装的mysql-proxy不知道什么原因没有读写分离脚本（rw-splitting.lua），所以需要解压源码包复制一个读写分离脚本到/usr/lib64/mysql-proxy目录下。

[[email protected] ~]# tar xfmysql-proxy-0.8.5-linux-el6-x86-64bit.tar.gz
[[email protected] ~]# cdmysql-proxy-0.8.5-linux-el6-x86-64bit/share/doc/mysql-proxy/
[[email protected] mysql-proxy]# cp rw-splitting.lua/usr/lib64/mysql-proxy/lua/0

安装后生成的文件

[[email protected] ~]# rpm -ql mysql-proxy
/etc/mysql-proxy.cnf         #mysql-proxy的配置文件
/etc/rc.d/init.d/mysql-proxy #mysql-proxy启动脚本
/usr/bin/mysql-proxy         #mysql-proxy的主程序

1、3 设置mysql-proxy


修改mysql-proxy配置文件，指明后端读写服务器，mysql-proxy的连接及管理相关配置即可

[[email protected] ~]# vim /etc/mysql-proxy.cnf
[mysql-proxy]
daemon = true
pid-file = /var/run/mysql-proxy.pid
log-file = /var/log/mysql-proxy.log
log-level = debug
max-open-files = 1024
plugins = admin,proxy
user = mysql-proxy
#
#Proxy Configuration
proxy-address = 0.0.0.0:3306                              #代理服务器监听地址和端口
proxy-backend-addresses = 172.16.4.136:3306               #支持读写操作的后端
proxy-read-only-backend-addresses =172.16.4.10:3306       #只读后端服务器，如果有多个节点使用逗号隔开
proxy-lua-script =/usr/lib64/mysql-proxy/lua/rw-splitting.lua  #指定使用的读写分离脚本
#proxy-skip-profiling = true
#
# Admin Configuration
admin-address = 0.0.0.0:4041      #连接mysql-proxy的mysql界面端口
admin-lua-script =/usr/lib64/mysql-proxy/lua/admin.lua  #指定使用的管理脚本
admin-username = admin             #连接mysql-proxy的用户名
admin-password = admin             #连接mysql-proxy的密码

设置完成启动mysql-proxy

[[email protected] ~]# service mysql-proxy start

验证3306端口是否启动，如果启动表示proxy工作正常

[[email protected] ~]# ss -tnlp | grep 3306
LISTEN    0      128                       *:3306                     *:*     users:(("mysql-proxy",37922,11))

1、4主节点添加用户


主节点设置允许root用户远程连接并设置密码，否则mysql-proxy无法完成访问。

MariaDB [(none)]> GRANT ALL ON *.* [email protected]‘172.16.%.%‘ IDENTIFIED BY ‘proxy‘;
MariaDB [(none)]> FLUSH PRIVILEGES;

说明：从节点不需要添加用户，因为主节点创建完成从节点就自动复制过去了。

这时使用mysql命令，连接mysql-proxy节点就可以查看数据库了

[[email protected] ~]# mysql -uroot -h172.16.4.100-p -e ‘SHOW DATABASES;‘
Enter password:
+--------------------+
| Database          |
+--------------------+
| information_schema |
| hellodb           |
| mysql             |
| performance_schema |
| test              |
+--------------------+

1、5读写分离验证


连接mysql-proxy验证读写分离，帐号密码端口等都在mysql-proxy.cnf中定义。

[[email protected] ~]# mysql -uadmin -padmin -P4041 -h172.16.4.100

使用SELECT * FROM backends；命令查看后端节点，从类型判断读服务器（ro）和写服务器（rw）

mysql> SELECT * FROM backends;
+-------------+-------------------+---------+------+------+-------------------+
| backend_ndx | address           | state   | type | uuid | connected_clients |
+-------------+-------------------+---------+------+------+-------------------+
|           1| 172.16.4.136:3306 | up      | rw   | NULL |                 0 |
|           2| 172.16.4.10:3306  | unknown | ro   | NULL |                 0 |
+-------------+-------------------+---------+------+------+-------------------+
2 rows in set (0.00 sec)

从节点status显示unknown的原因是还没有将请求发往到从节点，只要连接到proxy节点执行一个select操作就会显示状态为up；操作过程如下所示：

[[email protected] ~]# mysql -uroot -h172.16.4.100-p -e ‘SELECT * from mysql.user;‘
[[email protected] ~]# mysql -uadmin -padmin -P4041-h172.16.4.100
mysql> SELECT * FROM backends;
+-------------+-------------------+-------+------+------+-------------------+
| backend_ndx | address           | state | type | uuid |connected_clients |
+-------------+-------------------+-------+------+------+-------------------+
|           1| 172.16.4.136:3306 | up    | rw   | NULL |                 0 |
|           2| 172.16.4.10:3306  | up    | ro  | NULL |                 0 |
+-------------+-------------------+-------+------+------+-------------------+
2 rows in set (0.00 sec)

设置完成关闭服务，以免影响后续amoeba实验效果

[[email protected] ~]# service mysql-proxy stop

2、Amoeba


Amoeba(变形虫)项目,该开源框架于2008年开始发布一款 Amoeba forMysql软件。这个软件致力于MySQL的分布式数据库前端代理层，它主要在应用层访问MySQL的时候充当SQL路由功能，专注于分布式数据库代理层（Database Proxy）开发。座落与 Client、DB Server(s)之间,对客户端透明。具有负载均衡、高可用性、SQL 过滤、读写分离、可路由相关的到目标数据库、可并发请求多台数据库合并结合。通过Amoeba你能够完成多数据源的高可用、负载均衡、数据切片的功能，目前Amoeba已在很多企业的生产线上面使用。

官方地址：http://docs.hexnova.com/amoeba/

2、1 Amoeba工作原理图


Client通过连接JAVA、PHP开发的前端程序，由程序将数据库请求发送到amoeba，amoeba将读写操作分发到不同的mysql数据库。

2、2环境拓扑

环境还是使用mysql-proxy的环境，只不过mysql-proxy换成了amoeba，IP地址等配置均相同，

2、3 配置JAVA环境


Amoeba是根据JAVA语言研发的程序，如果想成功安装amoeba就需要配置JAVA运行环境。

[[email protected] ~]# rpm -ivh jdk-7u67-linux-x64.rpm
[[email protected] ~]# vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/latest
export PATH=$JAVA_HOME/bin:/PATH
[[email protected] ~]# . /etc/profile.d/java.sh

验证，使用JAVA命令可以输出版本，表示JAVA环境配置成功

[[email protected] ~]# java -version
java version "1.7.0_67"
Java(TM) SE Runtime Environment (build1.7.0_67-b01)
Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04,mixed mode)

2、4 安装配置amoeba


解压amoeba到安装指定目录，就完了

[[email protected] ~]# mkdir /usr/local/amoeba
[[email protected] ~]# tar xf amoeba-mysql-binary-2.2.0.tar.gz-C /usr/local/amoeba/

Master节点添加用户运行mysql-proxy远程连接（mysql-proxy的时候已经添加过了，这里只是强调一下，如果没有这个用户amoeba是无法完成代理的）

MariaDB [(none)]> GRANT ALL ON *.* [email protected]‘172.16.%.%‘ IDENTIFIED BY ‘proxy‘;
MariaDB [(none)]> FLUSH PRIVILEGES;

Slave节点不需要添加用户，因为主节点创建完成从节点就自动复制过去了。

修改amoeba的dbServers.xml文件，指定读写节点，设置client连接proxy的相关信息

[[email protected] ~]# cat/usr/local/amoeba/conf/dbServers.xml
<?xml version="1.0"encoding="gbk"?>
    <dbServername="abstractServer" abstractive="true">
       <factoryConfigclass="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
           <propertyname="manager">${defaultManager}</property>
           <propertyname="sendBufferSize">64</property>
           <propertyname="receiveBufferSize">128</property>
             
           <!--mysql port -->
           <propertyname="port">3306</property>     #指定后端服务器的端口
          
           <!--mysql schema -->
           <propertyname="schema">mydb</property>   #指定默认连接的数据库
          
           <!--mysql user -->
           <propertyname="user">root</property>     #指定数据库用户名
            
           <!--  mysql password -->
           <propertyname="password">proxy</property>  #指定数据库密码
       </factoryConfig>
 
       <poolConfigclass="com.meidusa.amoeba.net.poolable.PoolableObjectPool">
           <propertyname="maxActive">500</property>
           <propertyname="maxIdle">500</property>
           <propertyname="minIdle">10</property>
           <propertyname="minEvictableIdleTimeMillis">600000</property>
           <propertyname="timeBetweenEvictionRunsMillis">600000</property>
           <propertyname="testOnBorrow">true</property>
           <propertyname="testOnReturn">true</property>
           <propertyname="testWhileIdle">true</property>
       </poolConfig>
    </dbServer>
 
    <dbServername="master" parent="abstractServer">  #定义写数据库，这里不是真正的定义，在后面的amoeba.xml中定义才生效
       <factoryConfig>
           <!--mysql ip -->
           <propertyname="ipAddress">172.16.4.136</property>   #定义写服务器地址
       </factoryConfig>
    </dbServer>
   
    <dbServername="slave" parent="abstractServer">     #定义读服务器
       <factoryConfig>
           <!--mysql ip -->
           <propertyname="ipAddress">172.16.4.10</property>   #定义读服务器地址
       </factoryConfig>
    </dbServer>
   
    <dbServername="readPool" virtual="true">
       <poolConfigclass="com.meidusa.amoeba.server.MultipleServerPool">
           <!--Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
           <propertyname="loadbalance">1</property>   #设置调度方式，1为负载，2为加权，3为高可用
          
           <!--Separated by commas,such as: server1,server2,server1 -->
           <propertyname="poolNames">master,slave</property>      #定义readPool池中的服务器，可以添加多个服务器，在后面的amoeba.xml统一调用
       </poolConfig>
    </dbServer>
      
</amoeba:dbServers>

修改amoeba.xml设置读写分离相关配置

[[email protected] ~]# cat/usr/local/amoeba/conf/amoeba.xml
<?xml version="1.0"encoding="gbk"?>
           <propertyname="port">3306</property>     #设置amoeba监听的端口
          
           <propertyname="ipAddress">0.0.0.0</property>  #设置amoeba监听的地址
          
           <propertyname="manager">${clientConnectioneManager}</property>
          
           <propertyname="connectionFactory">
              <beanclass="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory">
                  <propertyname="sendBufferSize">128</property>
                  <propertyname="receiveBufferSize">64</property>
              </bean>
           </property>
          
           <propertyname="authenticator">
              <beanclass="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">
                 
                  <propertyname="user">root</property>        #设置连接后端服务器的帐号
                   
                  <propertyname="password">proxy</property>  #设置连接后端服务器的密码
     中间省略一大段内容……
       <propertyname="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>
       <propertyname="LRUMapSize">1500</property>
       <propertyname="defaultPool">master</property>   #设定默认数据库
      
       <!--
       -->
       <propertyname="writePool">master</property>    #设定写数据库
       <propertyname="readPool">readPool</property>   #设定读数据库
       <propertyname="needParse">true</property>
    </queryRouter>
</amoeba:configuration>

这个时候就可以使用/usr/local/amoeba/bin/amoeba这个脚本启动amoeba了

但是启动amoeba报错，原因是栈太小了，最少228k

[[email protected] ~]# /usr/local/amoeba/bin/amoeba start
/usr/local/amoeba/bin/amoeba: line 14: uname:command not found
/usr/local/amoeba/bin/amoeba: line 37: dirname:command not found
 
The stack size specified is too small, Specify atleast 228k
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program willexit.

解决方法：修改amoeba启动文件的57行的-Xss的值为512k

[[email protected] ~]# vim /usr/local/amoeba/bin/amoeba
ULT_OPTS="-server -Xms256m -Xmx256m-Xss512k"

设置完成启动amoeba

[[email protected] ~]# /usr/local/amoeba/bin/amoeba start
log4j:WARN log4j config load completed fromfile:/usr/local/amoeba/conf/log4j.xml
2015-05-26 23:58:05,165 INFO  context.MysqlRuntimeContext - Amoeba forMysql current versoin=5.1.45-mysql-amoeba-proxy-2.2.0
log4j:WARN ip access config load completed fromfile:/usr/local/amoeba/conf/access_list.conf
2015-05-26 23:58:05,558 INFO  net.ServerableConnectionManager - Amoeba forMysql listening on /0.0.0.0:3306.
2015-05-26 23:58:05,568 INFO  net.ServerableConnectionManager - AmoebaMonitor Server listening on /127.0.0.1:55854.

补充：启动的时候可以加&表示在后台运行，如下所示，这样不会占用前台

[[email protected] ~]# /usr/local/amoeba/bin/amoeba start &

这个时候amoeba就配置完成了

2、5 抓包验证读写分离


连接amoeba写入数据

[[email protected] ~]# mysql -uroot -pproxy -h172.16.4.100
mysql> create database test;

master抓包出现写入的数据的sql语句

[[email protected] ~]# tcpdump -i eth0 -nn -XX tcp port3306
03:33:16.418983 IP 172.16.4.100.39625 >172.16.4.136.3306: Flags [P.], seq 25:52, ack 59, win 245, options [nop,nop,TSval 13988352 ecr 14759402], length 27
    0x0000:  000c 29ba d792 000c 2922 c5c2 0800 4500  ..).....)"....E.
    0x0010:  004f 5103 4000 4006 8899 ac10 0464 ac10  [email protected]@......d..
    0x0020:  0488 9ac9 0cea 98ee 7151 8c41 0a32 8018  ........qQ.A.2..
    0x0030:  00f5 c45d 0000 0101 080a 00d5 7200 00e1  ...]........r...
    0x0040:  35ea 1700 0000 0363 7265 6174 6520 6461  5......create.da
    0x0050:  7461 6261 7365 2074 6573 7464 62         tabase.testdb

在amoeba查询数据

mysql> SELECT * FROM mysql.user;

Slave节点出现查询请求，如果再次查询可能在master节点出现，因为读请求是负载均衡的

[[email protected] ~]# tcpdump -i eth0 -nn -XX tcp port3306
02:43:15.645879 IP 172.16.4.100.39625 >172.16.4.136.3306: Flags [P.], seq 2565763465:2565763494, ack 2353076083, win336, options [nop,nop,TS val 14201044 ecr 14967401], length 29
    0x0000:  000c 29ba d792 000c 2922 c5c2 0800 4500  ..).....)"....E.
    0x0010:  0051 5108 4000 4006 8892 ac10 0464 ac10  [email protected]@......d..
    0x0020:  0488 9ac9 0cea 98ee 7189 8c41 1773 8018  ........q..A.s..
    0x0030:  0150 cf76 0000 0101 080a 00d8 b0d4 00e4  .P.v............
    0x0040:  6269 1900 0000 0353 454c 4543 5420 2a20  bi.....SELECT.*.
    0x0050:  4652 4f4d 206d 7973 716c 2e75 7365 72    FROM.mysql.user
时间： 2024-08-06 07:57:11

mysql-proxy和amoeba 分别实现Mariadb读写分离的相关文章

基于Keepalived高可用集群的MariaDB读写分离机制实现

一 MariaDB读写分离机制 在实现读写分离机制之前先理解一下三种主从复制方式:1.异步复制:MariaDB默认的复制即是异步的,主库在执行完客户端提交的事务后会立即将结果返给给客户端,并不关心从库是否已经接收并处理,这样就会有一个问题,主节点如果挂掉了,此时主上已经提交的事务可能并没有传到从上,如果此时,强行将从提升为主,可能导致新主上的数据不完整.2.全同步复制:指当主库执行完一个事务,所有的从库都执行了该事务才返回给客户端.因为需要等待所有从库执行完该事务才能返回,所以全同步复制的性能必

mysql数据业务垂直+水平分割+主从复制读写分离

友情提示:本人第一次写技术博客,会继续完善,尽量做到图文并茂,通俗易懂,如果有什么写的不好的地方,还请大家多多提意见,您的意见将是我宝贵的资源.如果有兴趣的话,还可以一起讨论相关技术哦,亲!一定要注意软件版本哦! 联系方式 QQ:794884160 指导老师:双星  冯德勇老师  曾勇老师 一.拓扑图: 垂直+水平分割+主从复制+读写分离完整原理图: 仅说明原理,详细拓扑及参数参考本次实验拓扑图 本次试验拓扑图:(上图左侧部分) 二.实验描述: 根据业务原型先进行数据库垂直切割,然后用户数据根据

Mysql-proxy实现MariaDB读写分离

Mysql Proxy 简介 MySQL Proxy是一个处于你的client端和MySQL server端之间的简单程序,它可以监测.分析.或改变它们的通信.它使用灵活,没有限制,常见的用途包括:负载平衡,故障.查询分析,查询过滤或修改等等. MySQL Proxy就是这么一个中间层代理,简单的说,MySQL Proxy就是一个连接池,负责前台应用的连接请求转发给后台的数据库,并且通过使用lua脚本,可以实现复杂的连接控制和过滤,从而实现读写分离和负载平衡.对于应用来说,MySQL Proxy

Mysql + keepalived 实现双主热备读写分离【转】

Mysql + keepalived 实现双主热备读写分离 2013年6月16日frankwong发表评论阅读评论 架构图 系统:CentOS6.4_X86_64软件版本:Mysql-5.6.12,Keepalived-1.2.7环境简介:1.Master-A 192.168.1.168 (Mysql+Keepalived)2.Master-B 192.168.1.169 (Mysql+Keepalived)3.写入VIP 192.168.100 (168主,169从)4.读取VIP 192.1

MySQL Proxy和 Amoeba 工作机制浅析

MySQL Proxy处于客户端应用程序和MySQL服务器之间,通过截断.改变并转发客户端和后端数据库之间的通信来实现其功能,这和WinGate 之类的网络代理服务器的基本思想是一样的.代理服务器是和TCP/IP协议打交道,而要理解MySQL Proxy的工作机制,同样要清楚MySQL客户端和服务器之间的通信协议,MySQL Protocol 包括认证和查询两个基本过程: 认证过程包括: 客户端向服务器发起连接请求 服务器向客户端发送握手信息 客户端向服务器发送认证请求 服务器向客户端发送认证结

MariaDB 10 (MySQL DB) 多主复制并实现读写分离

MMM 即Master-Master Replication Manager for MySQL(mysql主主复制管理器)关于mysql主主复制配置的监控.故障转移和管理的一套可伸缩的脚本套件(在任何时候只有一个节点可以被写 入),这个套件也能对居于标准的主从配置的任意数量的从服务器进行读负载均衡,所以你可以用它来在一组居于复制的服务器启动虚拟ip,除此之外,它还有实 现数据备份.节点之间重新同步功能的脚本.MySQL本身没有提供replication failover的解决方案,通过MMM方

django+centos+mariadb读写分离完美实现（上）-mysql主从备份实现

首先画图一张,用来展示今天要做的事情,读写分离,个人理解就是使用mysql主从备份的原理,让两个数据库同时为自己提供服务.其中主库负责数据保存,从库负责数据展示,可以一主一从,也可以一主多从.从而降低数据库同时处理读写的压力. 1.环境如下 master 10.10.101.83 slave 10.10.101.184 2.接着搭建数据库备份,使用的是centos7.4+mariadb 2-1-两台服务器安装Mariadb数据库 (ps:mariadb是免费版的mysql,操作很相似,注意,两台

基于Mysql-Proxy 实现MariaDB 读写分离

一.Mysql-Proxy 简单介绍 MySQL-Proxy是一个处于你的client端和MySQL server端之间的简单程序,它可以监测.分析或改变它们的通信.它使用灵活,没有限制,常见的用途包括:负载平衡,故障.查询分析,查询过滤和修改等等. MySQL-Proxy就是这么一个中间层代理,简单的说,MySQL-Proxy就是一个连接池,负责将前台应用的连接请求转发给后台的数据库,并且通过使用lua脚本,可以实现复杂的连接控制和过滤,从而实现读写分离和负载平衡.对于应用来说,MySQL-P

MySQL中间件之ProxySQL(2)：初试读写分离

1.实现一个简单的读写分离 这里通过ProxySQL实现一个简单的读写分离功能示例,以便快速入门.即使是快速入门,需要配置的内容也很多,包括:后端MySQL的配置.监控配置.发送SQL语句的用户.SQL语句的路由规则.所以,想要实现一个ProxySQL+MySQL,即使只实现最基本的功能,步骤也是挺多的,不过配置的逻辑都很简单. 实验环境: 角色 主机IP server_id 数据状态 Proxysql 192.168.100.21 null 无 Master 192.168.100.22 11