MySQL深入10-利用Ameoba实现读写分离

本篇博文主要介绍利用Ameoba实现MySQL的读写分离功能，而MySQL官方的mysql-proxy需要自己编写复杂的lua脚本才能实现同样的功能，故个人还是倾向使用amoeba哦；

===================================================================

1 简介

2 准备

2.1 时间同步

2.2 配置MySQL主从复制架构

3 ameoba安装配置

3.1 安装配置JDK

3.2 安装ameoba

3.3 配置ameoba

3.4 使用验证

3.5 后期扩展

4 问题记录

===================================================================

1 简介

Amoeba(变形虫)项目是一个开源框架，于2008年开始发布一款 Amoeba for Mysql软件；

这个软件致力于MySQL的分布式数据库前端代理层，它主要在应用层访问MySQL的时候充当SQL路由功能，专注于分布式数据库代理层（Database Proxy）开发；位于 Client、DB Server(s)之间,对客户端透明；

具有负载均衡、高可用性、SQL 过滤、读写分离、可路由相关的请求到目标数据库、可并发请求多台数据库并合并结果；

通过Amoeba你能够完成多数据源的高可用、负载均衡、数据切片的功能，目前Amoeba已在很多企业的生产线上面使用；

2 准备

2.1 时间同步

# crontab -e
# Dscrip: Time Sync
# CTime: 2014.03.23
*/5 * * * * /usr/sbin/ntpdate 172.16.0.1 &>/dev/null

2.2 配置MySQL主从复制架构

详见博文"Maria10实现主从复制架构及SSL复制"


3 ameoba安装配置

3.1 安装配置JDK

chmod +x jdk-6u31-linux-x64-rpm.bin
vi /etc/profile.d/java.sh # 采用bin文件安装jdk
    export JAVA_HOME=/usr/java/latest
    export PATH=$JAVA_HOME/bin:$PATH

3.2 安装ameoba

mkdir /usr/local/amoeba
tar xf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba # 使用二进制程序文件安装amoeba
cd /usr/local/amoeba
bin/amoeba start # 前台运行
nohup /usr/local/amoeba/bin/amoeba start & # 后台运行
mysql -h127.0.0.1 -uroot -p -P8066 # amoeba默认监听端口为8066

3.3 配置ameoba

cd /usr/local/amoeba/conf
vi ameoba.xml # 前端定义配置文件
# 修改ameoba前端监听端口
<service name="Amoeba for Mysql" class="com.meidusa.amoeba.net.ServerableConnectionManager">
    <property name="port">3306</property> # 默认端口是8066，修改为3306，便于实现前端程序连接数据库的透明性
# 修改连接amoeba接口的认证信息
<property name="authenticator">
    <bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">
        <property name="user">root</property>
        <property name="password">mypass</property> # 添加登录密码
# 查询路由设置
<queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
    <property name="ruleLoader">
        <bean class="com.meidusa.amoeba.route.TableRuleFileLoader">
            <property name="ruleFile">${amoeba.home}/conf/rule.xml</property>
            <property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>
        </bean>
    </property>
    <property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>
    <property name="LRUMapSize">1500</property>
    <property name="defaultPool">master</property> # 设定默认节点
    <property name="writePool">master</property>    # 设定可写节点，节点定义见dbServers.xml文件
    <property name="readPool">readservers</property> # 设定只读池，可配置多个slave节点
    <property name="needParse">true</property>
</queryRouter>
vi dbServers.xml # 后端节点配置文件
# 定义抽象服务器，为每个后端MySQL服务器提供默认连接配置
<dbServer name="abstractServer" abstractive="true">
    <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
        <property name="manager">${defaultManager}</property>
        <property name="sendBufferSize">64</property>
        <property name="receiveBufferSize">128</property>
        <property name="port">3406</property>
        <property name="schema">test</property>
        <property name="user">root</property>
        <property name="password">magedu</property>
    </factoryConfig>
# 定义后端MySQL的IP地址，一个master，一个slave
<dbServer name="master"  parent="abstractServer">
    <factoryConfig>
        <property name="ipAddress">192.168.0.45</property>
    </factoryConfig>
</dbServer>
<dbServer name="slave"  parent="abstractServer">
    <factoryConfig>
        <property name="ipAddress">192.168.0.46</property>
    </factoryConfig>
</dbServer>
# 定义虚拟服务器组，即只读池readservers
<dbServer name="readservers" virtual="true">
    <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
        <property name="loadbalance">1</property>
        <property name="poolNames">master,slave</property>
    </poolConfig>
</dbServer>

3.4 使用验证

# 登录验证
[[email protected] conf]# mysql -h127.0.0.1 -uroot -p -P3306
Enter password:
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 2097086015
Server version: 5.1.45-mysql-amoeba-proxy-2.2.0 Source distribution
Copyright (c) 2000, 2014, Oracle, SkySQL Ab and others.
Type ‘help;‘ or ‘\h‘ for help. Type ‘\c‘ to clear the current input statement.
MySQL [(none)]> show master status;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000030 |      326 |              |                  |
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)
MySQL [(none)]>
# 读写验证
[[email protected] conf]# mysql -h127.0.0.1 -uroot -p -P3306
Enter password:
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 2097086015
Server version: 5.1.45-mysql-amoeba-proxy-2.2.0 Source distribution
Copyright (c) 2000, 2014, Oracle, SkySQL Ab and others.
Type ‘help;‘ or ‘\h‘ for help. Type ‘\c‘ to clear the current input statement.
MySQL [(none)]> create database amoeba_test;
Query OK, 1 row affected (0.04 sec)
MySQL [(none)]>
[[email protected] bin]# mysql -h127.0.0.1 -uroot -p -P3406
Enter password:
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 33
Server version: 10.0.10-MariaDB-log Source distribution
Copyright (c) 2000, 2014, Oracle, SkySQL Ab and others.
Type ‘help;‘ or ‘\h‘ for help. Type ‘\c‘ to clear the current input statement.
MariaDB [(none)]> show databases;
+--------------------+
| Database           |
+--------------------+
| amoeba_test        |
| information_schema |
| mysql              |
| performance_schema |
| test               |
+--------------------+
9 rows in set (0.01 sec)
MariaDB [(none)]>
# 从amoeba接口登录创建数据库amoeba_test后，再从主库的接口中去查询数据库已创建，说明写入确实是落在了主库节点上；
# 若要验证ameoba对于读操作的调度，则需要暂时停止从库的复制操作，然后在主库上更新数据，这样从ameoba读取数据将出现不一致的情况；

3.5 后期扩展

利用MMM双主复制架构+Amoeba代理，可以实现对MySQL的高可用性和高性能；

关于MMM的内容参加博文"2台主机极致实现双主复制架构及MMM"

4 问题记录

现象：使用mysql -uroot -p -P8066命令始终无法连接进入ameoba的配置接口，一直都是进入mysql数据库的配置接口

原因：在测试环境下，ameoba和mysql的主库都部署在同一台主机上，当启动ameoba服务后，即使指定-P8066连接，mysql客户端还是默认采用可被识别的socket文件(/tmp/mysql.sock)连接，同样指定-hlocalhost也是一样的；

当使用mysql命令连接mysqld时：

  • 连接主机为localhost或不指定时，mysql会采用Unix Socket的连接方式；
  • 连接主机为127.0.0.1时，mysql会采用TCP的方式连接；

解决方法：指定-h127.0.0.1连接即可，即mysql -h127.0.0.1 -uroot -p -P8066

MySQL深入10-利用Ameoba实现读写分离,布布扣,bubuko.com

时间： 2024-10-10 11:01:31

MySQL深入10-利用Ameoba实现读写分离的相关文章

MySQL深入利用Ameoba实现读写分离

3 ameoba安装配置 ? 3.1 安装配置JDK [[email protected] ~]# rpm -ivh jdk-7u67-linux-x64.rpm [[email protected] ~]# cd /usr/java/ ? 修改环境变量 ? [[email protected] ~]# vim /etc/profile.d/java.sh [[email protected] ~]# cat /etc/profile.d/java.sh export JAVA_HOME=/us

MySQL主从复制（Master-Slave）与读写分离（MySQL-Proxy）实践 转载

http://heylinux.com/archives/1004.html MySQL主从复制(Master-Slave)与读写分离(MySQL-Proxy)实践 Mysql作为目前世界上使用最广泛的免费数据库,相信所有从事系统运维的工程师都一定接触过.但在实际的生产环境中,由单台Mysql作为独立的数据库是完全不能满足实际需求的,无论是在安全性,高可用性以及高并发等各个方面. 因此,一般来说都是通过 主从复制(Master-Slave)的方式来同步数据,再通过读写分离(MySQL-Proxy

Mysql一主多从和读写分离配置简记

Mysql一主多从和读写分离配置简记 标签: mysql数据库服务器class数据库servermanager 2012-05-30 16:44 14981人阅读 评论(1) 收藏 举报  分类: 数据库 版权声明:本文为博主原创文章,未经博主允许不得转载. 近期开发的系统中使用MySql作为数据库,由于数据涉及到Money,所以不得不慎重.同时,用户对最大访问量也提出了要求.为了避免Mysql成为性能瓶颈并具备很好的容错能力,特此实现主从热备和读写分离.在此简做纪要,以备日后所用! 一.配置主

linux下mysql基于mycat做主从复制和读写分离之基础篇

Linux下mysql基于mycat实现主从复制和读写分离1.基础设施 两台虚拟机:172.20.79.232(主) 172.20.79.233(从) 1.1软件设施 mysql5.6.39 , mycat1.6-RELEASE jdk1.7及其以上版本2.实现步骤一(mycat实现读写分离) 1.首先在两台服务器安装mysql 1.下载mysql的repo源 $ wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rp

docker部署django项目、mysql主从搭建、django实现读写分离

目录 docker部署django项目 1.1 基于python基础镜像 将本地django项目打包并发到远程服务器上 将服务器上的.zip django项目解压 部署的具体流程 1.2 基于dockerfile 2 mysql主从搭建 3 django实现读写分离 我们使用python镜像源构建的出的容器,是一个纯净的debian系统下的python环境,在容器内部要想安装vim.nginx等,就不能使用yum install ...了,需要使用apt-get源.首先更新apt-get源,使用

mysql利用atlas进行读写分离时，一直走主库的问题

项目中,利用atlas对mysql数据库进行了读写分离. 当时配置了去从库读数据. 当用数据库工具连接代理测试时,一切正常. 当在项目中使用框架mybatis连数据库时,却都直接去主库读写数据了. 自己写个main方法 用jdbc连接也是正常的.一用mybatis框架就不正常了,难道atlas对mybatis不支持吗? 于是各种百度,谷歌... 最后发现原因:如果有事务存在的话,atlas就强制走主库.而这个方法类上偏偏添加了事务@Transactional 解决办法在方法上加上@Transac

Atlas+mysql主主集群实现读写分离

前言 目前线上系统数据库采用的是主主架构.其中一台主仅在故障时切换使用,(仅单台服务器对外提供服务,当一台出现问题,切换至另一台),该结构很难支撑较大并发,另外双主中的另外一台机在非故障时没得到有效利用. 结合以上情况,拟采用数据库中间件提供读写分离功能(一主读写,一主读).既可以提高读并发能力,又可以充分利用数据库服务器,后期可继续增加主主集群的从服务器扩充读并发性能.如下为具体架构图: Atlas官方链接: https://github.com/Qihoo360/Atlas/blob/mas

基于主从复制的Mysql双机热备+amoeba实现读写分离、均衡负载

读写分离指的是客户只能在主服务器上写,只能在从服务器上读,当然了,这也是要看配置,你可以在主服务器配置读的功能,但是在从服务器上只能读不能写,因为从服务器是基于binlog对主服务器的复制,如果在从服务器上写的话,会造成主从不一致的结果.mysql实现读写分离,写的压力虽然没有减少,但是读的压力瞬间就减少了一半. Amoeba的中文意思是阿米巴.变型虫Amoeba是一个以MySQL为底层数据存储,并对应用提供MySQL协议接口的proxy代理服务器.它集中地响应应用的请求,依据用户事先设置的规则

MySQL主从复制（Master-Slave）与读写分离（MySQL-Proxy）实践

Mysql作为目前世界上使用最广泛的免费数据库,相信所有从事系统运维的工程师都一定接触过.但在实际的生产环境中,由单台Mysql作为独立的数据库是完全不能满足实际需求的,无论是在安全性,高可用性以及高并发等各个方面. 因此,一般来说都是通过 主从复制(Master-Slave)的方式来同步数据,再通过读写分离(MySQL-Proxy)来提升数据库的并发负载能力 这样的方案来进行部署与实施的. 如下图所示: 下面是我在实际工作过程中所整理的笔记,在此分享出来,以供大家参考. 一.MySQL的安装与