Amoeba搞定mysql主从读写分离

一个简单完整的 Mysql 主从复制,读写分离的示意图。

1. 首先搭建 Mysql 主从架构,实现 将 mater 数据自动复制到 slave

MySQL 复制的工作方式很简单,一台服务器作为主机,一台或多台服务器作为从机。主机会把数据库的变化记录到日志。一旦这些变化被记录到日志,就会立刻(或者以设定的时间间隔)被送到从机。

使用MySQL 复制提供扩展大型网站的能力,这些大型网站的数据库主要是读操作(SELECTs)。从机用於复制主机的銷秏是很少的(通常每个从机1%的开销),在大型网站中每个主机部署30 个从机也是常见的。

异步复制与同步复制

异步复制:MySQL本身支持单向的、异步的复制。异步复制意味着在把数据从一台机器拷贝到另一台机器时有一个延时 – 最重要的是这意味着当应用系统的事务提交已经确认时数据并不能在同一时刻拷贝/应用到从机。通常这个延时是由网络带宽、资源可用性和系统负载决定的。然而,使用正确的组件并且调优,复制能做到接近瞬时完成。

同步复制:同步复制可以定义为数据在同一时刻被提交到一台或多台机器,通常这是通过众所周知的“两阶段提交”做到的。虽然这确实给你在多系统中保持一致性,但也由于增加了额外的消息交换而造成性能下降。

使用MyISAM或者InnoDB存储引擎的MySQL本身并不支持同步复制,然而有些技术,例如分布式复制块设备(简称DRBD),可以在下层的文件系统提供同步复制,允许第二个MySQL服务器在主服务器丢失的情况下接管(使用第二服务器的复本)。要了解更多信息,请参见:http://www.drbd.org/

 异步复制方案:

1. Mysql 数据库安装

安装过程省略: 详细参见:http://pengranxiang.iteye.com/admin/blogs/1138059

服务器 Master :192.168.14.131

Mysql 安装目录: /home/mysql/mysql   (使用源码安装,独立目录)

服务器 Slave    :192.168.14.132

Mysql 安装目录 :/home/mysql/mysql

2. 修改配置

为了不影响原来的配置文件: /etc/my.cnf

创建新的配置文件,

cp /etc/my.cnf  /home/mysql/mysql/conf/master.cnf

cp /etc/my.cnf  /home/mysql/mysql/conf/slave.cnf

修改 master.cnf,  增加下面的设置 ,

(官方说明:为了使用事务的InnoDB在复制中最大的持久性和一致性,你应该指定innodb_flush_log_at_trx_commit=1,sync_binlog=1选项。)

Cnf代码  

  1. log-bin=mysql-bin #slave会基于此log-bin来做replication
  2. server-id=1           #master的标示
  3. innodb_flush_log_at_trx_commit=1
  4. sync_binlog=1

修改 slave.cnf

Cnf代码  

  1. [mysqld]
  2. server-id=2 #slave的标示

3. 启动服务

Cnf代码  

  1. # Master
  2. # 如果 Mysql 已启动,先关掉。
  3. /home/mysql/mysql/bin/mysqladmin -u root -p shutdown
  4. # 使用修改过的 master.cnf 启动 mysql
  5. /home/mysql/mysql/bin/mysqld_safe --defaults-file=/home/mysql/mysql/conf/master.cnf &

Java代码  

  1. # Slave
  2. # 如果 Mysql 已启动,先关掉。
  3. /home/mysql/mysql/bin/mysqladmin -u root -p shutdown
  4. # 使用修改过的 slave.cnf 启动 mysql
  5. /home/mysql/mysql/bin/mysqld_safe --defaults-file=/home/mysql/mysql/conf/slave.cnf &

4. 在 Master 上创建一个专门用于复制的账号 repl_user

5. 启动主从复制功能

需要查看 Master 中的  Master status

mysql> show master status;

然后再 Slave 中,启动复制

上面窗口是连接 Master , 下面窗口连接 Slave

6. 测试复制

在 Master 中插入一条数据, 然后在 Slave 中查询。 可以验证。

2 简单的读写分离实现

读写分离可以直接在 客户端 实现, 也可以通过 代理服务器 实现。

代理服务器一般可以选择:

官方的:mysql proxy  地址:http://dev.mysql.com/downloads/mysql-proxy/#downloads

国产开源项目:amoeba

Amoeba开发者博客: http://amoeba.meidusa.com

Amoeba开源项目地址: http://www.sourceforge.net/projects/amoeba 
amoeba 中文文档下载地址:http://amoeba.meidusa.com/amoeba.pdf

这里只演示最简单的方案: JDBC 直接实现 读写分离。

Java代码  

  1. package prx.dao;
  2. import java.sql.Connection;
  3. import java.sql.ResultSet;
  4. import java.util.Properties;
  5. import com.mysql.jdbc.ReplicationDriver;
  6. public class Test {
  7. public static void main(String[] args) throws Exception {
  8. ReplicationDriver driver = new ReplicationDriver();
  9. Properties props = new Properties();
  10. // We want this for failover on the slaves
  11. props.put("autoReconnect", "true");
  12. // We want to load balance between the slaves
  13. props.put("roundRobinLoadBalance", "true");
  14. props.put("user", "foo");
  15. props.put("password", "bar");
  16. //
  17. // Looks like a normal MySQL JDBC url, with a
  18. // comma-separated list of hosts, the first
  19. // being the ‘master‘, the rest being any number
  20. // of slaves that the driver will load balance against
  21. //
  22. Connection conn = driver.connect(
  23. "jdbc:mysql://master,slave1,slave2,slave3/test", props);
  24. //
  25. // Perform read/write work on the master
  26. // by setting the read-only flag to "false"
  27. //
  28. // 通过 conn 的 readOnly 是否为 true 来判断,要取 connection 连接的数据库是 主数据库,还是从数据库
  29. // false 为 主数据库的连接
  30. // true 为 从数据库的连接
  31. conn.setReadOnly(false);
  32. conn.setAutoCommit(false);
  33. conn.createStatement().executeUpdate("UPDATE some_table ....");
  34. conn.commit();
  35. //
  36. // Now, do a query from a slave, the driver automatically picks one
  37. // from the list
  38. //
  39. conn.setReadOnly(true);
  40. ResultSet rs = conn.createStatement().executeQuery(
  41. "SELECT a,b FROM alt_table");
  42. }
  43. }
时间: 2024-08-28 10:55:12

Amoeba搞定mysql主从读写分离的相关文章

Amoeba实现mysql主从读写分离

架设amoeba,实现mysql主从读写分 安装amoeba前需要先安装jdk,因为amoeba是JAVA编写的,所以需要JDK环境的支持,至于版本需要在JAVA1.5以后,mysql数据库需要在4.1以后的版本. 以下是我的实验环境. System:    CentOS 6.5 Master mysql:192.168.88.133 Slave mysql:192.168.88.135 Amoeba server:   192.168.88.131 安装mysql及配置mysql主从这里省略,

利用amoeba(变形虫)实现mysql数据库读写分离

关于mysql的读写分离架构有很多,百度的话几乎都是用mysql_proxy实现的.由于proxy是基于lua脚本语言实现的,所以网上不少网友表示proxy效率不高,也不稳定,不建议在生产环境使用:amoeba是阿里开发的一款数据库读写分离的项目(读写分离只是它的一个小功能),由于是基于java编写的,所以运行环境需要安装jdk: 前期准备工作:1.两个数据库,一主一从,主从同步:master: 172.22.10.237:3306 :主库负责写入操作:slave: 10.4.66.58:330

CentOS系统 Amoeba+MySql主从读写分离配置 适合新手傻瓜式教程!-----仅供参考!

废话不说,直接开始: 一.安装mysql的三种方式,这里采用第2种(安装方式不再详解,请参照) http://www.cnblogs.com/babywaa/articles/4837946.html 1.rpm安装2.源码安装3.通用二进制源码安装 环境准备 192.168.5.10 master1 192.158.5.20 slave1 二.配置master服务器,192.168.5.101.第一步:登陆mysql,给root账号添加密码     //参考命令:SETPASSWORD = P

amoeba:关于mysql的读写分离

今天用amoeba做了次读写分离,下面总结下步骤: 三台linux: 1.192.168.1.213    用于做amoeba服务器 2.192.168.1.184    用于mysql数据库 3.192.168.1.185    用于mysql数据库 #service iptables stop #setenforce 0 一.运行amoeba需要java运行环境,所以先安装jdk环境 rpm –ivh jdk-7u45-linux-i586.rpm vim /etc/profile tomc

mysql主从-读写分离

一个完整的MySQL读写分离环境包括以下几个部分: 应用程序client database proxy database集群 在本次实战中,应用程序client基于c3p0连接后端的database proxy.database proxy负责管理client实际访问database的路由策略,采用开源框架amoeba.database集群采用mysql的master-slave的replication方案.整个环境的结构图如下所示: 实战步骤与详解 一.搭建mysql的master-slave

Mycat实现Mysql主从读写分离

一.概述 关于Mycat的原理网上有很多,这里不再详述,对于我来说Mycat的功能主要有如下几种: 1.Mysql主从的读写分离 2.Mysql大表分片 3.其他数据库例如Oracle,MSSQL,DB2等的读写分离和分片. 之所以第3点单独列出来只是因为它不常用,而且使用的JDBC,连接Mysql则是直接使用Mysql协议. 对于Mycat的分片功能,由于遇到了几个很严重的BUG,同时分片带来的一系列并发问题比较繁杂,因此测试之后放弃了,这里只讨论读写分离. 二.安装配置 1.安装JDK(要求

基于Mycat的MySQL主从读写分离配置详解与示例

1.mycat二进制包安装 tar -zxvf Mycat-server-1.6.5-release-20180122220033-linux.tar.gzcd mycatmv mycat /opt/ useradd mycatchown -R mycat:mycat mycat 2.mysql操作搭建主库环境省略...... 创建数据库CREATE DATABASE `integration01` DEFAULT CHARACTER SET utf8 ; 创建物理表 CREATE TABLE

Amoeba for MySQL的读写分离配置

一.Amoeba概述 1.amoeba简介 Amoeba是一个类似MySQL Proxy的分布式数据库中间代理层软件,是由陈思儒开发的一个开源的java项目.其主要功能包括读写分离,垂直分库,水平分库等,经过测试,发现其功能和稳定性都非常的不错,如果需要构架分布式数据库环境,采用Amoeba是一个不错的方案.目前Amoeba一共包括For aladdin,For MySQL和For Oracle三个版本,本文主要关注For MySQL版本的一个读写分离实现. Amoeba处于在应用和数据库之间,

利用amoeba实现mysql主从复制读写分离

一般大型网站为了缓解大量的并发访问,会在web端实现负载均衡,但是这是远远不够的.到了数据存储层.数据访问层,如果还是传统的架构,或者只是依靠一台服务器,大量的数据库连接操作,会导致数据库面临崩溃的危险.进而造成数据丢失,后果不堪设想.所以我们会考虑如何减少数据库的连接,一方面进行代码的优化,采用优秀的数据缓存技术如memcached,如果资金丰厚的话,必然会想到假设服务器群,来分担主数据库的压力.今天我们就利用MySQL主从配置,实现读写分离,分散数据库的压力.这种方式,很多网站都有应用,今天