MySQL数据的主从复制、半同步复制和主主复制详解

一、MySQL复制概述

⑴、MySQL数据的复制的基本介绍

目前MySQL数据库已经占去数据库市场上很大的份额，其一是由于MySQL数据的开源性和高性能，当然还有重要的一条就是免费~不过不知道还能免费多久，不容乐观的未来，但是我们还是要能熟练掌握MySQL数据的架构和安全备份等功能，毕竟现在它还算是开源界的老大吧！

MySQL数据库支持同步复制、单向、异步复制，在复制的过程中一个服务器充当主服务，而一个或多个服务器充当从服务器。主服务器将更新写入二进制日志文件，并维护文件的一个索引以跟踪日志循环。这些日志可以记录发送到从服务器的更新。当一个从服务器连接主服务器时，它通知主服务器从服务器在日志中读取的最后一次成功更新的位置。从服务器接收从那时起发生的任何更新，然后封锁并等待主服务器通知新的更新。

请注意当你进行复制时，所有对复制中的表的更新必须在主服务器上进行。否则，你必须要小心，以避免用户对主服务器上的表进行的更新与对从服务器上的表所进行的更新之间的冲突。
   单向复制有利于健壮性、速度和系统管理：

健壮性：主服务器/从服务器设置增加了健壮性。主服务器出现问题时，你可以切换到从服务器作为备份。

速度快：通过在主服务器和从服务器之间切分处理客户查询的负荷，可以得到更好的客户响应时间。SELECT查询可以发送到从服务器以降低主服务器的查询处理负荷。但修改数据的语句仍然应发送到主服务器，以便主服务器和从服务器保持同步。如果非更新查询为主，该负载均衡策略很有效，但一般是更新查询。

系统管理：使用复制的另一个好处是可以使用一个从服务器执行备份，而不会干扰主服务器。在备份过程中主服务器可以继续处理更新。

⑵、MySQL数据复制的原理

MySQL复制基于主服务器在二进制日志中跟踪所有对数据库的更改(更新、删除等等)。因此，要进行复制，必须在主服务器上启用二进制日志。

每个从服务器从主服务器接收主服务器已经记录到其二进制日志的保存的更新，以便从服务器可以对其数据拷贝执行相同的更新。

认识到二进制日志只是一个从启用二进制日志的固定时间点开始的记录非常重要。任何设置的从服务器需要主服务器上的在主服务器上启用二进制日志时的数据库拷贝。如果启动从服务器时，其数据库与主服务器上的启动二进制日志时的状态不相同，从服务器很可能失败。

将主服务器的数据拷贝到从服务器的一个途径是使用LOAD DATA FROM MASTER语句。请注意LOAD DATA FROM MASTER目前只在所有表使用MyISAM存储引擎的主服务器上工作。并且，该语句将获得全局读锁定，因此当表正复制到从服务器上时，不可能在主服务器上进行更新。当我们执行表的无锁热备份时，则不再需要全局读锁定。

MySQL数据复制的原理图大致如下：

从上图我们可以看出MySQL数据库的复制需要启动三个线程来实现：

其中1个在主服务器上，另两个在从服务器上。当发出START SLAVE时，从服务器创建一个I/O线程，以连接主服务器并让它发送记录在其二进制日志中的语句。主服务器创建一个线程将二进制日志中的内容发送到从服务器。该线程可以识别为主服务器上SHOW PROCESSLIST的输出中的Binlog Dump线程。从服务器I/O线程读取主服务器Binlog Dump线程发送的内容并将该数据拷贝到从服务器数据目录中的本地文件中，即中继日志。第3个线程是SQL线程，是从服务器创建用于读取中继日志并执行日志中包含的更新。

在前面的描述中，每个从服务器有3个线程。有多个从服务器的主服务器创建为每个当前连接的从服务器创建一个线程；每个从服务器有自己的I/O和SQL线程。

这样读取和执行语句被分成两个独立的任务。如果语句执行较慢则语句读取任务没有慢下来。例如，如果从服务器有一段时间没有运行了，当从服务器启动时，其I/O线程可以很快地从主服务器索取所有二进制日志内容，即使SQL线程远远滞后。如果从服务器在SQL线程执行完所有索取的语句前停止，I/O 线程至少已经索取了所有内容，以便语句的安全拷贝保存到本地从服务器的中继日志中，供从服务器下次启动时执行。这样允许清空主服务器上的二进制日志，因为不再需要等候从服务器来索取其内容。

二、实列说明MySQL的主从复制架构和实现详细过程

主从架构数据库的复制图如下：

其配置详细过程如下：

1、环境架构：

RedHat Linux Enterprise 5.8         mysql-5.5.28-linux2.6-i686.tar

Master：172.16.7.1/16                 Slave：172.16.7.2/16

2 、安装mysql-5.5.28，需要在主节点和备节点上安装mysql

Master：

安装环境准备：

[sql] view plain copy

print?

  1. 为mysql的安装提供前提环境和初始化安装mysql
  2. 创建数据库目录
  3. # mkdir /mydata/data –pv
  4. 创建mysq用户
  5. # useradd -r mysql
  6. 修改权限
  7. # chown -R mysql.mysql /mydata/data/
  8. 使用mysql-5.5通用二进制包安装
  9. 解压mysql软件包
  10. # tar xf mysql-5.5.28-linux2.6-i686.tar.gz-C /usr/local/
  11. 创建连接，为了方便查看mysql的版本等信息
  12. # cd /usr/local/
  13. #ln –sv mysql-5.5.28-linux2.6-i686.tar.gzmysql
  14. 修改属主属组
  15. # cd mysql
  16. # chown -R root.mysql ./*
  17. 初始化数据库
  18. # scripts/mysql_install_db –user=mysql --datadir=/mydata/data/
  19. 提供配置文件
  20. # cp support-files/my-large.cnf /etc/my.cnf
  21. 提供服务脚本
  22. # cp support-files/mysql.server/etc/rc.d/init.d/mysqld
  23. 添加至服务列表
  24. # chkconfig --add mysqld
  25. # chkconfig --list mysqld
  26. # chkconfig mysqld on
  27. 编辑配置文件，提供数据目录
  28. # vim /etc/my.cnf
  29. # The MySQL server  修改mysqld服务器端的内容
  30. log-bin=master-bin 主服务器二进制日志文件前缀名
  31. log-bin-index=master-bin.index  索引文件
  32. innodb_file_per_table= 1     开启innodb的一表一个文件的设置
  33. server-id       = 1          必须是唯一的
  34. datadir =/mydata/data        数据目录路径
  35. 启动mysql服务
  36. # servicemysqld start
  37. 为了便于下面的测试，设置环境变量
  38. # vim/etc/profile.d/mysql.sh
  39. export PATH=$PATH:/usr/local/mysql/bin
  40. 执行环境变量脚本，使其立即生效
  41. # . /etc/profile.d/mysql.sh

启动服务并进行相关的测试：

mysql的安装配置完成，下面增加一个用于同步数据的账户并设置相关的权限吧！

[sql] view plain copy

print?

  1. 建立用户账户
  2. mysql> grant replication slave on *.* to ‘chris‘@‘172.16.%.%‘ identified by ‘work‘;
  3. 刷新数据使其生效
  4. mysql> flush privileges;

至此我们mysql的Master设置完成，下面进行slave端的设置吧！

Slave：

安装环境配置：

[sql] view plain copy

print?

  1. 创建mysql数据库目录
  2. # mkdir /mydata/data –pv
  3. 创建mysql用户
  4. # useradd -r mysql
  5. 修改数据目录权限
  6. # chown -R mysql.mysql /mydata/data/
  7. 使用mysql-5.5通用二进制包安装mysql
  8. 解压mysql软件包
  9. # tar xf mysql-5.5.28-linux2.6-i686.tar.gz-C /usr/local/
  10. 创建连接，便于查看mysql的版本等信息
  11. # cd /usr/local/
  12. # ln –sv mysql-5.5.28-linux2.6-i686.tar.gzmysql
  13. 修改mysql属主属组
  14. # cd mysql
  15. # chown -R root.mysql ./*
  16. 初始化mysql数据库
  17. # scripts/mysql_install_db –user=mysql--datadir=/mydata/data/
  18. 提供mysql配置文件
  19. # cp support-files/my-large.cnf /etc/my.cnf
  20. 提供服务脚本
  21. # cp support-files/mysql.server /etc/init.d/mysqld
  22. 添加至服务列表
  23. # chkconfig --add mysqld
  24. 编辑配置文件
  25. # vim /etc/my.cnf
  26. # The MySQL server
  27. #log-bin=mysql-bin      禁用二进制日志，从服务器不需要二进制日志文件
  28. datadir = /mydata/data  mysql的数据目录
  29. relay-log = relay-log   设置中继日志
  30. relay-log-index = relay-log.index  中继日志索引
  31. innodb_file_per_table = 1
  32. server-id       = 2    id不要和主服务器的一样
  33. 设置环境变量
  34. # vim/etc/profile.d/mysql.sh
  35. export PATH=$PATH:/usr/local/mysql/bin
  36. 执行此脚本（导出环境变量）
  37. # . /etc/profile.d/mysql.sh
  38. 启动服务
  39. # service mysqld start

到这slave服务的mysql安装和配置完成，下面启动slave复制吧，开启之前先查看下从服务上的二进制文件吧

[sql] view plain copy

print?

  1. mysql> show master status; #在Master上执行查看二进制文件
  2. 在从服务器上开启复制功能
  3. change master to master_host=‘172.16.7.1‘,master_user=‘chris‘,master_password=‘work‘,master_log_file=‘master-bin.000001‘,master_log_pos=407;
  4. 开启复制功能
  5. mysql>start slave;

至此我们的mysql服务器的主从复制架构已经基本完成，下面开启服务并测试测试吧~

在从服务器开启复制进程：mysql>start slave;

至此我们mysql服务器的主从复制架构已经完成，但是我们现在的主从架构并不完善，因为我们的从服务上还可以进行数据库的写入操作，一旦用户把数据写入到从服务器的数据库内，然后从服务器从主服务器上同步数据库的时候，会造成数据的错乱，从而会造成数据的损坏，所以我们需要把从服务器设置成只读~方法如下：

注意：read-only = ON ，这项功能只对非管理员组以为的用户有效！

OK，此致我们的mysql基于主从架构的复制功能已经搭建全部完成~下面介绍下关于mysql数据目录下面各个文件的功能和作用！

由于二进制文件的缓冲区内，当我们的服务器宕机的时候，缓存区内的数据并没有同步到二进制日志文件内的时候，那就悲剧了，缓冲区内的数据就无法找回了，为了防止这种情况的发送，我们通过设置mysql直接把二进制文件记录到二进制文件而不再缓冲区内停留。

sync-binlog = ON 在主服务器上进行设置，用于事务安全

从上面我们可以看到从服务器启动的时候其Slave_IO_Running: Yes和Slave_SQL_Running: Yes是自动启动的，但是有时候我们在主服务上进行的误操作等，也会直接同步到从服务器上的，要想恢复那就难了，所以我们需要关闭其自动执行功能，让其能够停止，skip-slave-start = 1 ,让其不开启自动同步，但是遗憾的是mysql5.28上已经没有了，我们可以通过停止相关线程来实现：

mysql>STOP SLAVE 或STOP SLAVE  IO_THREAF或STOP SLAVE SQL_THREAD

注意：从服务器的所有操作日志都会被记录到数据目录下的错误日志中！

三、MySQL的半同步复制

实现半同步复制的功能很简单，只需在mysql的主服务器和从服务器上安装个google提供的插件即可实现，

主服务上使用semisync_master.，从服务器上使用sosemisync_slave.so插件即可实现，插件在mysql通用二进制的mysql/lib/plugin目录内。

其配置步骤如下

1、分别在主从节点上安装相关的插件

master：

[sql] view plain copy

print?

  1. 安装插件：mysql> INSTALL PLUGIN rpl_semi_sync_master SONAME ‘semisync_master.so‘;
  2. 启动模块：mysql> SET GLOBAL rpl_semi_sync_master_enabled = 1;
  3. 设置超时时间：mysql> SET GLOBAL rpl_semi_sync_master_timeout = 1000；


1

2

3

4

slave：

安装插件：msyql> INSTALL PLUGIN rpl_semi_sync_slave SONAME ‘semisync_slave.so‘;

启动模块：mysql> SET GLOBAL rpl_semi_sync_slave_enabled = 1;

重启进程使其模块生效：mysql> STOP SLAVE IO_THREAD; START SLAVE IO_THREAD;


  上面的设置时在mysql进程内动态设定了，会立即生效但是重启服务以后就会失效，为了保证永久有效，需要把相关配置写到主、从服务器的配置文件my.cnf内：

[sql] view plain copy

print?

  1. 在Master和Slave的my.cnf中编辑：
  2. # On Master
  3. [mysqld]
  4. rpl_semi_sync_master_enabled=1
  5. rpl_semi_sync_master_timeout=1000   #此单位是毫秒
  6. # On Slave
  7. [mysqld]
  8. rpl_semi_sync_slave_enabled=1

确认半同步功能已经启用，通过下面的操作进行查看

[sql] view plain copy

print?

  1. master：
  2. mysql> CREATE DATABASE asyncdb;
  3. master> SHOW STATUS LIKE ‘Rpl_semi_sync_master_yes_tx‘;
  4. slave> SHOW DATABASES;
  5. 其测试过程如下

然后把从服务器上的复制进程开启，

我们至此已经实现了mysql数据库复制的半同步方式的架构，并且通过测试查看了复制功能，下面我们进行双主模型架构吧。

四、MySQL设置主-主复制：master<-->slave 
1、在两台服务器上各自建立一个具有复制权限的用户；让两个数据库互为主从的关系

2、修改配置文件：

把上面的连个数据库的配置文件重新配置，其配置如下

[sql] view plain copy

print?

  1. # 主服务器上
  2. [mysqld]
  3. server-id = 1
  4. log-bin = mysql-bin
  5. relay-log = relay-mysql
  6. relay-log-index = relay-mysql.index
  7. auto-increment-increment = 2           #每次跳两个数。
  8. auto-increment-offset = 1              #从1开始。

[sql] view plain copy

print?

  1. [mysqld]
  2. server-id = 2
  3. log-bin = mysql-bin
  4. relay-log = relay-mysql
  5. relay-log-index = relay-mysql.index
  6. auto-increment-increment = 2
  7. auto-increment-offset = 2

如果此时两台服务器均为新建立，且无其它写入操作，各服务器只需记录当前自己二进制日志文件及事件位置，以之作为另外的服务器复制起始位置即可

[sql] view plain copy

print?

  1. master：查看日志文件信息
  2. mysql> show master status;
  3. +------------------+----------+--------------+------------------+
  4. | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
  5. +------------------+----------+--------------+------------------+
  6. | mysql-bin.000001 |      107 |              |                  |
  7. +------------------+----------+--------------+------------------+
  8. Slave:查看服务器日志文件信息
  9. mysql> show master status;
  10. +------------------+----------+--------------+------------------+
  11. | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
  12. +------------------+----------+--------------+------------------+
  13. | mysql-bin.000001 |      107 |              |                  |
  14. +------------------+----------+--------------+------------------+
  15. 1 row in set (0.00 sec)

在各个服务器上建立账号和权限，来进行同步设置


1

2

3

master：

mysql> GRANT REPLICATION SLAVE ON *.* TO ‘chrislee‘@‘172.16.%.%‘ IDENTIFIED BY ‘work‘;

mysql> flush privileges;

[sql] view plain copy

print?

  1. slave：
  2. mysql> GRANT REPLICATION SLAVE ON *.* TO ‘chrisli‘@‘172.16.%.%‘ IDENTIFIED BY ‘work‘;
  3. mysql> flush privileges

在各服务器上指定对另一台服务器为自己的主服务器即可：

[sql] view plain copy

print?

  1. server1
  2. mysql> CHANGE MASTER TO MASTER_HOST=‘172.16.7.2‘,MASTER_USER=‘chrisli‘,MASTER_PASSWORD=‘work‘,MASTER_LOG_FILE=‘mysql-bin.000001‘,MASTER_LOG_POS=344;

[sql] view plain copy

print?

  1. server2：
  2. mysql> CHANGE MASTER TO MASTER_HOST=‘172.16.7.1‘,MASTER_USER=‘chrislee‘,MASTER_PASSWORD=‘work‘,MASTER_LOG_FILE=‘mysql-bin.000001‘,MASTER_LOG_POS=345;

双主架构配置基本完成，下面在各自上面启动复制进程吧~并进行测试：

转载自：http://chrinux.blog.51cto.com/6466723/1204586

时间： 2024-12-26 14:42:52

MySQL数据的主从复制、半同步复制和主主复制详解的相关文章

Mysql的ssl主从复制+半同步主从复制

准备工作 1.主从服务器时间同步 [[email protected] ~]# crontab -e */30 * * * * /usr/sbin/ntpdate 172.16.0.1 &>/dev/null ? ? MariaDB(10以上版本)的编译安装 部署配置 2.mysql说明 (1) 主服务器 hostname:master ? ?IP:172.16.21.2 ? (1) 从服务器 hostname:master ? ?IP:172.16.21.3 ? (3) 数据目录 ? /m

MySQL学习笔记12半同步复制

1.1.1. 相关概念 默认情况下,MySQL使用异步复制,即master上的事务执行与slave上的复制操作不需要同步,master不需要等待slave上的复制线程将Binary Log接收完毕即可执行其它事务. 半同步复制时,master上的事务执行与slave上的复制操作需要在某个步骤上进行同步,master需要等待slave上的复制线程接收完毕Binary Log. 异步复制的工作效率比较高,但是在特定条件下,有可能造成master和slave的数据不一致.半同步复制可以降低数据不一致的

MySQL多实例实现半同步复制

MySQL多实例实现半同步复制 主库1:192.168.40.150 主库2:192.168.40.161 从库(2个MySQL实例):192.168.40.162 一:分别在192.168.40.161和192.168.40.150使用[show master status;]记录当前的复制位置 如下所示 mysql> show master status; +--------------+----------+--------------+------------------+-------

数据层spring-dao.xml配置文件中C3P0连接池配置详解

数据层spring-dao.xml配置文件中C3P0连接池配置详解 先放上两种配置文件bean的相关代码,文章下面会有详细的配置属性的讲解,大家可以自己添加配置和修改配置普通单一数据库连接池配置: <bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource"> <!-- 配置连接池属性 --> <property name="driverClas

MySQL主从复制半同步复制原理及搭建

在MySQL5.5之前的版本中,MySQL的复制是异步复制,主库和从库的数据之间存在一定的延迟,比如网络故障等各种原因,这样子容易存在隐患就是:当在主库写入一个事务成功后并提交了,但是由于从库延迟没有及时得到主库推送的Binlog日志时,主库突然宕机了,那么此时从库就可能损失这个事务,从而造成主从不一致的状况. 因此我们MySQL5.5版本之后引入了半同步复制的概念 半同步复制的原理: 半同步复制时,为了保证主库上的每一个Binlog事务都能够被可靠的复制到从库上,主库在每次事务成功提交时,并不

搭建MySQL的主从、半同步、主主复制架构

复制其最终目的是让一台服务器的数据和另外的服务器的数据保持同步,已达到数据冗余或者服务的负载均衡.一台主服务器可以连接多台从服务器,并且从服务器也可以反过来作为主服务器.主从服务器可以位于不同的网络拓扑中,由于mysql的强大复制功能,其复制目标可以是所有的数据库,也可以是某些数据库,甚至是某个数据库中的某些表进行复制. MySQL支持的两种复制方案:基于语句复制,基于行复制基于语句复制基于行复制,这两种复制方式都是通过记录主服务器的二进制日志中任何有可能导致数据库内数据发生改变的SQL语句到中

基于MySQL实现数据库的半同步主从复制

首先我们来了解一下数据库常遇到的问题: 第一就是性能上的问题 1.向上拓展(硬件方面) scale up 个体本身 容易达到极限 2.向外拓展 scale out 第二就是可用性的问题 1.数据库服务中断 2.误操作数据损坏 3.硬件故障 4.数据库升级测试遭遇bug 5.黑客攻击 基于以上这些问题就有了一个比较好的解决方案,那就是实现数据库的主从复制.MySQL主从复制技术可以提高服务器的性能.除此之外MySQL复制还可以解决以下几个问题: 1.数据分布 (Data distribution

MySQL半同步复制原理配置与介绍详解

环境介绍: Ubuntu Server 16.04.2+MySQL 5.7.17 Community Server (GPL) MySQL安装 通过APT的方式安装,官方指导文档地址: https://dev.mysql.com/downloads/repo/apt/ 1.下载mysql-apt-config_0.8.3-1_all.deb 2.安装deb A Quick Guide to Using the MySQL APT Repository: https://dev.mysql.com

mysql5.623 GTID主从复制+半同步复制安装与配置

一.GTID简介 什么是GTID GTID(Global Transaction ID)是对于一个已提交事务的编号,并且是一个全局唯一的编号.GTID实际上是由UUID+TID组成的.其中UUID是一个MySQL实例的唯一标识.TID代表了该实例上已经提交的事务数量,并且随着事务提交单调递增.下面是一个GTID的具体形式 3E11FA47-71CA-11E1-9E33-C80AA9429562:23 更详细的介绍可以参见:官方文档 GTID的作用 那么GTID功能的目的是什么呢?具体归纳主要有以