MySQL主从复制原理及实践

第1章 MySQL的主从复制介绍

MySQL的主从复制方案,和上述文件及文件系统级别同步是类似的,都是数据的传输。只不过MySQL无需借助第三方工具,而是其自带的同步复制功能。另外一点,MySQL的主从复制并不是磁盘上文件直接同步,而是逻辑的binlog日志同步到本地再应用执行的过程。

复制可以单向:M=>S,也可以是双向M<==>M,也可以是多M换装同步等。如果设置了链式级联复制,那么,从(slave)服务器本身除了充当从服务器外,也会同时充当其下面从服务器的主服务器。链式级联复制类似A-->B-->C-->D的复制形式。

主从复制条件:

1、开启binlog功能

2、主库建立同步账号

3、从库配置master.info(change master)

4、start slave 复制开关

1.1 主从复制原理介绍

MySQL的主从复制是一个异步的复制过程(虽然一般情况下感觉是实时的),数据将从一个MySQL数据库(Master)复制到另外一个MySQL数据库(Slave),两个数据库之间实现整个主从复制的过程是由三个线程参与完成的。其中两个线程(SQL和I/O)在Slave端,另外一个线程(I/O)在Master端。

要实现MySQL的主从复制,首先必须打开Master端的binlog记录功能,否则就无法实现。因为整个复制过程实际上就是Slave从Master端获取binlog日志,然后在Slave上以相同顺序执行获取的binlog日志中记录的各种SQL操作。

[mysqld]
log-bin = /data/3306/mysql-bin

1.2 MySQL主从复制原理过程详细描述

第一步:

在Slave服务器上执行start slave命令开启主从复制开关,开始进行主从复制。

第二步:

此时,Slave服务器的I/O线程会通过在Master上已经授权的复制用户权限请求连接Master服务器,并请求从指定binlog日志文件的指定位置(日志文件名和位置就是在配置主从复制服务时执行change master命令指定的)之后开始发送binlog日志内容。

第三步:

Master服务器接受到来自Slave服务器的I/O线程请求后,其上负责复制的I/O线程会根据Slave服务器的I/O线程请求的信息分批读取指定binlog日志文件指定位置之后的binlog日志信息,然后返回给Slave端I/O线程。返回的信息中除了binlog日志内容外,还有在Master服务器段记录的新的binlog文件名称,以及在新的binlog中的下一个指定更新位置。

第四步:

当Slave服务器I/O线程获取到Master服务器上I/O线程发送的日志内容、日志文件及位置点后,会将binlog日志内容依次写到Slave端自身的Relay Log(即中继日志)文件(MySQL-relay-bin.xxxxxx)的最末端,并将新的binlog文件名和位置记录到master-info文件中,以便下一次读取Master端新binlog日志能够告诉Master服务器从新binlog日志的指定文件及位置开始请求新的binlog日志内容。

第五步:

Slave服务器段的SQL线程会实时检测本地的Relay Log中I/O线程新增加的日志内容,然后及时地把Relay Log文件中的内容解析成SQL语句,并在自身的Slave服务器上按解析SQL语句的位置顺序执行应用这些SQL语句,并在relay-log.info中记录当前应用中继日志的文件名及位置点。

第2章 主从复制步骤案例

2.1 开启主库binlog功能

[[email protected] ~]# grep log-bin /data/3306/my.cnf
log-bin = /data/3306/mysql-bin

2.2 确保所有实例server-id不同

[[email protected] ~]# grep server-id /data/330{6..7}/my.cnf
/data/3306/my.cnf:server-id = 1
/data/3307/my.cnf:server-id = 3

2.3 主库授权复制的用户rep

mysql> grant replication slave on *.* to 'rep'@'10.0.0.%' identified by '123456';
Query OK, 0 rows affected (0.00 sec)
 
mysql> flush privileges;
Query OK, 0 rows affected (0.01 sec)

2.4 主库导出备

q  对主数据库锁表

mysql> flush table with read lock;
Query OK, 0 rows affected (0.00 sec)

注:锁表之后窗口不能退出!!再开一个窗口登录。

q  查看binlog文件及位置点(--master-data=2)

mysql> show master status;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000010 |     5218 |              |                  |
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)

q  新开一个shell窗口导出全备数据

[[email protected] backup]# mysqldump -uroot -p123456 -S /data/3306/mysql.sock -A -B --events |gzip> /service/backup/rep_bak_$(date +%F).sql.gz
[[email protected] backup]# ll /service/backup/
total 144
-rw-r--r-- 1 root root 145138 Feb  6 01:04 rep_bak_2018-02-06.sql.gz

q  解锁,开放用户写入

mysql> unlock table;
Query OK, 0 rows affected (0.00 sec)

2.5 从库确保server-id不同

[[email protected] ~]# grep server-id /data/3307/my.cnf
server-id = 3

2.6 主库全备导入从库

[[email protected] backup]# mysql -uroot -p123456 -S /data/3307/mysql.sock < rep_bak_2018-02-06.sql
[[email protected] backup]# mysql -uroot -p123456 -S /data/3307/mysql.sock -e "show databases;"
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| test               |
| test_dbk           |
+--------------------+

2.7 从库找位置点,配置master.info

在上面的show master info得到的位置信息。

mysql-bin.000010 |     5218

从库连接主库的配置如下:

CHANGE MASTER TO
MASTER_HOST='10.0.0.16',
MASTER_PORT=3306,
MASTER_USER='rep',
MASTER_PASSWORD='123456',
MASTER_LOG_FILE='mysql-bin.000010',
MASTER_LOG_POS=4547;

登录备库,执行如上指令:

[[email protected] 3307]# mysql -uroot -p123456 -S /data/3307/mysql.sock
mysql> CHANGE MASTER TO
    -> MASTER_HOST='10.0.0.15',
    -> MASTER_PORT=3306,
    -> MASTER_USER='rep',
    -> MASTER_PASSWORD='123456',
    -> MASTER_LOG_FILE='mysql-bin.000010',
    -> MASTER_LOG_POS=5218;
Query OK, 0 rows affected (0.03 sec)
 
mysql>

注:1、默认情况下是没有master.info文件的。在运行了如上命令之后,会在备库的数据目录/data/3307/data/下面生成一个master.info文件!

2、如果change错误,可以使用reset sleav all,再次重新设置!!

2.8 开启从库备份开关

mysql> start slave;
Query OK, 0 rows affected (0.00 sec)

2.9 查看从库同步状态

mysql> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 10.0.0.15
                  Master_User: rep
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000010
          Read_Master_Log_Pos: 536031
               Relay_Log_File: relay-log.000002
                Relay_Log_Pos: 531066
        Relay_Master_Log_File: mysql-bin.000010
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes              #<==看到有这两个线程在的时候基本就成功了。
              Replicate_Do_DB:
          Replicate_Ignore_DB: mysql
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 0
                   Last_Error:
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 536031
              Relay_Log_Space: 531216
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master: 0        #<==查看是否有延迟
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
               Last_SQL_Errno: 0
               Last_SQL_Error:
  Replicate_Ignore_Server_Ids:
             Master_Server_Id: 1
1 row in set (0.00 sec)

q  Slave_IO_Running: Yes,这个是I/O线程状态,I/O线程负责从从库去主库读取binlog日志,并写入到从库的中继日志中,状态为Yes表示I/O线程正常工作。

q  Slave_SQL_Running: Yes,这个是SQL线程状态,SQL线程负责读取中继日志(relay-log)中的数据并转换为SQL语句应用到从数据库中,状态为Yes表示I/O线程正常工作。

q  Seconds_Behind_Master: 0,这个是在复制过程中,从库比主库延迟的秒数,这个参数很重要,但还有更准确地判断主从延迟的方法:在主库写时间戳,然后从库读取时间戳和当前数据库的时间进行比较,从而认定是否延迟。

2.10 查看主库线程状态

使用show processlist;命令可以查看mysql的线程状态:

mysql> show processlist;
+----+------+-----------------+------+-------------+------+-----------------------------------------------------------------------+------------------+
| Id | User | Host            | db   | Command     | Time | State                                                                 | Info             |
+----+------+-----------------+------+-------------+------+-----------------------------------------------------------------------+------------------+
| 57 | root | localhost       | NULL | Query       |    0 | NULL                                                                  | show processlist |
| 61 | rep  | 10.0.0.16:34487 | NULL | Binlog Dump |  347 | Master has sent all binlog to slave; waiting for binlog to be updated | NULL             |
+----+------+-----------------+------+-------------+------+-----------------------------------------------------------------------+------------------+
2 rows in set (0.00 sec)

线程状态说明:


主库I/O线程工作状态


解释说明


Sending binlog event to slave


线程已经从二进制binlog日志读取了一个事件并且正将它发送到从服务器。


Finished reading one binlog; switching to   next binlog


线程已经读完二进制binlog日志文件,并且正打开下一个要发送到从服务器的binlog日志文件。


Has sent all binlog to slave; waiting for   binlog to be updated


线程已经从binlog日志读取所有更新并已经发送到了从数据库服务器。线程现在为空闲状态,等待由主服务器上二进制binlog日志中的新事件更新。


Waiting to finalize termination


线程停止时发生的一个很简单的状态。

第3章 主从复制故障解决办法

故障再现步骤:1、主库新建数据库test;2、从库删除同步过来的数据库test;3、主库上再删除数据库test。简单 执行如上步骤,则在从库就会出现复制故障问题:

show slave status:报错;且show slave status\G:

            Slave_IO_Running: Yes
            Slave_SQL_Running: No
        Seconds_Behind_Master: NULL
Last_Errno: 1008
Last_SQL_Error: Error 'Can't drop database 'test'; database doesn't exist' on query. Default database: 'test'. Query: 'drop database test'

q  解决方法1

stop slave;                             #<==临时停止同步开关
set global sql_slave_skip_counter =1;   #<==将同步指针向下移动一个,可多次重复操作
start slave;                            #<==开启同步开关

q  解决方法2

根据忽略的错误号事先在配置文件中配置,跳过指定的不影响业务数据的错误,例如:

grep slave-skip /data/3306/my.cnf
slave-skip-errors = 1032,1062,1007,1008        #<==可忽略的错误号自行设置

1007:数据库已存在,创建数据库失败

1008:数据库不存在,删除数据库失败

1032:记录不存在

1062:字段值重复,入库失败

原文地址:http://blog.51cto.com/13178102/2082767

时间: 2024-11-07 12:37:37

MySQL主从复制原理及实践的相关文章

MySQL主从复制原理和实践

mysql主从复制 mysql支持单向 双向 链式级联 实时 异步复制,在复制过程中,一台服务器充当主服务器(Master),而一个或多个其他服务器充当从服务器(Slave) mysql主从复制的应用场景 1.主从服务器互为备份 2.主从服务器读写分离分担网站压力 读写分离 中大型公司:通过程序(php,java) 测试环境:代理软件(mysql-proxy,amoeba) 门户网站:分布式dbproxy(读写分离,hash负载均衡,健康检查) 主从同步实践操作(多实例环境) 1.主库上面设置s

Mysql主从复制原理与实践

Mysql主从复制原理: 1.Mysql支持单双向.链式级联.异步复制.可以一主一从,也可以一主多从. 2.链式级联中的从是下级从的主.类似A-->B-->C-->D. 3.主从复制配好后,数据库的更新必须在主服务器上进行,以免造成主从冲突. 4.主从服务器架构可实现对用户的请求实现读写分离.从处理用户的select,主处理update,insert,delete等更新.以此保持主从实时同步. 5.可以把从服务器根据业务来拆分. 6.mysql主从复制是异步复制.master与slave

MySQL主从复制原理深入解析与练习

MySQL主从复制画图描述: MySQL主从复制原理上图详解: ① 用户做crud操作,写入数据库,更新结果记录到binlog中: ② 主从同步是主找从的,从库IO发起请求,主库的主进程看从库的master change中给的参数是否合法,如果合法主进程交给IO进程进行3操作,否则拒绝: ③ 主库根据master的位置点,从这个位置点的binlog日志一直到binlog最后,将其准备发送给从库: ④ 将找到的binlog日志发给从库,并且还会发送新的日志点: ⑤ 从库收到binlog日志,将其写

mysql 主从复制原理

主从形式 mysql主从复制 灵活 一主一从 主主复制 一主多从---扩展系统读取的性能,因为读是在从库读取的: 多主一从---5.7开始支持 联级复制 用途及条件 mysql主从复制用途 实时灾备,用于故障切换 读写分离,提供查询服务 备份,避免影响业务 主从部署必要条件: 主库开启binlog日志(设置log-bin参数) 主从server-id不同 从库服务器能连通主库 主从原理 mysql主从复制原理 从库生成两个线程,一个I/O线程,一个SQL线程: i/o线程去请求主库 的binlo

Mysql主从复制原理过程

1.自个画的流程图. 2.简单描述mysql主从复制原理过程 2.1(对应上图步骤1) 在SLAVE服务器上执行start slave命令开启主从复制开关,开始进行主从复制. 2.2(对应上图步骤2) 此时,SLAVE服务器的I/O线程会通过在MASTER上已经授权的复制用户权限请求连接MASTER服务器,并请求从指定binlog日志文件的指定位置(日志文件名和位置就是在配置主从配置复制服务时执行change master命令指定的)之后开始发送binlog日志内容. 2.3(对应上图步骤3)

[转]MySQL主从复制原理介绍

MySQL主从复制原理介绍 一.复制的原理 MySQL 复制基于主服务器在二进制日志中跟踪所有对数据库的更改(更新.删除等等).每个从服务器从主服务器接收主服务器已经记录到其二进制日志的保存的更新,以便从服务器可以对其数据拷贝执行相同的更新. MySQL 使用3个线程来执行复制功能,其中1个在主服务器上,另两个在从服务器上.当发出START SLAVE时,从服务器创建一个I/O线程,以连接主服务器并让它发送记录在其二进制日志中的语句.主服务器创建一个线程将二进制日志中的内容发送到从服务器.该线程

linux Mysql 主从复制 原理介绍和步骤详解

大家好,我是霸王卸甲,今天我给大家带来的是linux数据库中的主从复制的简单介绍和步骤详解. 主从复制 mysql主从复制 灵活 一主一从 主主复制 一主多从---扩展系统读取的性能,因为读是在从库读取的: 多主一从---5.7开始支持 联级复制--- 用途及条件 mysql主从复制用途 实时灾备,用于故障切换 读写分离,提供查询服务 备份,避免影响业务 主从部署必要条件: 主库开启binlog日志(设置log-bin参数) 主从server-id不同 从库服务器能连通主库 主从原理mysql主

如何实现 MySQL 的读写分离?MySQL 主从复制原理的是啥?如何解决 MySQL 主从同步的延时问题?

高并发这个阶段,肯定是需要做读写分离的,啥意思?因为实际上大部分的互联网公司,一些网站,或者是 app,其实都是读多写少.所以针对这个情况,就是写一个主库,但是主库挂多个从库,然后从多个从库来读,那不就可以支撑更高的读并发压力了吗? 如何实现 MySQL 的读写分离? 其实很简单,就是基于主从复制架构,简单来说,就搞一个主库,挂多个从库,然后我们就单单只是写主库,然后主库会自动把数据给同步到从库上去. MySQL 主从复制原理的是啥? 主库将变更写入 binlog 日志,然后从库连接到主库之后,

深度探索MySQL主从复制原理

深度探索MySQL主从复制原理 一 .概要 MySQL Replication (MySQL 主从复制) 是什么? 为什么要主从复制以及它的实现原理是什么? 1.1 MySQL 主从复制概念 MySQL 主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点.MySQL 默认采用异步复制方式,这样从节点不用一直访问主服务器来更新自己的数据,数据的更新可以在远程连接上进行,从节点可以复制主数据库中的所有数据库或者特定的数据库,或者特定的表. 1.2 MySQL 主从复制主要用