Mysql主从原理

1.1 mysql主从同步

1、mysql主从同步(复制)概念

  1. 将Mysql某一台主机数据复制到其它主机(slaves)上,并重新执行一遍来实现的。
  2. 复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器。
  3. 主服务器将更新写入二进制日志文件,并维护文件的一个索引以跟踪日志循环。
  4. 当一个从服务器连接主服务器时,它通知主服务器从服务器在日志中读取的最后一次成功更新的位置。
  5. 从服务器接收从那时起发生的任何更新,然后封锁并等待主服务器通知新的更新。

·binlog:**是二进制日志文件,用于记录mysql的数据更新或者潜在更新(比如DELETE语句执行删除而实际并没有符合条件的数据)

2、Mysql支持哪些复制

 1. 基于语句的复制: 在主服务器执行SQL语句,在从服务器执行同样语句。

 注:MySQL默认采用基于语句的复制,效率较高。一旦发现没法精确复制时, 会自动选基于行的复制。

 2. 基于行的复制: 把改变的内容复制过去,而不是把命令在从服务器上执行一遍. 从mysql5.0开始支持

  1. 混合类型的复制: 默认采用基于语句的复制,一旦发现基于语句的无法精确的复制时,就会采用基于行的复制。

3、Mysql主从复制原理

  1. master服务器将数据的改变都记录到二进制binlog日志中,只要master上的数据发生改变,则将其改变写入二进制日志;
  1. salve服务器会在一定时间间隔内对master二进制日志进行探测其是否发生改变,如果发生改变,则开始一个I/O Thread请求master二进制事件
  2. 同时主节点为每个I/O线程启动一个dump线程,用于向其发送二进制事件,并保存至从节点本地的中继日志中
  3. 从节点将启动SQL线程从中继日志中读取二进制日志,在本地重放,使得其数据和主节点的保持一致
  4. 最后I/O Thread和SQL Thread将进入睡眠状态,等待下一次被唤醒.

    需要理解:

    1)从库会生成两个线程,一个I/O线程,一个SQL线程;

    2)I/O线程会去请求主库的binlog,并将得到的binlog写到本地的relay-log(中继日志)文件中;*

    3)主库会生成一个log dump线程,用来给从库I/O线程传binlog;

    4)SQL线程,会读取relay log文件中的日志,并解析成sql语句逐一执行;

4、Mysql复制流程图

  1. master将操作语句记录到binlog日志中
  2. salve服务器会在一定时间间隔内对master二进制日志进行探测其是否发生改变,如果发生改变
  3. salave开启两个线程:IO线程和SQL线程

    1)*IO线程:*负责读取master的binlog内容到中继日志relay log里;

    2)*SQL线程:*负责从relay log日志里读出binlog内容,并更新到slave的数据库里(保证数据一致)

1.2 MySQL同步延迟问题

1、造成mysql同步延迟常见原因

1)网络:如主机或者从机的带宽打满、主从之间网络延迟很大,导致主上的binlog没有全量传输到从机,造成延迟。

2)机器性能:*从机使用了烂机器?比如主机使用SSD而从机还是使用的SATA*

3)从机高负载:有很多业务会在从机上做统计,把从机服务器搞成高负载,从而造成从机延迟很大的情况

4)大事务:比如在RBR模式下,执行带有大量的delete操作,这种通过查看processlist相关信息以及使用mysqlbinlog查看binlog中的SQL就能快速进行确认

5)锁: 锁冲突问题也可能导致从机的SQL线程执行慢,比如从机上有一些select .... for update的SQL,或者使用了MyISAM引擎等。

2、硬件方面(优化)

1.采用好服务器,比如4u比2u性能明显好,2u比1u性能明显好。

2.存储用ssd或者盘阵或者san,提升随机写的性能。

3.主从间保证处在同一个交换机下面,并且是万兆环境。

总结**:硬件强劲,延迟自然会变小。一句话,缩小延迟的解决方案就是花钱和花时间。

3、mysql主从同步加速

1)sync_binlog在slave端设置为0

当事务提交后,Mysql仅仅是将binlog_cache中的数据写入Binlog文件,但不执行fsync之类的磁盘 同步指令 通知文件系统将缓存刷新到磁盘

而让Filesystem自行决定什么时候来做同步,这个是性能最好的。

2)slave端 innodb_flush_log_at_trx_commit = 2

每次事务提交时MySQL都会把log buffer的数据写入log file,但是flush(刷到磁盘)操作并不会同时进行。

该模式下,MySQL会每秒执行一次 flush(刷到磁盘)操作。

3)–logs-slave-updates 从服务器从主服务器接收到的更新不记入它的二进制日志。

4)直接禁用slave端的binlog

原文地址:https://www.cnblogs.com/junjun511/p/11412313.html

时间: 2024-10-31 13:17:09

Mysql主从原理的相关文章

2015-09-16 mysql 主从原理、 同步常见异常及恢复方法

1.原理 MySQL复制技术有以下一些特点:            (1)    数据分布 (Data distribution ) (2)    负载平衡(load balancing)             (3)    备份(Backups)           (4)    高可用性和容错行 High availability and failover 整体上来说,复制有3个步骤: (1)    master将改变记录到二进制日志(binary log)中(这些记录叫做二进制日志事件,

Linux服务篇之七:MySQL主从原理及架构配置

Linux服务篇之七:MySQL引擎了解.主从原理及架构配置 一.MySQL引擎了解 MyISAM引擎 默认表类型,它是基于传统的ISAM类型,ISAM是IndexedSequential Access Method (有索引的顺序访问方法) 的缩写,它是存储记录和文件的标准方法.不是事务安全的,而且不支持外键,如果执行大量的select, MyISAM比较适合. InnoDB引擎 支持事务安全的引擎,支持外键.行锁.事务是他的最大特点.Innodb最初是由innobase Oy公司开发,200

MySQL主从原理及配置详解

MySQL主从配置及原理,供大家参考,具体内容如下 一.环境选择: 1.Centos 6.5 2.MySQL 5.7 二.什么是MySQL主从复制 MySQL主从复制是其最重要的功能之一.主从复制是指一台服务器充当主数据库服务器,另一台或多台服务器充当从数据库服务器,主服务器中的数据自动复制到从服务器之中.对于多级复制,数据库服务器即可充当主机,也可充当从机.MySQL主从复制的基础是主服务器对数据库修改记录二进制日志,从服务器通过主服务器的二进制日志自动执行更新. 三.MySQL主从复制的类型

mysql主从原理(异步复制)

主从复制作用:数据分布(异机或异地)---负载均衡----备份----高可用和故障转移----升级测试. 主从原理:   线程介绍: 主服务器的一个工作线程: DUMP线程,作用:接收到从库发来的请求后,负责给slave服务器发送二进制日志 从服务器的两个工作线程: I/O线程: 作用:负责读取主服务器的二进制日志,并将其保存到自己的中继日志文件中. SQL线程: 作用:来复制执行中继日志. 注意从库的IO线程和SQL线程是分开的,互不影响. 第1步: slave发送请求:(从库IO线程负责)

mysql 主从原理及配置

MySQL的Replication(英文为复制)是一个多MySQL数据库做主从同步的方案,特点是异步复制,广泛用在各种对MySQL有更高性能.更高可靠性要求的场合.与之对应的是另一个同步技术是MySQL Cluster,但因为MySQL Cluster配置比较复杂,所以使用者较少. MySQL的Replication是一个异步复制的过程(mysql5.1.7以上版本分为异步复制和半同步两种模式),它是从一个Mysql instance(instance英文为实例)(我们称之为Master)复制到

Mysql主从原理和复制配置详细讲解

如果配置了多个从服务器或者多个主服务器又涉及到相应的负载均衡问题,关于负载均衡具体的技术细节还没有研究过,今天就先简单的实现一主一从的主从复制功能 将主数据库中的DDL和DML操作通过二进制日志(BINLOG)传输到从数据库上,然后将这些日志重新执行(重做):从而使得从数据库的数据与主数据库保持一致. 1.主数据库出现问题,可以切换到从数据库. 2.可以进行数据库层面的读写分离, 3.可以在从数据库上进行日常备份 Binary log:主数据库的二进制日志 Relay log:从服务器的中继日志

mysql主从原理及错误代码的原因

理论:主(A)的数据库数据有变化记录一个bin_log,再推送给从(B),B数据库的bin_log会记录去更改自己数据库(数据同步) error 1045:一般是mysql密码不匹配 error 1593:设置完从没有重启从的mysql或者各自的id相同导致 error 2013:防火墙,selinux

部署和调优 2.7 mysql主从配置-1

MySQL 主从(MySQL Replication),主要用于 MySQL 的时时备份或者读写分离.在配置之前先做一下准备工作,配置两台 mysql 服务器,如果你的机器不能同时跑两台 Linux虚拟机,那可以考虑在同一个机器上跑两个 mysql 服务. MySQL 主从原理非常简单,总结一下: 每个从仅可以设置一个主. 主在执行 sql 之后,记录二进制 log 文件(bin-log). 从连接主,并从主获取 binlog,存于本地 relay-log,并从上次记住的位置起执行 sql,一旦

mysql 主从实战及读写分离

1. MYSQL主从原理 1) 至少需要2台数据库服务器,一主一从,Master开启bin-log功能用于记录主库增加.删除.修改.更新SQL语句. 2) 异步复制过程,有延迟,毫秒级别,开启三个线程.分别是Master开启IO线程,SLAVE开启IO线程.SQL线程. 3) 丛库启动salve start,通过IO线程.用户名和密码去连接MASTER,MASTER IO线程负责将bin-log内容.Position位置点数据发给SLAVE. 4) SLAVE IO线程收到数据之后,会将内容追加