2015-09-16 mysql 主从原理、 同步常见异常及恢复方法

1、原理

MySQL复制技术有以下一些特点:  
         (1)    数据分布 (Data distribution )

(2)    负载平衡(load balancing)    
         (3)    备份(Backups) 
         (4)    高可用性和容错行 High availability and failover

整体上来说,复制有3个步骤:

(1)    master将改变记录到二进制日志(binary log)中(这些记录叫做二进制日志事件,binary log events);  
       (2)    slave将master的binary log events拷贝到它的中继日志(relay log);    
        (3)    slave重做中继日志中的事件,将改变反映它自己的数据。

下图描述了复制的过程:

2、延时

原因:当主库的TPS并发较高时,产生的DDL数量超过slave一个sql线程所能承受的范围,那么延时就产生了,当然还有就是可能与slave的大型query语句产生了锁等待。

解决:最简单的减少slave同步延时的方案就是在架构上做优化,尽量让主库的DDL快速执行。还有就是主库是写,对数据安全性较高,比如sync_binlog=1(,innodb_flush_log_at_trx_commit = 1 之类的设置,而slave则不需要这么高的数据安全,完全可以讲sync_binlog设置为0或者关闭binlog,innodb_flushlog也可以设置为0来提高sql的执行效率。另外就是使用比主库更好的硬件设备作为slave。

sync_binlog

使用sync_binlog全局变量  1是最安全的值,但也是最慢的,使binlog在每N次binlog写入后与硬盘 同步

innodb_flush_log_at_trx_commit

默认值1的意思是每一次事务提交或事务外的指令都需要把日志写入(flush)硬盘,这是很费时的,设成0会更快一点,但安全方面比较差,即使MySQL挂了也可能会丢失事务的数据。而值2只会在整个操作系统挂了时才可能丢数据。

3、mysql主从同步常见异常及恢复方法

a. 一般的异常只需要跳过一步即可恢复

>slave stop;

>SET GLOBAL sql_slave_skip_counter = 1;

>slave start;

b.断电导致主从不能同步时,通主库的最后一个bin-log日志进行恢复

在主库服务器上,mysqlbinlog mysql-bin.xxxx > binxxxx.txt

tail -n 100000  binxxxx.txt > tail-binxxxx.txt

vim tail-binxxxx.txt 打开tail-binxxxx.txt文件找到最后一个postion值

然后在从库上,change host to 相应正确的值

>slave stop;

>change master to master_host=‘ip‘, master_user=‘username‘, master_password=‘password‘, master_log_file=‘mysql-bin.xxxx‘, master_log_pos=xxxx;

>slave start;

>show slave status\G;

c.主键冲突、表已存在等错误代码如1062,1032,1060等,可以在mysql主配置文件指定

略过此类异常并继续下条sql同步,这样也可以避免很多主从同步的异常中断

[mysqld]

slave-skip-errors = 1062,1032,1060

参考

MYSQL主从不同步延迟原理  
http://wxy021.blog.163.com/blog/static/170618669201298102732747/    
MySQL主从同步常见异常及恢复方法    
http://www.open-open.com/lib/view/open1409208341557.html

时间: 2024-10-20 15:06:17

2015-09-16 mysql 主从原理、 同步常见异常及恢复方法的相关文章

mysql主从同步常见异常及恢复方法

1. 一般的异常只需要跳过一步即可恢复 >slave stop; >SET GLOBAL sql_slave_skip_counter = 1; >slave start; 2.断电导致主从不能同步时,通主库的最后一个bin-log日志进行恢复 在主库服务器上,mysqlbinlog mysql-bin.xxxx > binxxxx.txt tail -n 100000  binxxxx.txt > tail-binxxxx.txt vim tail-binxxxx.txt

MySQL主从数据库同步延迟问题解决(转)

最近在做MySQL主从数据库同步测试,发现了一些问题,其中主从同步延迟问题是其中之一,下面内容是从网上找到的一些讲解,记录下来以便自己学习: MySQL的主从同步是一个很成熟的架构,优点为:①在从服务器可以执行查询工作(即我们常说的读功能),降低主服务器压力;②在从主服务器进行备份,避免备份期间影响主服务器服务;③当主服务器出现问题时,可以切换到从服务器. MySQL主从同步故障-Slave_SQL_Running: No http://www.linuxidc.com/Linux/2014-0

MySQL主从说明详解、MySQL主从不同步处理方案

MySQL主从说明 同步问题 mysqldump:此工具适用于10G以下数据库或几个表percona-Xtrabackup备份工具:适用于100G-500GLVM快照:更大的数据量,或分库分表 主从复制目的 读写分离,减轻主库负载或数据分析: 数据安全,做备份恢复: 主从切换,做高可用: 常见主从结构: 一主一从:一个Master,一个Slave一主多从:一个Master,多个slave Master节点:负责所有的[写]请求Slave节点:负责大部分的[读]请求 主从复制步骤 A数据更新 A写

解决MySQL主从不同步问题

解决mysql主从不同步 今天发现Mysql的主从数据库没有同步 先上Master库: mysql>show processlist;   查看下进程是否Sleep太多.发现很正常. show master status; 也正常. mysql> show master status; +-------------------+----------+--------------+-------------------------------+ | File              | Pos

MYSQL主从不同步延迟原理分析及解决方案

1.网络的延迟由于mysql主从复制是基于binlog的一种异步复制,通过网络传送binlog文件,理所当然网络延迟是主从不同步的绝大多数的原因,特别是跨机房的数据同步出现这种几率非常的大,所以做读写分离,注意从业务层进行前期设计.2.主从两台机器的负载不一致由于mysql主从复制是主数据库上面启动1个io线程,而从上面启动1个sql线程和1个io线程,当中任何一台机器的负载很高,忙不过来,导致其中的任何一个线程出现资源不足,都将出现主从不一致的情况.3.max_allowed_packet设置

mysql主从原理(异步复制)

主从复制作用:数据分布(异机或异地)---负载均衡----备份----高可用和故障转移----升级测试. 主从原理:   线程介绍: 主服务器的一个工作线程: DUMP线程,作用:接收到从库发来的请求后,负责给slave服务器发送二进制日志 从服务器的两个工作线程: I/O线程: 作用:负责读取主服务器的二进制日志,并将其保存到自己的中继日志文件中. SQL线程: 作用:来复制执行中继日志. 注意从库的IO线程和SQL线程是分开的,互不影响. 第1步: slave发送请求:(从库IO线程负责)

Mysql主从原理

1.1 mysql主从同步 1.mysql主从同步(复制)概念 将Mysql某一台主机数据复制到其它主机(slaves)上,并重新执行一遍来实现的. 复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器. 主服务器将更新写入二进制日志文件,并维护文件的一个索引以跟踪日志循环. 当一个从服务器连接主服务器时,它通知主服务器从服务器在日志中读取的最后一次成功更新的位置. 从服务器接收从那时起发生的任何更新,然后封锁并等待主服务器通知新的更新. ·binlog:**是二进制日志文件,用

利用percona-toolkit 工具来检测mysql 主从数据库同步以及实现同步

环境: OS: Cenos6.5_x64 , 主:192.168.100.164 ,从:192.168.100.176 软件: percona-toolkit . mysql56-community 同步的库: dj1 , cnhd , shanhu 备要信息:要尽量保证主从mysql的版本相同,因为5.6以上的版本支持了Gtid的特性,与低版本做从主时,会产生不可以预计的问题. 一.安装: Quick Install -------------    perl Makefile.PL    m

Mysql主从不同步问题处理

由于各种原因,mysql主从架构经常会出现数据不一致的情况出现,大致归结为如下几类 1:备库写数据 2:执行non-deterministic query 3:回滚掺杂事务表和非事务表的事务 4:binlog或者relay log数据损坏 数据不同步给应用带来的危害是致命的,当出现主从数据不一致的情况,常见的应对方法是先把从库下线,然后找个半夜三更的时间把应用停掉,重新执行同步,如果数据库的体积十分庞大,那工作量可想而知,会让人崩溃.本文介绍使用percona-toolkit工具对mysql主从