mysql主从同步原理,配置,同步延迟处理

Mysql的 Replication 是一个异步的复制过程,从一个 Mysql instace(我们称之为 Master)复制到另一个 Mysql instance(我们称之 Slave)。在 Master 与 Slave 之间的实现整个复制过程主要由三个线程来完成,其中两个线程(Sql线程和IO线程)在 Slave 端,另外一个线程(IO线程)在 Master 端。

  要实现 MySQL 的 Replication ,首先必须打开 Master 端的Binary Log(mysql-bin.xxxxxx)功能,否则无法实现。因为整个复制过程实际上就是Slave从Master端获取该日志然后再在自己身上完全 顺序的执行日志中所记录的各种操作。打开 MySQL 的 Binary Log 可以通过在启动 MySQL Server 的过程中使用 “—log-bin” 参数选项,或者在 my.cnf 配置文件中的 mysqld 参数组([mysqld]标识后的参数部分)增加 “log-bin” 参数项。

  MySQL 复制的基本过程如下:

  1. Slave 上面的IO线程连接上 Master,并请求从指定日志文件的指定位置(或者从最开始的日志)之后的日志内容;

  2. Master 接收到来自 Slave 的 IO 线程的请求后,通过负责复制的 IO 线程根据请求信息读取指定日志指定位置之后的日志信息,返回给 Slave 端的 IO 线程。返回信息中除了日志所包含的信息之外,还包括本次返回的信息在 Master 端的 Binary Log 文件的名称以及在 Binary Log 中的位置;

  3. Slave 的 IO 线程接收到信息后,将接收到的日志内容依次写入到 Slave 端的Relay Log文件(mysql-relay-bin.xxxxxx)的最末端,并将读取到的Master端的bin-log的文件名和位置记录到master- info文件中,以便在下一次读取的时候能够清楚的高速Master“我需要从某个bin-log的哪个位置开始往后的日志内容,请发给我”

  4. Slave 的 SQL 线程检测到 Relay Log 中新增加了内容后,会马上解析该 Log 文件中的内容成为在 Master 端真实执行时候的那些可执行的 Query 语句,并在自身执行这些 Query。这样,实际上就是在 Master 端和 Slave 端执行了同样的 Query,所以两端的数据是完全一样的。

(需要自定义不同的端口,主:3306,从:3307);

远程连接mysql: mysql -h127.0.0.1 -uroot -padmin -P3307 (在mysql的bin文件夹下执行)



create user ‘repl’@’127.0.0.1’ identified by ‘admin’;

GRANT REPLICATION SLAVE ON . TO ‘repl’@’127.0.0.1’; 【这里我指定数据库(rtzc_pnc_base .)时报错,而指定全库(.*)时会成功。】

一般是先将所有的表加锁(只读),然后copy磁盘上的数据库文件夹。我这里直接停止服务,然后将数据文件拷贝过去

(注意有\G后面不加;,否则报错) 记下file和position字段对应的参数

change master to master_host=’127.0.0.1’, master_port=3306, master_user=’repl’, master_password=’admin’, master_log_file=’mysql-bin.000001’, master_log_pos=154;

注意:master_port对应主库的端口,master_log_file和master_log_pos对应刚才show master status记下的参数。

start slave; (mysql5.5是slave start;启动)

在从库可以通过show slave status\G来查看一些参数。

寻找问题的方法:到从库的data目录下找到WIN-20151017TLX.err文件,发现里面有一行error日志,如下

解决问题方法:

只有按照原格式修改data目录下的auto.cnf文件里面的server-uuid,随便写就ok了。

参考:http://www.jb51.net/article/39935.htm

参考:http://www.cnblogs.com/yuechaotian/archive/2013/05/15/3080056.html

主从间的数据库不是实时同步,就算网络连接正常,也存在瞬间,主从数据不一致。 * 如果主从的网络断开,从会在网络正常后,批量同步。 * 如果对从进行修改数据,那么很可能从在执行主的bin-log时出现错误而停止同步,这个是很危险的操作。所以一般情况下,非常小心的修改从上的数据。

参考:http://bbs.chinaunix.net/thread-2297959-1-1.html

当主库的TPS并发较高时,产生的DDL数量超过slave一个sql线程所能承受的范围,那么延时就产生了,当然还有就是可能与slave的大型query语句产生了锁等待。

3.2.1 插入后,更新缓存服务如redis,其他节点需先读缓存中的数据。然后再写入从mysql。

丁奇的transefer是一个不错的方案,不过一般公司受限于对mysql的代码修改能力的限制和对mysql的掌控能力,还是不太适合;

最简单的减少slave同步延时的方案就是在架构上做优化,尽量让主库的DDL快速执行。还有就是主库是写,对数据安全性较高,比如

sync_binlog=1,innodb_flush_log_at_trx_commit=1 之类的设置,而slave则不需要这么高的数据安全,完全可以讲sync_binlog设置为0或者关闭binlog,innodb_flush_log_at_trx_commit 也可以设置为0来提高sql的执行效率。

另外就是使用比主库更好的硬件设备作为slave;

mysql-5.6.3已经支持了多线程的主从复制。原理和丁奇的类似,丁奇的是以表做多线程,oracle使用的是以数据库(schema)为单位做多线程,不同的库可以使用不同的复制线程。

参考:http://www.jb51.net/article/41545.htm

参考:http://ju.outofmemory.cn/entry/56176

原文地址:https://www.cnblogs.com/sqlserver-my/p/11013832.html

时间: 2024-08-09 10:10:01

mysql主从同步原理,配置,同步延迟处理的相关文章

MySQL主从搭建与配置

MySQL主从(MySQL replication),主要用于MySQL的实时备份或者读写分离.在配置之前先做一下准备工作,配置两台MySQL服务器,如果你的机器不能同时跑两台Linux虚拟机,那么可以考虑在同一个机器上跑两个MySQL服务. MySQL主从的原理非常简单,总结一下: (1)每个主从仅可以设置一个主. (2)主在执行SQL之后,记录二进制log文件(bin-log) (3)从连接主,并获取主的bin-log,存于本地relay-log,并从上次执行的位置起执行SQL,一旦遇到错误

CentOS系统 Amoeba+MySql主从读写分离配置 适合新手傻瓜式教程!-----仅供参考!

废话不说,直接开始: 一.安装mysql的三种方式,这里采用第2种(安装方式不再详解,请参照) http://www.cnblogs.com/babywaa/articles/4837946.html 1.rpm安装2.源码安装3.通用二进制源码安装 环境准备 192.168.5.10 master1 192.158.5.20 slave1 二.配置master服务器,192.168.5.101.第一步:登陆mysql,给root账号添加密码     //参考命令:SETPASSWORD = P

mysql主从实现及配置

MySQL主从搭建 主库搭建见博文: http://zhanghongxin.blog.51cto.com/11255031/1847059 主库搭建好后: 1.打包备份数据 (1)对数据库锁表只读 >flush table with read lock; (2)默认情况下自动解锁的时间 >show variables like '%timeout%'; (3)锁表后查看主库状态 信息要记录在案,从库连接主库时需要用到 >show master status; 或 # mysql -ur

mysql主从服务器的配置

使用mysql主从复制的好处有: 1.采用主从服务器这种架构,稳定性得以提升.如果主服务器发生故障,我们可以使用从服务器来提供服务. 2.在主从服务器上分开处理用户的请求,可以提升数据处理效率. 3.将主服务器上的数据复制到从服务器上,保护数据免受意外的损失. 环境描述: 新企业要搭建架构为主从复制的mysql数据库. 主服务器(mysql-master):IP地址:192.168.48.128,mysql已安装,没有用户数据. 从服务器(mysql-slave):IP地址:192.168.48

mysql主从介绍、 配置主、配置从

mysql主从介绍 MySQL主从又叫做Replication.AB复制.简单讲就是A和B两台机器做主从后,在A上写数据,另外一台B也会跟着写数据,两者数据实时同步的 MySQL主从是基于binlog的,主上须开启binlog才能进行主从. 主从过程大致有3个步骤 1)主将更改操作记录到binlog里 2)从将主的binlog事件(sql语句)同步到从本机上并记录在relaylog里 3)从根据relaylog里面的sql语句按顺序执行 主上有一个log dump线程,用来和从的I/O线程传递b

基于Mycat的MySQL主从读写分离配置详解与示例

1.mycat二进制包安装 tar -zxvf Mycat-server-1.6.5-release-20180122220033-linux.tar.gzcd mycatmv mycat /opt/ useradd mycatchown -R mycat:mycat mycat 2.mysql操作搭建主库环境省略...... 创建数据库CREATE DATABASE `integration01` DEFAULT CHARACTER SET utf8 ; 创建物理表 CREATE TABLE

mysql主从同步读写分离

https://pan.baidu.com/s/1tm_FQ4C8heQqzx01URr85A //软件连接百度网盘 三台mysql数据库:主数据库服务器:192.168.80.100 从数据库服务器1:192.168.80.101 从数据库服务器2:192.168.80.102 一台amoeba调度器:192.168.80.103 一台mariadb客户端: 192.168.80.104 注:五台虚拟机第一步都写以下两行 systemctl stop firewalld //关闭防火墙 set

MySQL主从同步与主主同步

MySQL复制: MySQL内建的复制功能是构建大型,高性能应用程序的基础.将MySQL的数据分布到多个系统上去,这种分布的机制,是通过将mysql的某一台主机的数据复制到其它主机(slave)上,并重新执行一遍来实现. 复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器.主服务器将更新写入二进制日志文件,并维护文件的一个索引以跟踪日志循坏,这些日志可以记录发送到从服务器的更新.当一个从服务器 连接主服务器时,它通知主服务器从服务器在日志中读取的最后一次成功更新的位置.从服务器

MySQL主从备份配置

MySQL主从热备配置 两台服务器的MySQL版本都是5.5.41master:192.168.3.119slave:192.168.3.120 MySQL主服务器配置:1.创建用于备份的用户 grant replication slave on *.* to 'slave'@'192.168.3.120' identified by 'wy2015';2.开启主服务器的 binarylog  /etc/my.cnf server-id = 1log-bin=mysql-binbinlog-do

10-openldap同步原理

openldap同步原理 阅读视图 openldap同步原理 syncrepl.slurpd同步机制优缺点 OpenLDAP同步条件 OpenLDAP同步参数 1. openldap同步原理 OpenLDAP同步复制(简称syncrepl)机制是消费方的一个复制引擎,能让消费者服务器维护一个抽取片段的影子副本. 2. syncrepl.slurpd同步机制优缺点 3. OpenLDAP同步条件 OpenLDAP的5种同步模式需要满足以下6点要求. 1. OpenLDAP服务器之间需要保持时间同步