MySQL数据库复制过滤

在复制的时候只复制数据库中的部分表,可以减少主从服务器的压力

在主服务器上

binlog-bin-db仅将指定数据库相关的修改操作计入二进制日志(一般来讲)【白名单】

binlog-ignore-db【黑名单】

一旦主数据库发生故障,则无法立即还原引起较大的损失,因此主端的二进制日志是完整的

从服务器上

replicate-do-db【白名单】只应用哪个数据库到本地

replicate-ignore-db【黑名单】

replicate-do-table使用指定表

replicate-ignore-table

replicate-wild-do-table使用通配符的方式

replicate-wild-ignore-table

以上指令都可以使用多次

设定黑白名单比较适合在从数据库上进行

MySQL 5.6中引入了GTID

是唯一的标示符,是由服务器的UUID(全局唯一标识)对于任意一个服务器来讲,都是一个128位的随机字符串、并结合事务ID号来组合成某个主机上事务的唯一的标识码,即为GTID

在每一个事务的首部,都写上了GTID

使复制的过程变得非常简单,并且能够在崩溃中迅速的恢复,提供了高可用的能力

innoDB 存储引擎,若要使用它的高可用,都要借助于GTID

使用GTID之后,可以自动的选择要从哪个地方开始复制

多线程复制

事务的前后顺序很重要

每个数据库也仅能使用一个线程,当涉及到多个数据库时,多线程复制才有意义

slave -parallel-workers=0

禁用多线程功能

replication Utility:mysqlreplicate

快速启用MySQL的从服务器,帮助从服务器,检查本地已经执行的事务通过追踪GTID,跳过已经执行的复制,从而加快复制

replication Utility:mysqlrplcheck

实现简单的验证部署,并实现快读故障修复,binlog是否被启用以及相关的配置是否异常

通过执行简单的认证功能

replication Utility:mysqLrplshow

显示mysql的复制拓扑图,显示是否是多级复制,会绘制一个图,会显示主机名以及端口号

replication Utility:mysqlfailover故障转移工具

快速的自动或手动提升一个slave,应用其他slave不具有的功能转换为master

replication Utility:mysqlrpladmin调度管理工具

手动的让某个节点上线或者下线,调度down掉一个节点

要在MySQL 5.6中使用复制功能,其服务配置段[mysqld]中于少应该定义如下选项:

binlog-format:二进制日志的格式,有row、statement和mixed几种类型;

需要注意的是:当设置隔离级别为READ-COMMITED必须设置二进制日志格式为ROW,现在MySQL官方认为STATEMENT这个已经不再适合继续使用;但mixed类型在默认的事务隔离级别下,可能会导致主从数据不一致;

log-slave-updates、gtid-mode、enforce-gtid-consistency、report-port和report-host:用于启动GTID及满足附属的其它需求;

master-info-repository和relay-log-info-repository:启用此两项,可用于实现在崩溃时保证二进制及从服务器安全的功能;

sync-master-info:启用之可确保无信息丢失;

slave-paralles-workers:设定从服务器的SQL线程数;0表示关闭多线程复制功能;

binlog-checksum、master-verify-checksum和slave-sql-verify-checksum:启用复制有关的所有校验功能;

binlog-rows-query-log-events:启用之可用于在二进制日志记录事件相关的信息,可降低故障排除的复杂度;

log-bin:启用二进制日志,这是保证复制功能的基本前提;

server-id:同一个复制拓扑中的所有服务器的id号必须惟一;

master-info-repository让主服务器记录每一个从服务器的连接信息以及每一个主服务器复制的二进制文件名极其相关的事件信息;记录到:file table

relay-log-info-repository从服务器自己记录连接的主服务器是谁,主服务器的哪个二进制文件以及二进制文件的记录位置.记录到:file table

PS uname -n 查看主机名

cat /etc/issue查看Linux内核

一、简单主从模式配置步骤

1、配置主从节点的服务配置文件

1.1、配置master节点:

[mysqld]

binlog-format=ROW

log-bin=master-bin

log-slave-updates=true

gtid-mode=on

enforce-gtid-consistency=true

master-info-repository=TABLE

relay-log-info-repository=TABLE

sync-master-info=1

slave-parallel-workers=2

binlog-checksum=CRC32

master-verify-checksum=1

slave-sql-verify-checksum=1

binlog-rows-query-log_events=1

server-id=1

report-port=3306

port=3306

datadir=/mydata/data

socket=/tmp/mysql.sock

report-host=master.magedu.com

1.2、配置slave节点:

[mysqld]

binlog-format=ROW

log-slave-updates=true

gtid-mode=on

enforce-gtid-consistency=true

master-info-repository=TABLE

relay-log-info-repository=TABLE

sync-master-info=1

slave-parallel-workers=2

binlog-checksum=CRC32

master-verify-checksum=1

slave-sql-verify-checksum=1

binlog-rows-query-log_events=1

server-id=11

report-port=3306

port=3306

log-bin=mysql-bin.log

datadir=/mydata/data

socket=/tmp/mysql.sock

report-host=slave.magedu.com

2、创建复制用户

mysql> GRANT REPLICATION SLAVE ON *.* TO [email protected] IDENTIFIED BY ‘replpass‘;

说明:172.16.100.7是从节点服务器;如果想一次性授权更多的节点,可以自行根据需要修改;

3、为备节点提供初始数据集

锁定主表,备份主节点上的数据,将其还原至从节点;如果没有启用GTID,在备份时需要在master上使用show master status命令查看二进制日志文件名称及事件位置,以便后面启动slave节点时使用。

4、启动从节点的复制线程

如果启用了GTID功能,则使用如下命令:

mysql> CHANGE MASTER TO MASTER_HOST=‘master.magedu.com‘, MASTER_USER=‘repluser‘, MASTER_PASSWORD=‘replpass‘, MASTER_AUTO_POSITION=1;

没启用GTID,需要使用如下命令:

slave> CHANGE MASTER TO MASTER_HOST=‘172.16.100.6‘,

-> MASTER_USER=‘repluser‘,

-> MASTER_PASSWORD=‘replpass‘,

-> MASTER_LOG_FILE=‘master-bin.000003‘,

-> MASTER_LOG_POS=1174;

二、半同步复制

1、分别在主从节点上安装相关的插件

master> INSTALL PLUGIN rpl_semi_sync_master SONAME ‘semisync_master.so‘;

slave> INSTALL PLUGIN rpl_semi_sync_slave SONAME ‘semisync_slave.so‘;

2、启用半同步复制

在master上的配置文件中,添加

rpl_semi_sync_master_enabled=ON

在至少一个slave节点的配置文件中添加

rpl_semi_sync_slave_enabled=ON

而后重新启动mysql服务即可生效。

或者,也可以mysql服务上动态启动其相关功能:

master> SET GLOBAL rpl_semi_sync_master_enabled = ON;

slave> SET GLOBAL rpl_semi_sync_slave_enabled = ON;

slave> STOP SLAVE IO_THREAD; START SLAVE IO_THREAD;

3、确认半同步功能已经启用

master> CREATE DATABASE magedudb;

master> SHOW STATUS LIKE ‘Rpl_semi_sync_master_yes_tx‘;

slave> SHOW DATABASES;

时间: 2024-10-01 02:43:54

MySQL数据库复制过滤的相关文章

mysql数据库‘复制’的办法

mysql数据库‘复制’的办法 2006-01-17 10:36:00 标签:Mysql SQL 数据库 休闲 职场 >mysqldump wap -u root -ppassword --add-drop-table | mysql test -u root -ppassword 这样就用本地的wap数据库,复制到了test数据库.当然,这里的例子数据库都数本地的.通过给定选项h,也可以指定一个远程的mysql. 这个例子,在做开发的时候很有用:用一个生产数据库的内容来填充开发数据库的内容.

mysql数据库复制—双主

一.实现环境 centos master1:172.16.20.245 master2:172.16.20.219 两数据库均是新安装 二.master1安装配置 1配置文件 #vim /etc/my.cnf server-id = 10 log-bin = mysql-bin log-bin-index = mysql-bin.index binlog-format = mixed relay-log = relay-mysql relay-log-index = relay-mysql.in

linux mysql 数据库复制

一.主服务器配置 1.配置文件my.cnf的修改 [[email protected] mysql]# vim /etc/my.cnf #在[mysqld]中添加:server-id=1log_bin=master-binlog_bin_index=master-bin.indexbinlog_do_db=test#备注:#server-id 服务器唯一标识.#log_bin 启动MySQL二进制日志,即数据同步语句,从数据库会一条一条的执行这些语句.#binlog_do_db 指定记录二进制日

MySQL数据库复制概念及数据库架构不断扩展方案

MySQL Replication 系统扩展的方式: scale up:向上扩展,垂直扩展    使用更高性能的硬件来扩展 scale out:向外扩展,水平扩展    提供更多的节点来提供更多的访问需求 复制:水平扩展的一种方案 如果构建一个httpd负载均衡集群会面临的问题: 当用户请求到达时,负载均衡器给调度到后端的各realserver上,如果web服务器允许用户上传数据,用户上传数据到第一个节点上,而后他又访问被调度到第三个节点上来,则数据就访问不到,如果要解决此问题,需要如何操作?使

第四阶段 (七)MySQL REPLICATION(主从复制、半同步复制、复制过滤)

Linux运维 第四阶段 (七)MySQL REPLICATION(主从复制.半同步复制.复制过滤) 一.MySQL Replication相关概念: 1.复制的作用:辅助实现备份:高可用HA:异地容灾:分摊负载(scaleout):rw-spliting(mysql proxy工作在应用层). 2.master有多个CPU允许事务并行执行,但往二进制日志文件只能一条条写:slave比master要慢:master-slave默认异步方式传送. 3.半同步:仅负责最近一台slave同步成功,其它

MySQL的复制架构与优化

###########原理###########1.主服务器将更新的数据的sql语句(例如,insert,update,delete等)写入到  二进制文件中(由log-bin选项开启).此二进制文件由一个索引文件跟踪维护.  2.从服务器连接(使用I/O线程连接)主服务器,将自己最后一次更新的位置通知  主服务器.然后,主服务器将把从'从服务器'得知的位置开始之后的所有更新发  送给'从服务器'(使用Binlog Dump线程来发送),而后'从服务器'再次使用I/O  线程读取由Binlog

Linux系统中安装MySQL数据库操作手册

Linux系统中MySQL数据库安装手册 一.安装概述: 在Linux操作系统中安装MySQL数据库是一个我们必须要掌握的一门技术,也决定了你以后找工作的薪资待遇,所以你知道它的厉害了吧!学会安装只是第一步,你还得学好数据库的基本操作,以及搭建一个数据库的主从配置等等.这些我都会在后面的博文中说到.下面我就简单的写一些安装MySQL数据库的一些步骤,仅供参考,如有什么不妥的地方,还请见谅! 二.安装步骤: (一)基本准备工作 1.打开虚拟机,在虚拟机中下载好最新版的MySQL数据库的压缩包.在M

【Data Cluster】真机环境下MySQL数据库集群搭建

阅读目录 MySQL Cluster简介 mysql-cluster构造 虚拟机安装centos6.6 mysql-cluster下载 centos6.6搭建环境配置 mysql-cluster安装包导入cent中 集群配置 运行mysql-cluster 常见问题 测试 真机环境下MySQL-Cluster搭建文档  摘要:本年伊始阶段,由于实验室对不同数据库性能测试需求,才出现MySQL集群搭建.购置主机,交换机,双绞线等一系列准备工作就绪,也就开始集群搭建.起初笔者对此不甚了解,查阅很多资

mysql数据库主从同步之双主配置----互为主从

Mysql数据库复制原理: 整体上来说,复制有3个步骤: (1)master将改变记录到二进制日志(binary log)中(这些记录叫做二进制日志事件,binary log events): (2)slave将master的binary log events拷贝到它的中继日志(relay log): (3)slave重做中继日志中的事件,将改变反映它自己的数据. 下图描述了复制的过程: 该过程的第一部分就是master记录二进制日志.在每个事务更新数据完成之前,master在二进制日志记录这些