MySQL主从备份(2)v0.9

前提：数据目录位于逻辑卷，包含了数据文件和事务日志；

(1) 请求锁定所有表；

mysql> FLUSH TABLES WITH READ LOCK;

(2) 记录二进制文件事件位置；

mysql> FLUSH LOGS;

mysql> SHOW MASTER STATUS;

mysql  -e  ‘SHOW MASTER STATUS;‘ >> /PATH/TO/SOME_POS_FILE

(3) 创建快照卷

lvcreate  -L # -s -p r - SNAM-NAME /dev/VG-NAME/LV-NAME

(4) 释放锁

mysql> UNLOCK TABLES

(5) 挂载快照卷，并执行备份；

(6) 周期性备份二进制日志；

Xtrabackup：

MyISAM：温备，不支持增量备份；

InnoDB：热备，增量；

Usage: [innobackupex [--defaults-file=#] --backup | innobackupex [--defaults-file=#] --prepare] [OPTIONS]

完全+binlog(总结)：

备份：innobackupex  --user  --password=  --host=  /PATH/TO/BACKUP_DIR

准备：innobackupex --apply-log  /PATH/TO/BACKUP_DIR

恢复：innobackupex --copy-back

注意：--copy-back需要在mysqld主机本地进行，mysqld服务不能启动；

innodb_log_file_size可能要重新设定；

总结：完全+增量+binlog

备份：完全+增量+增量+...

完全+差异

准备：

innobackupex --apply-log --redo-only BASEDIR

innobackupex --apply-log --redo-only BASEDIR  --incremental-dir=INCREMENTAL-DIR

恢复：

innobackupex --copy-back BASEDIR

备份单库：

--databases

注意：未尽的内容，请参考其它文档；

总结：

mysqldump+binlog

lvm2+cp/tar+binlog

xtrabackup(innodb)+binlog

MySQL Replication：

Master/Slave

Master: write/read

Slaves: read

为什么？

冗余：promte（提升为主），异地灾备

人工

工具程序

负载均衡：转移一部分“读”请求；

支援安全的备份操作：

...

主/从架构：

异步复制：

半同步复制：

一主多从；

一从一主；

一从多主：

每个主服务器提供不同的数据库；

配置：

时间同步；

复制的开始位置：

从0开始；

从主服务器备份中恢复到从节点后启动的复制；

主从服务器mysqld程序版本不一致？

主服务器：

配置文件my.cnf

server_id=#

log_bin=log-bin

启动服务：

mysql> GRANT REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO ‘USERNAME‘@‘HOST‘ IDENTIFIED BY ‘YOUR_PASSWORD‘;

mysql> FLUSH PRIVILEGES;

从服务器：

配置文件my.cnf

server_id=#

relay_log=relay-log

启动服务：

mysql> CHANGE MASTER TO MASTER_HOST=‘HOST‘,MASTER_USER=‘USERNAME‘,MASTER_PASSWORD=‘YOUR_PASSWORD‘,MASTER_LOG_FILE=‘BINLOG‘,MASTER_LOG_POS=#;

mysql> START SLAVE [IO_THREAD|SQL_THREAD];

mysql> SHOW SLAVE STATUS;

课外作业：基于SSL的复制的实现；

主主复制：

互为主从：两个节点各自都要开启binlog和relay log；

1、数据不一致；

2、自动增长id；

定义一个节点使用奇数id

auto_increment_offset=1

auto_increment_increment=2

另一个节点使用偶数id

auto_increment_offset=2

auto_increment_increment=2

配置：

1、server_id必须要使用不同值；

2、均启用binlog和relay log；

3、存在自动增长id的表，为了使得id不相冲突，需要定义其自动增长方式；

服务启动后执行如下两步：

4、都授权有复制权限的用户账号；

5、各把对方指定为主节点；

复制时应该注意的问题：

1、从服务设定为“只读”；

在从服务器启动read_only，但仅对非SUPER权限的用户有效；

阻止所有用户：

mysql> FLUSH TABLES WITH READ LOCK;

2、尽量确保复制时的事务安全

在master节点启用参数：

sync_binlog = ON

如果用到的是InnoDB存储引擎：

innodb_flush_logs_at_trx_commit=ON

innodb_support_xa=ON

3、从服务器意外中止时尽量避免自动启动复制线程

4、从节点：

sync_master_info=ON

sync_relay_log_info=ON

半同步复制

支持多种插件：/usr/lib64/mysql/plugins/

需要安装方可使用：

mysql> INSTALL PLUGIN plugin_name SONAME ‘shared_library_name‘;

半同步复制：

semisync_master.so

semisync_slave.so

主节点：

INSTALL PLUGIN rpl_semi_sync_master SONAME ‘semisync_master.so‘;

MariaDB [mydb]> SHOW GLOBAL VARIABLES LIKE ‘rpl_semi%‘;

+------------------------------------+-------+

| Variable_name                      | Value |

+------------------------------------+-------+

| rpl_semi_sync_master_enabled       | OFF   |

| rpl_semi_sync_master_timeout       | 10000 |

| rpl_semi_sync_master_trace_level   | 32    |

| rpl_semi_sync_master_wait_no_slave | ON    |

+------------------------------------+-------+

MariaDB [mydb]> SET GLOBAL rpl_semi_sync_master_enabled=ON;

从节点：

INSTALL PLUGIN rpl_semi_sync_slave SONAME ‘semisync_slave.so‘;

MariaDB [mydb]> SHOW GLOBAL VARIABLES LIKE ‘rpl_semi%‘;

+---------------------------------+-------+

| Variable_name                   | Value |

+---------------------------------+-------+

| rpl_semi_sync_slave_enabled     | OFF   |

| rpl_semi_sync_slave_trace_level | 32    |

+---------------------------------+-------+

MariaDB [mydb]> STOP SLAVE IO_THREAD;

MariaDB [mydb]> SHOW GLOBAL VARIABLES LIKE ‘rpl_semi%‘;

MariaDB [mydb]> START SLAVE IO_THREAD;

判断方法：

主节点：

MariaDB [mydb]> SELECT @@global.rpl_semi_sync_master_clients；

复制过滤器：

仅复制有限一个或几个数据库相关的数据，而非所有；由复制过滤器进行；

有两种实现思路：

(1) 主服务器

主服务器仅向二进制日志中记录有关特定数据库相关的写操作；

问题：其它库的point-recovery将无从实现；

binlog_do_db=

binlog_ignore_db=

(2) 从服务器

从服务器的SQL THREAD仅重放关注数据库或表相关的事件，并将其应用于本地；

问题：网络IO和磁盘IO；

Replicate_Do_DB=

Replicate_Ignore_DB=

Replicate_Do_Table=

Replicate_Ignore_Table=

Replicate_Wild_Do_Table=

Replicate_Wild_Ignore_Table=

基于SSL复制

前提：启用SSL功能；

复制的监控和维护：

(1) 清理日志：PURGE

PURGE { BINARY | MASTER } LOGS { TO ‘log_name‘ | BEFORE datetime_expr };

(2) 复制监控

MASTER:

SHOW MASTER STATUS;

SHOW BINLOG EVENTS;

SHOW BINARY LOGS;

SLAVE:

SHOW SLAVE STATUS;

判断从服务器是否落后于主服务器：

Seconds_Behind_Master: 0

(3) 如何确定主从节点数据是否一致？

通过表的CHECKSUM检查；

使用percona-tools中pt-table-checksum；

(4) 主人数据不一致时的修复方法？

重新复制；

主从复制的读写分离：

mysql-proxy --> atlas

amoeba

AliSQL：

mysqlrouter：

语句透明路由服务；

MySQL Router 是轻量级 MySQL 中间件，提供应用与任意 MySQL 服务器后端的透明路由。MySQL Router 可以广泛应用在各种用案例中，比如通过高效路由数据库流量提供高可用性和可伸缩的 MySQL 服务器后端。Oracle 官方出品。

master/slave：

切分：

垂直切分：切库，把一个库中的多个表分组后放置于不同的物理服务器上；

水平切分：切表，分散其行至多个不同的table partitions中；

range, list, hash

sharding(切片)：

数据库切分的框架：

cobar

gizzard

Hibernat Shards

HiveDB

...

qps: queries per second

tps: transactions per second