XtraBackup物理备份 阿里云的Mysql备份方案

XtraBackup物理备份

Percona XtraBackup是世界上唯一的开源，免费的MySQL热备份软件，为InnoDB和XtraDB 数据库执行非阻塞备份。使用Percona XtraBackup，可以实现以下优势：

  • 快速可靠地完成的备份
  • 备份期间的不间断事务处理
  • 节省磁盘空间和网络带宽
  • 自动备份验证
  • 创建热InnoDB备份，而不暂停数据库
  • 对MySQL进行增量备份
  • 将压缩的MySQL备份压缩到另一个服务器
  • 在MySQL服务器之间移动表
  • 轻松创建新的MySQL主从
  • 备份MySQL，而不向服务器添加负载

Percona XtraBackup为所有版本的Percona Server，MySQL和MariaDB进行MySQL热备份，压缩和增量MySQL备份。Percona XtraBackup与MySQL，MariaDB和Percona Server配合使用。它支持完全非阻塞备份InnoDB，XtraDB和HailDB 存储引擎。

Percona XtraBackup工作原理

Percona XtraBackup是基于InnoDB的崩溃恢复功能。复制InnoDB数据文件，导致内部不一致的数据; 但随后它对文件执行崩溃恢复，使它们再次成为一致，可用的数据库。

这是因为InnoDB维护一个重做日志，也称为事务日志。这包含对InnoDB数据的每个更改的记录。当InnoDB 启动时，它会检查数据文件和事务日志，并执行两个步骤。它将提交的事务日志条目应用于数据文件，并对修改数据但未提交的任何事务执行撤销操作。

Percona XtraBackup通过记录日志序列号（LSN）开始工作，然后复制掉数据文件。这需要一小会时间来完成，所以如果文件正在改变，那么它们反映了数据库在不同时间点的状态。同时，Percona XtraBackup运行一个后台进程，监视事务日志文件，并从中复制更改。Percona XtraBackup需要不断地这样做，因为事务日志是以循环方式编写的，并且可以在一段时间后重复使用。Percona XtraBackup从数据文件开始执行以来每次更改都需要事务日志记录。

Percona XtraBackup将使用备份锁 ，作为一个轻量级替代。此功能在Percona Server 5.6+中可用。Percona XtraBackup使用这个自动复制非InnoDB数据，以避免阻塞修改InnoDB表的DML查询。当服务器支持备份锁时，xtrabackup将首先复制InnoDB数据，运行并复制MyISAM表和.frm文件。一旦完成，文件的备份将开始。它将备份.frm，.MRG，.MYD，.MYI，.TRG，FLUSH TABLES WITH READ LOCKLOCK TABLES FOR BACKUP.par

注意

锁定只对MyISAM和其他非InnoDB表，只有 在 Percona XtraBackup完成所有InnoDB / XtraDB数据和日志后备份。Percona XtraBackup将使用备份锁 ，作为一个轻量级替代。此功能在Percona Server 5.6+中可用。Percona XtraBackup使用这个自动复制非InnoDB数据，以避免阻塞修改InnoDB表的DML查询。FLUSH TABLES WITH READ LOCK

之后，xtrabackup将使用阻止所有操作，可能更改二进制日志位置或 或 报告。然后xtrabackup将完成复制REDO日志文件和获取二进制日志坐标。在这完成之后xtrabackup将解锁二进制日志和表。LOCK BINLOG FOR BACKUPExec_Master_Log_PosExec_Gtid_SetSHOW MASTER/SLAVE STATUS

最后，二进制日志位置将被打印到STDERR和xtrabackup 将退出返回0如果一切正常。

需要注意的是STDERR的xtrabackup不是写在任何文件中。您必须将其重定向到一个文件，例如，。xtrabackup OPTIONS2> backupout.log

它还将在备份的目录中创建以下文件。

在准备阶段，Percona XtraBackup使用复制的事务日志文件对复制的数据文件执行崩溃恢复。完成此操作后，数据库就可以恢复和使用。

备份的MyISAM和InnoDB表最终将彼此一致，因为在准备（恢复）过程之后，InnoDB的数据会前滚到备份完成的点，而不会回滚到该点开始。这个时间点匹配所采取的位置，因此MyISAM数据和准备的 InnoDB数据是同步的。FLUSH TABLES WITHREAD LOCK

简而言之，这些工具允许您通过复制数据文件，复制日志文件以及将日志应用到数据的各种组合来执行流式和增量备份等操作。

还原备份

要使用xtrabackup恢复备份，您可以使用 或选项。xtrabackup –copy-backxtrabackup –move-back

xtrabackup将从my.cnf变量datadir， innodb_data_home_dir，innodb_data_file_path，innodb_log_group_home_dir中读取， 并检查目录是否存在。

这将复制MyISAM表，索引等（.FRM，.MRG， .MYD，.MYI，.TRG，.TRN，.ARM， .ARZ，.CSM，.CSV，par和.opt的文件）首先，InnoDB的下一步是表和索引，最后是日志文件。它将在复制文件时保留文件的属性，mysql在启动数据库服务器之前可能需要将文件的所有权更改为，因为它们将由创建备份的用户拥有。

或者，该选项可用于恢复备份。此选项 与唯一的区别是，它不是复制文件，而是将其移动到目标位置。由于此选项删除备份文件，因此必须谨慎使用。在没有足够的可用磁盘空间来保存这两个数据文件及其备份副本的情况下，此功能非常有用。xtrabackup –move-backxtrabackup –copy-back

安装XtraBackup

安装XtraBackup 源

[[email protected] ~]# uname -r
3.10.0-327.el7.x86_64

yum -y install http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm

安装

yum -y install percona-xtrabackup-24

创建连接用户并受权

mysql> CREATE USER ‘zhengda‘@‘localhost‘ IDENTIFIED BY ‘goyun.org‘;
mysql> GRANT RELOAD, LOCK TABLES, PROCESS, REPLICATION CLIENT ON *.* TO ‘zhengda‘@‘localhost‘;
mysql> FLUSH PRIVILEGES;

完整备份

（1）xtrabackup只能备份innodb和xtradb两种引擎的表，而不能备份myisam引擎的表；
（2）innobackupex是一个封装了xtrabackup的Perl脚本，支持同时备份innodb和myisam，但在对myisam备份时需要加一个全局的读锁。还有就是myisam不支持增量备份。

$ xtrabackup --user=zhengda --password=goyun.org --backup \ 
  --target-dir=/data/backup  
$ innobackupex --user=zhengda --password=goyun.org /path/ to /backup/dir/ 
$ innobackupex --user=zhengda --password=goyun.org --stream=tar ./ | bzip2 -

备份到/data/backup下

备份所有库：$ innobackupex --defaults-file=/etc/my.cnf--user=zhengda            --password=goyun.org --socket=/tmp/mysql.sock /data/backup
           
备份两个库：$ innobackupex --databases="db1 db2"--defaults-file=/etc/my.cnf--user=zhengda             --password=goyun.org --socket=/tmp/mysql.sock /data/backup

增量备份

注：第一次增量备份要建立在完整备份之上才可以
–incremental /data/backup1 指定增量备份存放的目标目录
–incremental-basedir=/data/backup 指定完整备份的目录

$ innobackupex  --defaults-file=etc/my.cnf --user=zhengda --password=goyun.org --socket=/tmp/mysql.sock --incremental /data/backuup1 --incremental-basedir=/data/backup/#会根据当天时间生成个目录

进行第二次增量备份，需要指定上一次增量备份的目录
–incremental /data/backup2 指定这次增量备份目录
–incremental-basedir=/data/backup1 指定上次增量备份目录

$ innobackupex --defaults-file=/etc/my.cnf --user=zhengda --password=goyun.org --socket=/tmp/mysql.sock --incremental /data/backup2 --incremental-basedir=/data/backup1/(....)

还原备份

–apply-log 准备还原备份的选项
–use-memory=8G 设置准备还原数据时使用的内存，可以提高准备所花费的时间

$ innobackupex --apply-log --use-memory=8G /data/backup
#还原如下
$ innobackupex  --defaults-file=/etc/my.cnf --user= --password= --copy-back /data/backup
#或
$ xtrabackup --user=zhengda --password=goyun.org --copy-back --target-dir=/data/backup

使用Mysqldump进行逻辑备份

mysqldump作为重要的MySQL备份工具，功能相当强大。备份参数、恢复策略，需要仔细研究。

备份数据库：

备份单个数据库或单个数据库中的指定表：

mysqldump [OPTIONS] database [tb1] [tb2]…

备份多个数据库：

mysqldump [OPTIONS] –databases [OPTIONS] DB1 [DB2 DB3…]

备份所有数据库：

mysqldump [OPTIONS] –all-databases [OPTIONS]

添加此选项备份时不锁表

--single-transaction

案例：本地备份所有库

mysqldump -u root -p密码 --all-databases > ./all.sql

案例：本地恢复所有库

mysql -u root -p密码  < ./all.sql

案例：备份本地db1,db2两个库

mysqldump -u root -p密码 --databases db1 db2 > ./db1_2.sql

案例：恢复本地db1,db2两个库

mysql -u root -p密码 db1 db2 < ./db1_2.sql

案例：在B主机上执行将A主机的yun库备份到B主机上 ，在B主机上需要创建yun库

-C表示主机间的数据传输使用数据压缩

mysqldump --host=192.168.6.108(A) -u root -p密码 --opt yun | mysql --host=localhost(B) -u root -p密码 -C yun

案例：在 B主机 上执行将 A主机 上的所有数据库备份到本地

mysqldump --host=192.168.6.108（A） -u root -p密码 --all-databases > all.sql（B）

案例：恢复在B主机上执行

此文章来自乌龟运维 wuguiyunwei.com

我们的公共号

时间： 2024-10-15 11:35:13

XtraBackup物理备份 阿里云的Mysql备份方案的相关文章

阿里云RDS数据备份本地恢复

公司现在用的阿里云数据库,阿里云上虽然对RDS数据库有备份,也只能免费保存一个月,所以大部分情况需要把备份下载到本地,但是如何在本地恢复可真是话费了一番功夫.先分享如下: 公司目前使用的数据库是阿里云的RDS,目前RDS的版本为mysql5.6.如下: 现在要求把RDS的数据,在公司内部本地进行恢复. 操作系统:Centos7 数据库:mysql5.6 一.安装mysql数据库 在进行RDS本地恢复数据之前,我们需要先在本地服务器上安装mysql的5.6版本,因为RDS是5.6版本,所以我们本地

吐槽阿里云数据库的备份还原

阿里云数据库RDS备份还原问题终于解决了.我会告诉你其实不用看他们的文档,直接还原就可以了吗? 详情如下: 我严格按照文档操作的,后来数据库启动过几秒后即崩溃,有两个错误,先解决了一个,后来一个用了各种办法都解决不了. 于是只好留言阿里云的客服,我着重强调了严格按照文档,并提交了崩溃信息. 结果客服说,请按文档操作,好吧. 后来看了一下阿里云提供的工具,一个导出脚本居然1M多,我的天,什么脚本这么大.于是看了一下代码,就是个简单的解压操作, 后面塞了一堆二进制,让人以为很高端,其实普通的解压软件

如何使用脚本自动备份阿里云rds数据库

vim .mysqldump.sh #脚本都放置到/d20141212/scripts下,创建.mysqldump.sh的文件目的是,这个文件里有数据库的连接信息,要隐藏掉.所以加了.. #!/bin/bash shopt -s -o nounset export PATH=/usr/bin/:/bin bakdir=/d20141212/dbback/msyql date=$(date +%Y_%m_%d_%H) dbname='XXX' #数据库名称 dbuser='XXX' #数据库用户

[转]阿里云配置mysql远程连接

[转]阿里云配置mysql远程连接 默认是不能用客户端远程连接的,阿里云提供的help.docx里面做了设置说明,mysql密码默认存放在/alidata/account.log 首先登录: mysql -u root -h localhost -p use mysql                #打开mysql数据库 #将host设置为%表示任何ip都能连接mysql,当然您也可以将host指定为某个ip update user set host='%' where user='root'

阿里云配置mysql远程连接

默认是不能用客户端远程连接的,阿里云提供的help.docx里面做了设置说明,mysql密码默认存放在/alidata/account.log 首先登录: mysql -u root -h localhost -p use mysql                #打开mysql数据库 #将host设置为%表示任何ip都能连接mysql,当然您也可以将host指定为某个ip update user set host='%' where user='root' and host='localho

阿里云安装mysql后查看不到初始密码的解决办法

在阿里云安装mysql后用grep 'A temporary password' /var/log/mysqld.log命令查看MySQL初始密码,毛线都没有看到,然后直接到/var/log/mysqld.log查看mysqld.log文件发现文件是一片空白,一脸懵逼. 解决办法如下: 修改mysql的配置文件,使之可以跳过密码直接用root进入数据库 (1)首先找到mysql的配置文件my.cnf 一般在  /etc/my.cnf (2)cd进 /etc 直接 vim my.cnf 编辑他 (

宝塔 + 阿里云ECS + MySql + Navicat 远程连接数据库

宝塔 + 阿里云ECS + MySql + Navicat 远程连接 1. root登录: 2.  grant all privileges on *.* to [email protected]'%' identified by 'password'; -- password自行设置 3. flush privileges: 4. 阿里云 -> 安全组 放行3306端口: 5. 宝塔 -> 安全 放行3306商品 6. Navicat连接成功! 原文地址:https://www.cnblog

阿里云ECOS 集群方案

转载 https://it.toggle.cn/article_detail/7e6f674b2564d6c319f807b4fda87eac.html 架构说明 前端由阿里云SLB统一分发Web请求 独立的网店管理后台管理入口域名绑定单台低权重ECS服务器(其他ECS管理做入口屏蔽),同时此ECS承担 ECStore crontab定时任务.应用文件同步源 独立一台ECS服务器做Mongo(KV NOSQL).MEMCACHE服务,如果在后期出现压力可以协同其他ECS服务器组Mongo副本集.

阿里云服务器MySQL无法连接问题解决纪实

作者:fbysss QQ:溜酒酒吧酒吧吾散 blog:blog.csdn.net/fbysss 声明:本文由fbysss原创,转载请注明出处 背景: 在调试程序的时候,发现数据库访问相关的环节出现错误: 12:16:40,941  WARN ThreadPoolAsynchronousRunner:608 - com[email protected]1278b126 -- APPARENT DEADLOCK!!! Creating emergency threads for unassigned