为mysql寻找最佳备份方法和备份

一、为什么要备份?

灾难恢复

需求改变

测试

二、事先考虑的问题

可以容忍丢失多长时间的数据?

恢复要在多长时间内完成?

是否需要持续提供服务?

需要恢复什么,整个数据库服务器?单个数据库?一个或多个表?某个语句?

三、备份类型

根据是否需要数据库离线分为:

冷备:coldbackup,关闭mysql服务,或不允许读写请求

温备:warmbackup,备份的同时仅支持读请求

热备:hotbackup,备份的同时,业务功能不受影响,需要工具和数据库引擎支持

根据要备份的数据范围可分为:

完全备份:fullbackup,备份全部数据集,服务器、数据库等根据关注点觉定

增量备份:incrementalbackup,上次完全备份或增量备份以来改变了的数据;

差异备份:differentialbackup,上次完全备份以来改变了的数据

根据备份数据或是文件,可以分为:

物理备份:直接备份数据文件

逻辑备份:备份表中数据和库代码等

四、备份对象:

数据:

配置文件:经常备份/etc目录

代码:存储过程、存储函数、触发器等;

OS相关的配置文件:

二进制日志:

例一:使用SELECT INTO OUTFILE备份恢复单表


1

2

3


mysql> SELECT * FROM test1 INTO OUTFILE ‘/tmp/sql1.backup‘

mysql> DELETE FROM TABLE

myslq> LOAD DATA INFILE ‘/tmp/sql1.backup‘ INTO TABLE test1

例二:mysqldump的MySQL客户端工具使用

mysqldump可以备份整个服务器,单个或部分数据库,单个或部分表,表中某些行,存储过程,存储函   数,触发器

能自动记录备份时的二进制日志文件及相应position

-uusername -hhostname  -ppassword

-B, --databasesdbname 备份指定数据库

-x,--lock-all-tables 锁定所有表

-l,--lock-tables 锁定单张表

--master-data=[0|1|2] 0不启用,1启用,2记录正在访问的二进制日志并记录访问点

--single-transaction 基于此选项能实现InnoDB热备,不需要同时使用--lock-all-tables;

-A,--all-databases;备份整个服务器上的所有库


1

2

3

4

5

6


mysql> FLUSH TABLES WITH READ LOCK;请求关闭所有表

mysql> SHOW ENGINE INNODB STATUS; 查看INNODB状态,确保不再有写入

[[email protected] ~]# mysqldump -uroot -pmysql --databases TESTDB --lock-all-tables >         /tmp/backupdb.sql

mysql> DROP DATABESE TESTDB;

mysql> source /tmp/backupdb.sql

mysql> UNLOCK TABLES; 释放锁

注:恢复时注意当前所在库,如果原库不存在请新建并use.

myslqdump热备-->   完全备份 + 增量备份 + 二进制


1

2

3

4

5

6


# mysqldump -uroot -pmypass --single-transaction --master-data=2 --all-databases >

/backup/`date +%F`.sql     完全备份

# mysqlbinlog --start-position=4579 --stop-position=4868 mysql-bin.000021 >

/backup/`date +%F_%H`.sql   增量备份

# mysqlbinlog --start-position=4868 --stop-position=5062 mysql-bin.000021 >

/tmp/backup.sql   最近一次增量备份之后的数据从二进制文件导出

备份恢复需要mysql服务器离线,


1

2

3

4

5


mysql> SET sql_log_bin=0; 停止二进制日志

mysql> flush logs;  滚动日志

mysql> source /backup/filename.sql   完全备份文件恢复

mysql> source /backup/filename.sql   增量备份文件恢复

mysql> source /backup/filename.sql   二进制文件恢复

注:也可以使用mysql -uroot -pmypass < /backup/filename.sql 输入重定向恢复

例三:使用二进制日志操作


1

2

3

4

5


mysql> SHOW {BINARY| MASTER} LOGS; 查看二进制和主服务器日志

mysql> SHOW MASTER STATUS;查看当前正在使用的二进制日志及当前所处位置

mysql> SHOW BINLOG EVENTS IN ‘mysql-bin.000021‘ FROM 3321(指定查看位置); 查看日志内容

mysql> FLUSH LOGS; 滚动日志,可以理解为建立并使用新的二进制日志

mysql> PURGE BINARY LOGS TO ‘mysql-bin.000010‘;清除10以前的日志(不建议清除或备份后再清     除)

误操作恢复:


1

2

3


mysql> drop database test;

[[email protected] data]# mysqlbinlog mysql-bin.000021 查看二进制日志的操作位置

[[email protected] data]# mysqlbinlog --stop-position=3447 mysql-bin.000021 > /tmp/a.sql


1

2

3


mysql> source /tmp/a.sql;

mysql> SHOW DATABASES;

mysql> SHOW TABLE test;

注:在恢复的过程中如果继续有二进制日志写入,则需FLUSH LOGS之后再恢复。

 备份方式

  MySQL本身为我们提供了mysqldump、mysqlbinlog远程备份工具,percona也为我们提供了强大的Xtrabackup, 加上开源的mydumper,还有基于主从同步的延迟备份、从库冷备等方式,以及基于文件系统快照的备份,其实选择已经多到眼花缭乱。而备份本身是为了恢 复,所以能够让我们在出现故障后迅速、准确恢复的备份方式,就是最适合我们的,当然,同时能够省钱、省事,那就非常完美。下面就我理解的几种备份工具进行 一些比较,探讨下它们各自的适用场景。

 1. mysqldump& mydumper

  mysqldump是最简单的逻辑备份方式。在备份myisam表的时候,如果要得到一致的数据,就需要锁表,简单而粗暴。而在备份innodb表 的时候,加上–master-data=1–single-transaction 选项,在事务开始时刻,记录下binlog pos点,然后利用mvcc来获取一致的数据,由于是一个长事务,在写入和更新量很大的数据库上,将产生非常多的undo,显著影响性能,所以要慎用。

 2. 基于文件系的快照

  基于文件系统的快照,是物理备份的一种。在备份前需要进行一些复杂的设置,在备份开始时刻获得快照并记录下binlog pos点,然后采用类似copy-on-write的方式,把快照进行转储。转储快照本身会消耗一定的IO资源,而且在写入压力较大的实例上,保存被更改 数据块的前印象也会消耗IO,最终表现为整体性能的下降。而且服务器还要为copy-on-write快照预留较多的磁盘空间,这本身对资源也是一种浪 费。因此这种备份方式我们使用的不多。

 3.Xtrabackup

这或许是最为广泛的备份方式。percona之所以家喻户晓,Xtrabackup应该功不可没。它实际上是物理备份+逻辑备份的组合。在备份 innodb表的时候,它拷贝ibd文件,并一刻不停的监视redo log的变化,append到自己的事务日志文件。在拷贝ibd文件过程中,ibd文件本身可能被写”花”,这都不是问题,因为在拷贝完成后的第一个 prepare阶段,Xtrabackup采用类似于innodb崩溃恢复的方法,把数据文件恢复到与日志文件一致的状态,并把未提交的事务回滚。如果同 时需要备份myisam表以及innodb表结构等文件,那么就需要用flush tables with lock来获得全局锁,开始拷贝这些不再变化的文件,同时获得binlog位置,拷贝结束后释放锁,也停止对redo log的监视。

由于mysql中不可避免的含有myisam表,同时innobackup并不备份表结构等文件,因此想要完整的备份mysql实例,就少不了要执行 flush tables with read lock,而这个语句会被任何查询(包括select)阻塞,在阻塞过程中,它又反过来阻塞任何查询(包括select)。如果碰巧备份实例上有长查询先 于flush tables with read lock执行,数据库就会hang住。而当flush tables with read lock获得全局锁后,虽然查询可以执行,但是仍会阻塞更新,所以,我们希望flush tables withread lock从发起到结束,持续的时间越短越好。

了解决这个问题,有两种有效的方法

  1. 尽量不用myisam表。

  2. Xtrabackup增加了–rsync选项,通过两次rsync来减少持有全局锁的时间。

优点:在线热备,全备+增备+流备,支持限速,支持压缩,支持加密。

  缺点:需要获取全局锁,如果遇到长查询,等待时间将不可控,因此要做好监控,必要时杀死长查询或自杀;遇到超大的实例,备份过程较长,redo log太大会影响恢复速度,这种情况下最好采用延迟备份。

  4. mysqlbinlog 5.6

  上述所有的备份方式,都只能把数据库恢复到备份的某个时间点:mysqldump和mydumper,以及snapshot是备份开始的时间 点;Xtrabackup是备份结束的时间点。要想实现point in time的恢复,还必须备份binlog。同时binlog也是实现增备的宝贵资源。

  blackhole对于备份binlog是极好的。一方面可以长久的备份binlog用于恢复数据库,另一方面,在其上配置半同步复制,可以有效防止主库的binlog丢失。

备份策略一:直接拷贝数据库文件(不推荐)

备份策略二:使用mysqlhotcopy备份数据库(完全备份,适合小型数据库备份)

备份策略三:使用mysqldump备份数据库(完全+增量备份,适合中型数据库备份)

备份策略四:使用主从复制机制(replication)(实现数据库实时备份)

考?mysqldump做的备份,数据还原时,是否会产生二进制日志?

mysql> SET SESSION sql_log_bin=0;

mysql> SOURCE /path/from/somefile.sql;

mysql> SET SESSION sql_log_bin=1;

时间: 2024-10-29 11:09:23

为mysql寻找最佳备份方法和备份的相关文章

Oracle数据库的备份方法

1.引言 Oracle数据库的备份方法很多,无论使用那种备份方法,备份的目的都是为了在出现故障后能够以尽可能小的时间和代价恢复系统.比如使用export实用程序导出数据库对象.使用Oracle备份数据库.使用Oracle对称复制.使用Oracle并行服务器.使用Oracle冷备份.使用Oracle热备份等各种备份方法都有其优缺点.适用的场合和相应的软硬件要求.本文主要就用export实用程序导出数据库对象.Oracle冷备份.Oracle热备份这三种最基本的备份方法进行详细的探讨,分析各自的优缺

Linux Shell脚本之Atlassian confluence远程备份方法

注:Atlassian confluence是一个较专业的wiki程序,由java语言写成,其详细介绍可以Google it(一点美中不足,java占用内存还是比较大的). 该脚本的设计思路是根据Atlassian confluence官方提供的文档说明写的,主要是备份一些配置文件,上传的一些附件之类的其他文件以及数据库,其数据库支持多种数据库,这次我采用的是PostgreSQL数据库,你可以使用自己熟悉的数据库,如MySQL. 问题释疑: 1.为什么不使用rsync而是使用scp作为远程文件传

多备份 让网站备份比曹操还快

中国自古就有一句话,"有备无患",回到现在,网上热炒的一个词,"备胎",反映的都是做事要有准备,不要孤注一掷的哲学思想.同样的,对于站长和中小企 业来说,数据就是他们的生命线,对网站数据或者企业业务数据进行备份,就是"居安思危,有备无患",当然,除了备份之外,数据的快速恢复也十分重要,要多 块?起码要比曹操快. 多备份就是这样一家专门为站长.企业做数据云端备份.恢复.迁移.存储和归档的云平台应用提供商.备份的数据类型包括结构化数据(比如 MySQ

MySQL常用的三种备份方法

mysql按照备份恢复方式分为逻辑备份和物理备份.逻辑备份是备份sql语句,在恢复的时候执行备份的sql语句实现数据库数据的重现,物理备份就是备份数据文件了,比较形象点就是cp下数据文件,但真正备份的时候自然不是的cp这么简单.这2种备份各有优劣,一般来说,物理备份恢复速度比较快,占用空间比较大,逻辑备份速度比较慢,占用空间比较小下面介绍以下3种常用的备案方法一.mysqldump工具备份mysqldump由于是mysql自带的备份工具,所以也是最常用的mysql数据库的备份工具.支持基于Inn

Mysql导入导出大量数据的方法、备份恢复办法

经常使用PHP+Mysql的朋友一般都是通过phpmyadmin来管理数据库的.日常的一些调试开发工作,使用phpmyadmin确实很方便.但是当我们需要导出几百兆甚至几个G的数据库时,phpmyadmin就会很卡.甚至如果你是想导入大量数据,则phpmyadmin完全无法完成.因为phpmyadmin是基于PHP网页的,无法上传太大的sql文件.其实mysql官方给了我们很好的解决方案:mysqldump. 下面介绍,如何在Windows环境下,使用mysqldump导出数据库: 找到你mys

mysql数据库备份方法总结

今天有点时间,自己总结下mysql备份的几种方法以备查阅! 生产环境中数据无疑是一个公司的命脉,作为一个运维工程师无法保证企业数据的安全,那么是一个不合格的工程师.我们如何保证数据不丢失.或者丢失后快速恢复呢?下面介绍mysql数据库备份和恢复方法. MYSQL基础知识总结 1.为什么需要备份数据? 生成环境中我们的数据库可能会遭遇各种各样的不测导致数据丢失,大概有几种情况(硬件故障.软件故障.自然灾害.黑客攻击.误操作(占比最大))所以,为了在数据丢失后能恢复数据,我们就必须定期备份数据,备份

Mysql备份方法总结

对于Mysql的备份不同的DBA,有不同的喜好! 我先列举以下几种方法: 1.使用mysql自动的dump工具,搭配Shell然后crontab执行: 2.XtraBackup(这几年比较火吧) 介绍:http://www.percona.com/doc/percona-xtrabackup/intro.html 安装:http://www.percona.com/doc/percona-xtrabackup/installation/yum_repo.html 注意:同时支持innodb和My

mysql 直接从date 文件夹备份表,还原数据库之后提示 table doesn`t exist的原因和解决方法

补充:正常情况下,建议数据库备份最好用工具进行备份,通过拷贝数据库表进行数据迁移,不同的环境会出现各种不同的意外问题. 背景:今天在整理一个网站的时候,操作系统由于系统自动更新导致一直出现系统蓝屏死机,唉,悲剧了,于是重新安装了系统 windows server 2008 enterprise 32bit. 详情: 系统安装完成后,重新配置之前那个网站,appache服务配好之后,再配置数据的时候是这样做的,将原来Mysql 文件夹(C:\Windows.old\ProgramData\MySQ

最简便的MySql数据库备份方法

http://www.kankanews.com/ICkengine/archives/194.shtml 使用MYSQL进行数据库备份,又很正规的数据库备份方法,同其他的数据库服务器有相同的概念,但有没有想过,MySQL会有更简捷的使用文件目录的备份方法,而且又快又好. 一.数据备份捷径 因为这个方法没有得到官方正式文档的验证,我们暂称为试验吧. 目的:备份hostA主机中一个mysql数据库TestA,并恢复到到hostB机中 在hostA中安装mysql数据库并建立TestA数据库 hos