mysqldump原理及实验

**********************mysqldump 所需权限*************************************

dump tables:SELECT

dump views:SHOW VIEW

dump triggers:TRIGGER

LOCK TABLES(如果不使用--single-transaction)

RELOAD,SUPER, REPLICATION CLIENT (--master-data=2)

数据库字符集更改:ALTER DATABASE

**********************mysqldump 适用场景************************************

全量表结构、存储过程、触发器等备份

单表(小表)备份

**********************mysqldump 缺点****************************************

逻辑备份,导出比较慢

单线程备份,5.7有mysqlpump以及开源版的mydumper可进行并行和压缩备份恢复

使用--single-transaction可实现在线备份,但是碰到操作时间过长的事物可能会使数据库出问题

5.6以下版本使用可能会使buffer pool热数据刷出,5.6及以上版本可通过innodb_old_blocks_time来控制热数据的进出

**********************mysqldump 常用语句****************************************

只导出表结构:

mysqldump -d --trigger=false

只导出存储过程:

mysqldump -f -Rtdn --trigger=false

只导出触发器:

mysqldump -f -tdn --trigger

只导出事件:

mysqldump -f -Etdn --triggers=False

只导出数据:

mysqldump -f --single-transaction --triggers=false -t

导出表中某些行:

mysqldump dbname --where="1=1 limit 1000"

在线建从库:

mysqldump --master-data=2 --single-transaction -A

**********************mysqldump 后台工作细节**************************************

查看general log是否打开:

mysql> set global general_log = on;

Query OK, 0 rows affected (0.01 sec)

mysql> show variables like ‘%general%‘;

+------------------+-----------------------------------------------------+

| Variable_name    | Value                                               |

+------------------+-----------------------------------------------------+

| general_log      | ON                                                  |

| general_log_file | /app/data/mysql/3336/data/BJ-ECS-XHM-TEST-YL-19.log |

+------------------+-----------------------------------------------------+

2 rows in set (0.02 sec)

创建数据库及测试数据:

create database gaoquan;

create table t1(id int not null primary key auto_increment,name varchar(10) not null,age int not null);

insert into t1(name,age) values(‘name1‘,10),(‘name2‘,10),(‘name3‘,10),(‘name4‘,10),(‘name5‘,10),(‘name6‘,10),(‘name7‘,10),(‘name8‘,10),(‘name9‘,10);

create table t2(id int not null primary key auto_increment,name varchar(10) not null,age int not null);

insert into t2(name,age) values(‘name1‘,10),(‘name2‘,10),(‘name3‘,10),(‘name4‘,10),(‘name5‘,10),(‘name6‘,10),(‘name7‘,10),(‘name8‘,10),(‘name9‘,10);

创建mysqldump备份用户:

grant select,show view,trigger,lock tables on *.* to [email protected]‘%‘ identified by ‘backup007‘;

不开启--single-transaction执行备份:

/usr/local/mysql/bin/mysqldump -u backup -p gaoquan -h 10.50.12.33 -P 3336

general log 输出:

160105 11:29:55  296 [email protected] on

296 Query/*!40100 SET @@SQL_MODE=‘‘ */

296 Query/*!40103 SET TIME_ZONE=‘+00:00‘ */

296 QuerySHOW VARIABLES LIKE ‘gtid\_mode‘

296 QuerySELECT LOGFILE_GROUP_NAME, FILE_NAME, TOTAL_EXTENTS, INITIAL_SIZE, ENGINE, EXTRA FROM INFORMATION_SCHEMA.FILES WHERE FILE_TYPE = ‘UNDO LOG‘ AND FILE_NAME IS NOT NULL AND LOGFILE_GROUP_NAME IN (SELECT DISTINCT LOGFILE_GROUP_NAME FROM INFORMATION_SCHEMA.FILES WHERE FILE_TYPE = ‘DATAFILE‘ AND TABLESPACE_NAME IN (SELECT DISTINCT TABLESPACE_NAME FROM INFORMATION_SCHEMA.PARTITIONS WHERE TABLE_SCHEMA IN (‘gaoquan‘))) GROUP BY LOGFILE_GROUP_NAME, FILE_NAME, ENGINE ORDER BY LOGFILE_GROUP_NAME

296 QuerySELECT DISTINCT TABLESPACE_NAME, FILE_NAME, LOGFILE_GROUP_NAME, EXTENT_SIZE, INITIAL_SIZE, ENGINE FROM INFORMATION_SCHEMA.FILES WHERE FILE_TYPE = ‘DATAFILE‘ AND TABLESPACE_NAME IN (SELECT DISTINCT TABLESPACE_NAME FROM INFORMATION_SCHEMA.PARTITIONS WHERE TABLE_SCHEMA IN (‘gaoquan‘)) ORDER BY TABLESPACE_NAME, LOGFILE_GROUP_NAME

296 QuerySHOW VARIABLES LIKE ‘ndbinfo\_version‘

296 Init DBgaoquan

296 Queryshow tables

296 QueryLOCK TABLES `t1` READ /*!32311 LOCAL */,`t2` READ /*!32311 LOCAL */

296 Queryshow table status like ‘t1‘

296 QuerySET SQL_QUOTE_SHOW_CREATE=1

296 QuerySET SESSION character_set_results = ‘binary‘

296 Queryshow create table `t1`

296 QuerySET SESSION character_set_results = ‘utf8‘

296 Queryshow fields from `t1`

296 QuerySELECT /*!40001 SQL_NO_CACHE */ * FROM `t1`

296 QuerySET SESSION character_set_results = ‘binary‘

296 Queryuse `gaoquan`

296 Queryselect @@collation_database

296 QuerySHOW TRIGGERS LIKE ‘t1‘

296 QuerySET SESSION character_set_results = ‘utf8‘

296 Queryshow table status like ‘t2‘

296 QuerySET SQL_QUOTE_SHOW_CREATE=1

296 QuerySET SESSION character_set_results = ‘binary‘

296 Queryshow create table `t2`

296 QuerySET SESSION character_set_results = ‘utf8‘

296 Queryshow fields from `t2`

296 QuerySELECT /*!40001 SQL_NO_CACHE */ * FROM `t2`

296 QuerySET SESSION character_set_results = ‘binary‘

296 Queryuse `gaoquan`

296 Queryselect @@collation_database

296 QuerySHOW TRIGGERS LIKE ‘t2‘

296 QuerySET SESSION character_set_results = ‘utf8‘

296 QueryUNLOCK TABLES

296 Quit

原理:

加全局读锁(防止备份数据不一致)->当前字符集会做一些处理,防止乱码->获取建表信息生成建表语句->获取行记录从而转换成insert插入语句->释放读锁

开启--single-transaction备份:

/usr/local/mysql/bin/mysqldump -u backup -p gaoquan -h 10.50.12.33 -P 3336  --single-transaction

160105 11:33:41  298 [email protected] on

298 Query/*!40100 SET @@SQL_MODE=‘‘ */

298 Query/*!40103 SET TIME_ZONE=‘+00:00‘ */

298 QuerySET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ

298 QuerySTART TRANSACTION /*!40100 WITH CONSISTENT SNAPSHOT */

298 QuerySHOW VARIABLES LIKE ‘gtid\_mode‘

298 QueryUNLOCK TABLES

298 QuerySELECT LOGFILE_GROUP_NAME, FILE_NAME, TOTAL_EXTENTS, INITIAL_SIZE, ENGINE, EXTRA FROM INFORMATION_SCHEMA.FILES WHERE FILE_TYPE = ‘UNDO LOG‘ AND FILE_NAME IS NOT NULL AND LOGFILE_GROUP_NAME IN (SELECT DISTINCT LOGFILE_GROUP_NAME FROM INFORMATION_SCHEMA.FILES WHERE FILE_TYPE = ‘DATAFILE‘ AND TABLESPACE_NAME IN (SELECT DISTINCT TABLESPACE_NAME FROM INFORMATION_SCHEMA.PARTITIONS WHERE TABLE_SCHEMA IN (‘gaoquan‘))) GROUP BY LOGFILE_GROUP_NAME, FILE_NAME, ENGINE ORDER BY LOGFILE_GROUP_NAME

298 QuerySELECT DISTINCT TABLESPACE_NAME, FILE_NAME, LOGFILE_GROUP_NAME, EXTENT_SIZE, INITIAL_SIZE, ENGINE FROM INFORMATION_SCHEMA.FILES WHERE FILE_TYPE = ‘DATAFILE‘ AND TABLESPACE_NAME IN (SELECT DISTINCT TABLESPACE_NAME FROM INFORMATION_SCHEMA.PARTITIONS WHERE TABLE_SCHEMA IN (‘gaoquan‘)) ORDER BY TABLESPACE_NAME, LOGFILE_GROUP_NAME

298 QuerySHOW VARIABLES LIKE ‘ndbinfo\_version‘

298 Init DBgaoquan

298 QuerySAVEPOINT sp

298 Queryshow tables

298 Queryshow table status like ‘t1‘

298 QuerySET SQL_QUOTE_SHOW_CREATE=1

298 QuerySET SESSION character_set_results = ‘binary‘

298 Queryshow create table `t1`

298 QuerySET SESSION character_set_results = ‘utf8‘

298 Queryshow fields from `t1`

298 QuerySELECT /*!40001 SQL_NO_CACHE */ * FROM `t1`

298 QuerySET SESSION character_set_results = ‘binary‘

298 Queryuse `gaoquan`

298 Queryselect @@collation_database

298 QuerySHOW TRIGGERS LIKE ‘t1‘

298 QuerySET SESSION character_set_results = ‘utf8‘

298 QueryROLLBACK TO SAVEPOINT sp

298 Queryshow table status like ‘t2‘

298 QuerySET SQL_QUOTE_SHOW_CREATE=1

298 QuerySET SESSION character_set_results = ‘binary‘

298 Queryshow create table `t2`

298 QuerySET SESSION character_set_results = ‘utf8‘

298 Queryshow fields from `t2`

298 QuerySELECT /*!40001 SQL_NO_CACHE */ * FROM `t2`

298 QuerySET SESSION character_set_results = ‘binary‘

298 Queryuse `gaoquan`

298 Queryselect @@collation_database

298 QuerySHOW TRIGGERS LIKE ‘t2‘

298 QuerySET SESSION character_set_results = ‘utf8‘

298 QueryROLLBACK TO SAVEPOINT sp

298 QueryRELEASE SAVEPOINT sp

298 Quit

原理:

更改当前会话隔离级别为rr->开始事物->释放表锁->导出建表语句->设置一个savepoint->导出表数据->回滚到savepoint sp->对其他表重复该过程->最后释放savepoint

整个过程,没有任何锁。RR隔离级别保证在事务中只读取本事务之前的一致性的数据 。 rollback to savepoint sp; 保证了对数据库中的数据没有影响。

时间: 2024-10-27 18:54:05

mysqldump原理及实验的相关文章

CRISPR/Cas9基因敲除原理及实验建议

CRISPR/Cas9基因敲除原理及实验建议 CRISPR Cas9已经成为了最受欢迎的基因编辑技术之一,在2016年的国自然基金中也有很多项目是关于 CRISPR Cas9的.目前在市场上已经有很多Cas9的基因敲除试剂盒,这些试剂盒的操作流程较为简单,客户可让公司直接帮忙设计gRNA,乃至最后的载体验证全包.公司会根据您的要求收取不同的费用,如果只是合成载体,不验证,那么会便宜些.如果要合成载体同时又验证,那么价格又会贵一些.下面是对Cas9基因敲除试剂盒的一个详细说明,我们可以从中了解Ca

访问控制列表原理加实验

访问控制列表原理加实验标准访问控制列表:基于源IP地址过滤数据包:标准访问控制列表的访问控制列表号是1-99: 实验内容:设置访问控制列表,允许192.168.10.10访问,不允许192.168.10.11访问.结果: 扩展访问控制列表:基于源IP地址,目的IP地址,指定协议端口和标志来过滤数据包:扩展访问控制列表的访问列表号是100-199.实验内容:让PC机可以访问server所搭建的网站,但不能ping通server. 首先先让两者ping通,并能访问网页 这里要将网关填写上 设置扩展访

编译原理的实验报告一

实验一 词法分析程序实验 专业 商软2班   姓名 黄仲浩  学号 201506110166 一. 实验目的      编制一个词法分析程序. 二. 实验内容和要求 输入:源程序字符串 输出:二元组(种别,单词符号本身). 三. 实验方法.步骤及结果测试 源程序名:bianyiyuanli.c 可执行程序名:bianyiyuanli.exe 原理分析及流程图 通过一些for循环和while循环进行一个个的翻译. 源程序如下: #include<stdio.h> #include<stri

mysqldump原理2

本文主要探讨 mysqldump 的几种主要工作方式,并且比较一下和 mk-parralel-dump的一些差异,为备份方式的选择提供更多的帮助. 首先来看下 mysqldump 的几个主要参数的实际工作方式. mysqldump 几个主要选项1. -q很简单,什么都不做,只是导出时加了一个SQL_NO_CACHE 来确保不会读取缓存里的数据. 081022 17:39:33 7 Connect [email protected] on 7 Query /*!40100 SET @@SQL_MO

mysqldump原理3

现网中数据库运维时,要经常对数据库做热备.为保证恢复时数据的完整性与一致性, 一种方法是在备份之前锁表,但锁表会影响正在运行的业务. mysqldump是当前MySQL中最常用的备份工具,通过mysqldump --help可以查看很多选项. 在mysqldump开始备份后,执行其它的更新数据库操作,mysqldump备份的结果会不会包含备份结束前对数据库的更改呢?在一个时间点备份,最理想的结果是备份的结果就是备份开始时的数据库快照.通过选择合适的选项做备份,mysqldump可以保证数据一致性

AD RMS高可用(一)rms工作原理及实验环境

Active Directory 权限管理服务 (AD RMS) 是一种信息保护技术,它与支持 AD RMS 的应用程序协同工作,以防止在未经授权的情况下使用数字信息(无论是联机和脱机,还是在防火墙内外).AD RMS 适用于需要保护敏感信息和专有信息(例如财务报表.产品说明.客户数据和机密电子邮件消息)的组织.AD RMS 通过永久使用策略(也称为使用权限和条件)提供对信息的保护,从而增强组织的安全策略,无论信息移到何处,永久使用策略都保持与信息在一起.AD RMS 永久保护任何二进制格式的数

编译原理--词法分析--实验报告(此文章在管理-发表文章 里也有)

实验一.词法分析实验 专业:信息技术与工程学院   姓名:吕军  学号:201506110159    一.        实验目的   目的:主要是为了编辑一个词法分析程序.了解计算机的识别源程序字符串的过程. 二.        实验内容和要求   实验内容:通过了解 各种单词符号对应的种别码表,编写一个简单的词法分析程序,通过计算机识别字符串,反映其中的单词符号和所对应的种别码. 实验要求:用户输入源程序字符串,输出:二元组(种别,单词本身) 三.        实验方法.步骤及结果测试

静态路由原理及实验

静态路由的架构 路由的概述 路由:从原主机到目标主机的转发过程 路由的工作极其原理 根据路由表转发数据:1.主机1.1要发送数据到4.12.路由器A收到数据,查看数据包的目标地址为4.1,查找路由表--路由器A根据路由表转发到S0口3.路由器B接到数据包,查看数据包的目标地址,并继续查找路由表--根据路由器B路由转发数据到E0口4.主机4.1接收到数据包 路由表的形成 路由表:路由器中维护的路由条目的集合路由器根据路由表做路径选择 路由表的形成:直连网段--配置IP地址,端口为UP状态,形成的直

静态路由原理与实验

一.静态路由的原理 1.路由结构 2.路由概述 从源主机到目标主机的转发过程 3.路由器的工作原理 根据路由表转发数据 4. 路由表的形成 路由表: 1.路由器中维护的路由条目的集合 2.路由器根据原表做路径选择 路由表的形成: 1.直连网段: 配置IP地址,端口up状态,形成直连路由 2.非直连网段: 对于非直连的网段,需要静态路由或动态路由,将网段添加到路由表中 5.静态路由 1.由管理员手工配置的,是单向的 2.却灵活性 注:静态路由的配置缺什么加什么 6.默认路由 1.当路由器在路由表中