select … into outfile 备份恢复(load data)以及mysqldump时间对比

select … into outfile ‘path‘ 备份

此种方式恢复速度非常快,比insert的插入速度要快的多,他跟有备份功能丰富的mysqldump不同的是,他只能备份表中的数据,并不能包含表的结构。如果备份完成之后,表被drop,是无法实现恢复操作的(除非有表结构)。

mysql> select * from t1 into outfile ‘/mydata/mysql/mysql3307/data/t1.sql‘;

ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this statement

mysql> show variables like ‘%secure%‘;

+--------------------------+-------+

| Variable_name            | Value |

+--------------------------+-------+

| require_secure_transport | OFF   |

| secure_auth              | ON    |

| secure_file_priv         | NULL  |

+--------------------------+-------+

3 rows in set (0.00 sec)

mysql> set secure_file_priv=‘/tmp‘;

ERROR 1238 (HY000): Variable ‘secure_file_priv‘ is a read only variable

mysql> set session secure_file_priv==‘/tmp‘;

ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ‘==‘/tmp‘‘ at line 1

mysql>

关闭MYSQL数据库,设置secure_file_priv 目录。

[[email protected] ~]# mysqladmin -S /tmp/mysql3307.sock -uroot -pmysql shutdown

mysqladmin: [Warning] Using a password on the command line interface can be insecure.

[[email protected] ~]#

[[email protected] ~]#

[[email protected] ~]# ps -ef |grep mysql

root      3506  2071  0 01:24 pts/1    00:00:00 grep mysql

[[email protected] ~]#

vi /etc/my3307.cnf

[mysqld]里面加入

secure_file_priv=/tmp

启动后查看

mysql> show global variables like ‘%secu%‘;

+--------------------------+-------+

| Variable_name            | Value |

+--------------------------+-------+

| require_secure_transport | OFF   |

| secure_auth              | ON    |

| secure_file_priv         | /tmp/ |

+--------------------------+-------+

3 rows in set (0.01 sec)

select * from t1 into outfile ‘/tmp/t1_onlydata.sql‘;

mysql> select * from t1 into outfile ‘/tmp/t1_onlydata.sql‘;

Query OK, 972864 rows affected (1.12 sec)

mysql> desc t1;

+-------+--------+------+-----+---------+-------+

| Field | Type   | Null | Key | Default | Extra |

+-------+--------+------+-----+---------+-------+

| id    | int(4) | YES  | MUL | NULL    |       |

+-------+--------+------+-----+---------+-------+

1 row in set (0.00 sec)

全是文本文件数据。

select … into outfile ‘path‘ 恢复

清除t1表数据,并进行恢复

mysql> truncate table t1;

Query OK, 0 rows affected (0.04 sec)

mysql> desc t1;

+-------+--------+------+-----+---------+-------+

| Field | Type   | Null | Key | Default | Extra |

+-------+--------+------+-----+---------+-------+

| id    | int(4) | YES  | MUL | NULL    |       |

+-------+--------+------+-----+---------+-------+

1 row in set (0.00 sec)

LOAD DATA恢复数据(只能恢复数据)

语法:

LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE ‘file_name‘

[REPLACE | IGNORE]

INTO TABLE tbl_name

[PARTITION (partition_name [, partition_name] ...)]

[CHARACTER SET charset_name]

[{FIELDS | COLUMNS}

[TERMINATED BY ‘string‘]

[[OPTIONALLY] ENCLOSED BY ‘char‘]

[ESCAPED BY ‘char‘]

]

[LINES

[STARTING BY ‘string‘]

[TERMINATED BY ‘string‘]

]

[IGNORE number {LINES | ROWS}]

[(col_name_or_user_var

[, col_name_or_user_var] ...)]

[SET col_name={expr | DEFAULT},

[, col_name={expr | DEFAULT}] ...]

load data INFILE ‘/tmp/t1_onlydata.sql‘  INTO TABLE test.t1;

查看表数据:

恢复成功。

load data 与insert的插入速度对比

于是,我猜想可以用mysqldump进行表结构的备份,用select …into outfile 备份数据,load data 恢复数据,测试两者速度。

创建一张表。

delimiter //

create procedure per2()

begin

declare i int;

set i=1;

while i <= 1000000 do

insert into test.L values(i,‘aaaaa‘);

set i=i+1;

end while;

end

//

执行存储过程:

call per2();

//

查看数据(实际我只插入仅14万行数据)

mysqldump备份元数据文件

mysqldump -S /tmp/mysql3307.sock -uroot -pmysql --single-transaction --set-gtid-purged=OFF test L -d > /tmp/L_meta.sql

select … into outfile ‘path‘ 备份

select * from test.L into outfile ‘/tmp/20180525test_Ldata.sql‘

mysqldump备份整个表

mysqldump -S /tmp/mysql3307.sock -uroot -pmysql --single-transaction --set-gtid-purged=OFF test L  > /tmp/L_table.sql

恢复时间对比

1、MYSQLdump先恢复表结构(或者直接建表)

先删除,恢复表结构。

恢复表结构:

这核时间很快,就是建一张表的时间,不计算进去对整体时间没有影响。

例如我建表:

建表时间0.03s。

2、load data恢复时间

load data INFILE ‘/tmp/20180525test_Ldata.sql‘ INTO TABLE test.L;

时间是1.59s。

3、MYSQLDUMP这种插入方式恢复

time mysql -S /tmp/mysql3307.sock -uroot -pmysql test < /tmp/L_table.sql

将近2s MYSQLDUMP恢复时间。

总结

元数据恢复+LOAD DATA时间一共

T1=0.03+1.59=1.62s

MYSQLDUMP恢复一共花了

T2=1.99s

对于14万数据,load data比mysqldump快了近1/4,对于大数据量,应该快更多,在允许的情况下,可以利用元数据(或者表结构),配合LOAD DATA恢复单表。

原文地址:https://www.cnblogs.com/hmwh/p/9090090.html

时间: 2024-12-24 06:13:33

select … into outfile 备份恢复(load data)以及mysqldump时间对比的相关文章

mysql load data infile的使用 和 SELECT into outfile备份数据库数据

LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name.txt' [REPLACE | IGNORE] INTO TABLE tbl_name [FIELDS [TERMINATED BY 'string'] [[OPTIONALLY] ENCLOSED BY 'char'] [ESCAPED BY 'char' ] ] [LINES [STARTING BY 'string'] [TERMINATED BY 'string

07 : mysql备份恢复(1) - mysqldump命令使用

注意: mysql不同引擎备份方法不同.我们先来回忆一下和备份有关的知识点. 1.存储引擎(1)InnoDB(默认使用引擎,也是企业常用的) 热备 独立表空间(每个表一个表空间) redo:重做日志,用来前滚 undo:回滚日志,用来回滚(未提交的事务) 行级别锁,基于索引来实现的,GAP锁 支持事务.(2)MyISAM 温备 三个文件构成 表级锁 2.二进制日志(1)记录的是什么? DDL.DCL这些种类语句,记录的就是操作语句 DML:他记录的已提交的事务日志,并支持多种格式记录(row.s

MySQL备份恢复基础知识及MySQLdump讲解

数据库备份恢复知识要点: 时间轴备份类型分类: 完全备份:备份整个数据集 增量备份:上一次完全备份,或上一次增量备份以后变化的数据的备份(还原麻烦,节省空间) 差异备份:仅备份最近一次完全备份以来变化的数据(还原简单,空间消耗大) 什么是物理备份.逻辑备份: 物理备份:直接复制数据文件进行备份(有可能占用更多的空间,备份速度快,做热备较难) 逻辑备份:从数据库中导出数据"另存为"而进行的备份(从二进制转化为文本格式,有可能丢失精度,需要专门的协议客户端才能进行,和数据存储引擎无关.备份

mysql之备份恢复

一.为什么要备份? 灾难恢复 需求改变 测试 二.事先考虑的问题 可以容忍丢失多长时间的数据? 恢复要在多长时间内完成? 是否需要持续提供服务? 需要恢复什么,整个数据库服务器?单个数据库?一个或多个表?某个语句? 三.备份类型 根据是否需要数据库离线分为: 冷备:cold backup,关闭mysql服务,或不允许读写请求 温备:warm backup,备份的同时仅支持读请求 热备:hot backup,备份的同时,业务功能不受影响,需要工具和数据库引擎支持 根据要备份的数据范围可分为: 完全

Mybatis拦截器 mysql load data local 内存流处理

Mybatis 拦截器不做解释了,用过的基本都知道,这里用load data local主要是应对大批量数据的处理,提高性能,也支持事务回滚,且不影响其他的DML操作,当然这个操作不要涉及到当前所load的数据,其中在使用的时候一定要local , 这个命令使用是mysql规定的,否则不加则会认为是服务器本地的文件.这里主要是以流的方式来做处理,这样可以使用内存流,这样就可以避免在某些时候需要生成文件才能导入的多余操作,和IO性能消耗.也可以是应用本地的文件. 注:该做法只试用于存入数据的表,不

mysql用户管理、常用语句、数据分备份恢复

mysql用户管理 创建用户并授权 指定登录ip 使用root用户登录录创建授权新用户:mysql> grant all on . to 'user1'@'127.0.0.1' identified by '123456':// all 所有操作(增删查改)// 第一个 通配所有库名,第二个通配所有表名// user1 为用户名// 127.0.0.1 指定登录ip,可用通配符%表示所有ip.// '123456' 为user1用户的登录密码Query OK, 0 rows affected (

逻辑备份,mysqldump,SELECT…INTO OUTFILE,恢复

逻辑备份 mysqldump mysqldump备份工具最初由Igor Romanenko编写完成,通常用来完成转存(dump)数据库的备份以及不同数据库之间的移植,例如从低版本的MySQL数据库升级到高版本的MySQL数据库,或者从MySQL数据库移植到Oracle和SQL Server等数据库等. mysqldump的语法如下: mysqldump [arguments] > file_name 如果想要备份所有的数据库,可以使用--all-databaes选项: mysqldump --a

mysqldump、into outfile和load data进行数据库导入导出备份差别

遇到了大批量导入导出数据的时候真的比较麻烦,动则几G的数据,操作起来也是比较慢的,而且如果稍有不慎,还要重写处理,最简单的方法也是效率最低的方法就是使用PHP写导入导出数据程序,用Shell来跑PHP,可是大家一直忽略了mysqldump 和mysql的into outfile 与load data ,如果这几个命令使用灵活了,对于数据库导入导出以及备份是很方便的. 使用mysqldump 和 source导入导出备份数据 如果要导出整个数据库或者某一个数据库的一个表,并且保持数据库中表的名字不

快速的mysql导入导出数据(load data和outfile)

1.load data: ***实际应用:把日志生成的xls文件load到MySQL中: mysql_cmd = "iconv -c -f utf-8 -t gbk ./data/al_ver_" + yesterday_time + ".xls -o ./data/GBK_al_ver_" + yesterday_time + ".xls " print(mysql_cmd) os.system(mysql_cmd) mysql_cmd = &