MySQL多线程备份恢复工具mydumper,myloder

mydumper是多线程备份工具,默认开启4个线程,比mysqldump的速度更快

mydumper备份时,数据和表结构是分开的,比如备份test表时,会生成test.sql文件和test.schema.sql文件。

myloader导数据的时候默认不会记录二进制日志,即使你的sql_log_bin=on.

准备安装介质:

下载mydumper-0.6.2.tar.gz

下载地址:https://launchpad.net/mydumper

安装依赖包:

# yum install glib2-devel mysql-devel zlib-devel pcre-devel

编译安装

# tar zxvf mydumper-0.6.2.tar.gz

# cd mydumper-0.6.2

# mkdir bin

# cd bin

# cmake ../

# make

# make install

安装好后可以看到/usr/local/bin目录下面多了mydumper和myloader两个命令

# ll /usr/local/bin/

total 188

-rwxr-xr-x 1 root root 132868 Aug  3 22:51 mydumper

-rwxr-xr-x 1 root root  47491 Aug  3 22:51 myloader

# ./mydumper  --database=test --outputdir=/data/backup/test

./mydumper: error while loading shared libraries: libmysqlclient.so.18: cannot open shared object file: No such file or directory

创建软链接即可解决这个报错:

# ln -s /usr/local/mysql/lib/libmysqlclient.so.18/usr/lib/

# ldconfig -v

导出:

# mydumper  --database=test --outputdir=/data/backup/test

导入:

#  myloader  -B test  -d /data/backup/test

利用备份建从库:

cd /data/backup/test

里面有一个metadata文件,这个文件记录的是当前的binlog文件及pos,可以使用这个信息搭建从库

mydumper参数介绍:

-B, --database              备份数据库

-T, --tables-list           备份表列表,多个表以“,”逗号分隔

-o, --outputdir             指定备份目录

-s, --statement-size        insert长度,单位是byte, default 1000000,这个参数不能太小,不然会报 Row bigger than statement_size for tools.t_serverinfo

-r, --rows                  分割表,多少行记录为一个chunk. 默认是off的

-F, --chunk-filesize        分割表,以多个文件备份,单位是MB

-c, --compress              压缩备份

-e, --build-empty-files     如果表没有数据,还是创建这个文件

-x, --regex                 正则匹配数据库、表,如db.table1

-i, --ignore-engines        忽略指定引擎的表

-m, --no-schemas            不备份表结构

-k, --no-locks              不加临时的share read lock,这个可能会造成数据不一致

--less-locking              innodb表时,最小时间lock

-l, --long-query-guard      设置最长查询时间,默认是60s

-K, --kill-long-queries     将长查询进行杀掉

-D, --daemon                开启守护进程模式

-I, --snapshot-interval     快照时间,默认是60s

-L, --logfile               日志文件,默认是标准输出

--tz-utc                    设置时区,只有备份应用到不同时区的时使用,默认是 --skip-tz-utc是关闭的.

--skip-tz-utc

--use-savepoints            Use savepoints to reduce metadata locking issues, needs SUPER privilege

--success-on-1146           Not increment error count and Warning instead of Critical in case of table doesn‘t exist

--lock-all-tables           Use LOCK TABLE for all, instead of FTWRL

-h, --host                  主机

-u, --user                  用户

-p, --password              密码

-P, --port                  端口

-S, --socket                socket文件

-t, --threads               并发线程数,默认是4

-C, --compress-protocol     Use compression on the MySQL connection

-V, --version               Show the program version and exit

-v, --verbose               Verbosity of output, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2

时间: 2024-12-29 11:49:22

MySQL多线程备份恢复工具mydumper,myloder的相关文章

MySQL多线程备份工具:mydumper

MySQL多线程备份工具:mydumper http://www.orczhou.com/index.php/2011/12/how-to-split-mysqldump-file/ Mydumper是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具.开发人员分别来自MySQL,Facebook,SkySQL公司.目前已经在有一些大型产品业务上测试并使用了Mydumper.分稳定版和开发版两种,目前最新稳定版是0.2.3和最新开发版是0.5.1.恢复时可使用myloader工具.

MySQL多线程备份工具mydumper

mydumper是一个针对MySQL和Drizzle的高性能多线程的备份和恢复工具.此工具的开发人员分别来自MySQL.Fackbook.SkySQL公司,目前已经有一些大型产品业务测试并使用了该工具.我们在恢复数据库时也可以使用myloader工具. Mydumper的主要特性包括: 一.采用了轻量级C语言写的代码. 二.相比于mysqldump,其速度快了近10倍(有待测试) 三.具有事务性和非事务性表一致的快照(应用于0.2.2+) 四.可以快速进行文件压缩(File compressio

MySQL逻辑备份利器-mydumper

关于mydumper的简介和下载请访问:https://launchpad.net/mydumper 简言之,mydumper是多线程逻辑备份,对于表和数据量很大的情况下,建议使用mydumper提高备份效率,比mysqldumper要快很多. 我为什么要用mydumper?是基于某个需求,比如我需要把某个库下的所有按日期分表的表备份并导入到新实例?如何实现? table_20170101 table_20170102 ...... table_20171231 一共三百多张表 开始我去尝试my

MySQL多线程逻辑备份工具之mydumper

下载安装 yum -y install cmake glib2 pcre pcre-devel mysql-devel wget https://launchpad.net/mydumper/0.6/0.6.2/+download/mydumper-0.6.2.tar.gz tar xf  mydumper-0.6.2.tar.gz cd mydumper-0.6.2 cmake . make && make install 注释:如果只要帮助可以这样编译make doc_html 安装之

9、mydumper和myloader多线程备份恢复

<--目录--> 1)mydumper介绍 2)mydumper特性 3)mydumper参数 4)mydumper安装方法 5) mydumper效率测试 6)mydumper导出实战 7)mydumper导出的文件介绍 8)myloader参数 9)myloader导入实战 [mydumper介绍] mydumper是一个针对 MySQL 和 Drizzle 的高性能多线程备份和恢复工具.此工具的开发人员分别来自  MySQL.Facebook.SkySQL公司,目前已经有一些大型产品业务

MySQL备份恢复工具mysqldump

简要说一下MySQL的备份类型: 热备份:读.写不受影响 温备份:仅可以执行读操作 冷备份:离线备份,读.写操作都中止 物理备份:直接复制数据文件 逻辑备份:将数据导出至文本文件中 完全备份:备份全部数据 增量备份:仅备份上次完全备份或增量备份以后变化的数据 差异备份:仅备份上次完全备份以来变化的数据 MySQL的备份工具: mysqldump:逻辑备份工具,适用于小规模数据库,MyISAM(温备),InnoDB(热备) mysqlhotcopy:物理备份工具,温备份 cp:直接复制,冷备 lv

MySQL备份恢复工具xtrabackup

1.简介 XtraBackup是Percona提供的一个开源的.免费的MySQL数据库备份工具,它能够对InnoDB和XtraDB数据库进行热备份,据官方介绍,XtraBackup具有以下特点: 1. 备份过程快速.可靠: 2. 备份过程不会打断正在执行的事务: 3. 能够基于压缩等功能节约磁盘空间和流量: 4. 自动实现备份检验: 5. 恢复速度快. 2.安装XtraBackup 最新版本可以从https://www.percona.com/software/percona-xtrabacku

mysql之备份恢复

一.为什么要备份? 灾难恢复 需求改变 测试 二.事先考虑的问题 可以容忍丢失多长时间的数据? 恢复要在多长时间内完成? 是否需要持续提供服务? 需要恢复什么,整个数据库服务器?单个数据库?一个或多个表?某个语句? 三.备份类型 根据是否需要数据库离线分为: 冷备:cold backup,关闭mysql服务,或不允许读写请求 温备:warm backup,备份的同时仅支持读请求 热备:hot backup,备份的同时,业务功能不受影响,需要工具和数据库引擎支持 根据要备份的数据范围可分为: 完全

MySQL 逻辑备份神器

简介: Mydumper.Myloader 是一个第三方的.开源的 MySQL 逻辑备份工具. 支持多线程,比起 mysqldump 要快很多,也能解决 innobackupex 备份工具对 MyISAM 引擎备份的不便. 多线程快速逻辑备份,支持快照功能. 下载地址:https://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gz 一.安装 Mydumper shell > yum -y install gcc g