mydumper安装和使用

安装
下载安装包:
wget    https://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gz

安装依赖包:
yum install glib2-devel mysql-devel zlib-devel pcre-devel openssl-devel cmake

## mydumper是C语句开发,编译依赖gcc和gcc-c++,如果编译出现C语言相关报错可yum install  gcc gcc-c++
## mydumper-0.9.1依赖5.7的mysql-devel,所以必须安装5.7的mysql-devel

tar zxvf mydumper-0.9.1.tar.gz
cd mydumper-0.9.1
cmake .
make
make install

安装完成后生成两个二进制文件mydumper和myloader位于/usr/local/bin目录下
查看是否正常:
mydumper --help

流程
mydumper主要流程概括:

1、主线程 FLUSH TABLES WITH READ LOCK, 施加全局只读锁,以阻止DML语句写入,保证数据的一致性
2、读取当前时间点的二进制日志文件名和日志写入的位置并记录在metadata文件中,以供即使点恢复使用
3、N个(线程数可以指定,默认是4)dump线程 START TRANSACTION WITH CONSISTENT SNAPSHOT; 开启读一致的事务
4、dump non-InnoDB tables, 首先导出非事务引擎的表
5、主线程 UNLOCK TABLES 非 事务引擎备份完后,释放全局只读锁
6、dump InnoDB tables, 基于 事务导出InnoDB表
7、事务结束

mydumper使用--less-locking可以减少锁等待时间,此时mydumper的执行机制大致为

1、主线程 FLUSH TABLES WITH READ LOCK (全局锁)
2、Dump线程 START TRANSACTION WITH CONSISTENT SNAPSHOT;
3、LL Dump线程 LOCK TABLES non-InnoDB (线程内部锁)
4、主线程UNLOCK TABLES
5、LL Dump线程 dump non-InnoDB tables
6、LL DUmp线程 UNLOCK non-InnoDB
7、Dump线程 dump InnoDB tables

参数

mydumper参数详解
Application Options:
  -B, --database              Database to dump   #指定数据库
  -T, --tables-list           Comma delimited table list to dump (does not exclude regex option) #指定表
  -o, --outputdir             Directory to output files to #指定备份路径
  -s, --statement-size        Attempted size of INSERT statement in bytes, default 1000000 #生成的insert语句的字节数,默认1000000
  -r, --rows                  Try to split tables into chunks of this many rows. This option turns off --chunk-filesize #指定行切割表,使用时关闭--chunk-filesize
  -F, --chunk-filesize        Split tables into chunks of this output file size. This value is in MB #指定备份文件切割大小
  -c, --compress              Compress output files #是否压缩表
  -e, --build-empty-files     Build dump files even if no data available from table #如果表数据是空,还是产生一个空文件(默认无数据则只有表结构文件)
  -x, --regex                 Regular expression for ‘db.table‘ matching #使用正则表达式匹配‘db.table‘
  -i, --ignore-engines        Comma delimited list of storage engines to ignore #忽略的存储引擎
  -m, --no-schemas            Do not dump table schemas with the data #不备份表结构,只备份数据
  -d, --no-data               Do not dump table data #备份表结构,不备份数据
  -G, --triggers              Dump triggers #备份触发器
  -E, --events                Dump events #备份定时任务
  -R, --routines              Dump stored procedures and functions #备份存储过程和函数
  -k, --no-locks              Do not execute the temporary shared read lock.  WARNING: This will cause inconsistent backups #不使用临时共享只读锁,使用这个选项会造成数据不一致
  --less-locking              Minimize locking time on InnoDB tables. #减少对InnoDB表的锁施加时间
  -l, --long-query-guard      Set long query timer in seconds, default 60 #设定阻塞备份的长查询超时时间,单位是秒,默认是60秒(超时后默认mydumper将会退出)
  -K, --kill-long-queries     Kill long running queries (instead of aborting) #杀掉长查询 (不退出)
  -D, --daemon                Enable daemon mode #启用守护进程模式,守护进程模式以某个间隔不间断对数据库进行备
  -I, --snapshot-interval     Interval between each dump snapshot (in minutes), requires --daemon, default 60 #dump快照间隔时间,默认60s,需要在daemon模式下
  -L, --logfile               Log file name to use, by default stdout is used #使用的日志文件名(mydumper所产生的日志), 默认使用标准输出
  --tz-utc                    SET TIME_ZONE=‘+00:00‘ at top of dump to allow dumping of TIMESTAMP data when a server has data in different time zones or data is being moved between servers with different time zones, defaults to on use --skip-tz-utc to disable.
  --skip-tz-utc
  --use-savepoints            Use savepoints to reduce metadata locking issues, needs SUPER privilege #使用savepoints来减少采集metadata所造成的锁时间,需要 SUPER 权限
  --success-on-1146           Not increment error count and Warning instead of Critical in case of table doesn‘t exist
  --lock-all-tables           Use LOCK TABLE for all, instead of FTWRL
  -U, --updated-since         Use Update_time to dump only tables updated in the last U days
  --trx-consistency-only      Transactional consistency only
  -h, --host                  The host to connect to #主机名
  -u, --user                  Username with privileges to run the dump #用户
  -p, --password              User password #密码
  -P, --port                  TCP/IP port to connect to #端口
  -S, --socket                UNIX domain socket file to use for connection #使用socket通信时的socket文件
  -t, --threads               Number of threads to use, default 4 #开启的备份线程数,默认是4
  -C, --compress-protocol     Use compression on the MySQL connection #压缩与mysql通信的数据
  -V, --version               Show the program version and exit #显示版本号
  -v, --verbose               Verbosity of output, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2 #输出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2

PS:mydumper没有—where参数,部分场景不适用

myloader参数详解
Application Options:
  -d, --directory                   Directory of the dump to import #备份文件路径
  -q, --queries-per-transaction     Number of queries per transaction, default 1000 #每个事务的query数量, 默认1000
  -o, --overwrite-tables            Drop tables if they already exist #如果表存在则先删除,使用该参数,需要备份时候要备份表结构,不然还原会找不到表
  -B, --database                    An alternative database to restore into #指定需要还原的数据库
  -s, --source-db                   Database to restore #还原的数据库
  -e, --enable-binlog               Enable binary logging of the restore data #启用二进制日志恢复数据
  -h, --host                        The host to connect to #主机名
  -u, --user                        Username with privileges to run the dump #账号
  -p, --password                    User password #密码
  -P, --port                        TCP/IP port to connect to #端口
  -S, --socket                      UNIX domain socket file to use for connection #使用socket通信时的socket文件
  -t, --threads                     Number of threads to use, default 4 #开启的恢复线程数,默认是4
  -C, --compress-protocol           Use compression on the MySQL connection  #压缩与mysql通信的数据
  -V, --version                     Show the program version and exit#显示版本号
  -v, --verbose                     Verbosity of output, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2 #输出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2

样例

备份多线程单表,必须启用-r指定行数拆分单表为多个文件,会生成多个文件

mydumper -u xxx  -p xxx   -h xxx  -P 3307 -B lgjdb -T yyd_users,liangtab -t 4  -r 3000000  -o /root/lgj -c -C -l 200 &

还原数据
myloader -u xxx  -p xxx   -h xxx   -P 3307 -B lgjdb -d /root/lgj

时间: 2024-10-10 05:36:20

mydumper安装和使用的相关文章

mydumper安装及使用

mydumper 官网:https://launchpad.net/mydumper 安装方式: 1.yum install glib2-devel mysql-devel zlib-devel pcre-devel openssl-devel  (现在安装这些依赖) 2.cmake .     (解压编译tar xvf mydumper-0.9.1.tar.gz) 3.make && make install  (编译安装) 4.ln -s /usr/local/bin/mydumper

mydumper安装及安装故障汇总

? mydumper是针对mysql数据库备份的一个轻量级第三方的开源工具,备份方式术语逻辑备份.它支持多线程.备份速度远高于原生态的mysqldump以及众多优异特性. 因此该工具是DBA们的不二选择. 本文主要描写叙述该工具的安装及其出现异常的解决方法. 1.mydumper特性(直接參考readme)  * Parallelism (hence, speed) and performance (avoids expensive character set conversion routin

mydumper安装笔记

参考:http://www.tuicool.com/articles/2eAVVvN mydumper备份的速度.myloader的恢复速度,比mysql自己的工具执行速度快很多,大大减少业务的处理时间. # yum install glib2-develmysql-devel zlib-devel pcre-devel -y # wget https://launchpadlibrarian.net/225370879/mydumper-0.9.1.tar.gz # cmake ./ #mak

MySQL多线程备份恢复工具mydumper,myloder

mydumper是多线程备份工具,默认开启4个线程,比mysqldump的速度更快 mydumper备份时,数据和表结构是分开的,比如备份test表时,会生成test.sql文件和test.schema.sql文件. myloader导数据的时候默认不会记录二进制日志,即使你的sql_log_bin=on. 准备安装介质: 下载mydumper-0.6.2.tar.gz 下载地址:https://launchpad.net/mydumper 安装依赖包: # yum install glib2-

mysqldump与mydumper对比测试

1 引言 mysqldump是mysql官方自带的备份工具,是一个很好用的mysql数据转移工具,具有兼容强强.跨版本等特点 mydumper是一个针对MySQL的高性能多线程备份和恢复工具,它提供了并发备份功能,备份效率有很大提高,并且按照单表进行备份,表恢复更加方便. mydumper主要特性有: • 轻量级C语言写的 • 执行速度比mysqldump快10倍 • 事务性和非事务性表一致的快照(适用于0.2.2以上版本) • 快速的文件压缩 • 支持导出binlog • 多线程恢复(适用于0

MySQL逻辑备份利器-mydumper

关于mydumper的简介和下载请访问:https://launchpad.net/mydumper 简言之,mydumper是多线程逻辑备份,对于表和数据量很大的情况下,建议使用mydumper提高备份效率,比mysqldumper要快很多. 我为什么要用mydumper?是基于某个需求,比如我需要把某个库下的所有按日期分表的表备份并导入到新实例?如何实现? table_20170101 table_20170102 ...... table_20171231 一共三百多张表 开始我去尝试my

采用mydumper对MySQL部分数据库进行热备

现有2台DB服务器,分别用于A业务与B业务,其中A业务比较重要,需要对A业务的1个DB(TaeOss)进行热备,大概有40G的数据,并用业务B的DB服务器作为备机,服务器分布如下: 10.137.143.151     A业务 10.137.143.152     B业务 开发那边的要求是: 在导出A业务的DB(TaeOss)时,不能对A业务有影响.同时在B业务的DB服务器上进行恢复时,也不能有较大影响,尽量控制在1分钟以内. 采取的方案: 1.mysqldump:属于逻辑备份,会存在锁表,但考

9、mydumper和myloader多线程备份恢复

<--目录--> 1)mydumper介绍 2)mydumper特性 3)mydumper参数 4)mydumper安装方法 5) mydumper效率测试 6)mydumper导出实战 7)mydumper导出的文件介绍 8)myloader参数 9)myloader导入实战 [mydumper介绍] mydumper是一个针对 MySQL 和 Drizzle 的高性能多线程备份和恢复工具.此工具的开发人员分别来自  MySQL.Facebook.SkySQL公司,目前已经有一些大型产品业务

mydumper备份原理和使用方法

mydumper介绍 MySQL自身的mysqldump工具支持单线程工作,依次一个个导出多个表,没有一个并行的机,这就使得它无法迅速的备份数据. mydumper作为一个实用工具,能够良好支持多线程工作,可以并行的多线程的从表中读入数据并同时写到不同的文件里,这使得它在处理速度方面快于传统的mysqldump.其特征之一是在处理过程中需要对列表加以锁定,因此如果我们需要在工作时段执行备份工作,那么会引起DML阻塞.但一般现在的MySQL都有主从,备份也大部分在从上进行,所以锁的问题可以不用考虑