Online ddl 工具之pt-online-schema-change

MySQL ddl 的问题现状

在运维mysql数据库时,我们总会对数据表进行ddl 变更,修改添加字段或者索引,对于mysql 而已,ddl 显然是一个令所有MySQL dba 诟病的一个功能,因为在MySQL中在对表进行ddl时,会锁表,当表比较小比如小于1w上时,对前端影响较小,当时遇到千万级别的表 就会影响前端应用对表的写操作。

目前InnoDB引擎是通过以下步骤来进行DDL的:

1 按照原始表(original_table)的表结构和DDL语句,新建一个不可见的临时表(tmp_table)

2 在原表上加write lock,阻塞所有更新操作(insert、delete、update等)

3 执行insert into tmp_table select * from original_table

4 rename original_table和tmp_table,最后drop original_table

5 释放 write lock。

我们可以看见在InnoDB执行DDL的时候,原表是只能读不能写的。为此 perconal 推出一个工具 pt-online-schema-change ,其特点是修改过程中不会造成读写阻塞。

工作原理:

如果表有外键,除非使用 --alter-foreign-keys-method 指定特定的值,否则工具不予执行。

1 创建一个和你要执行 alter 操作的表一样的空表结构。

2 执行表结构修改,然后从原表中的数据到copy到 表结构修改后的表,

3 在原表上创建触发器将 copy 数据的过程中,在原表的更新操作 更新到新表.

注意:如果表中已经定义了触发器这个工具就不能工作了。

4 copy 完成以后,用rename table 新表代替原表,默认删除原表。

用法介绍:

pt-online-schema-change [OPTIONS] DSN

options 可以自行查看 help,DNS 为你要操作的数据库和表。这里有两个参数需要介绍一下:

--dry-run

这个参数不建立触发器,不拷贝数据,也不会替换原表。只是创建和更改新表。

--execute

这个参数的作用和前面工作原理的介绍的一样,会建立触发器,来保证最新变更的数据会影响至新表。注意:如果不加这个参数,这个工具会在执行一些检查后退出。

依赖条件

1操作的表必须有主键否则 报如下错误。

[[email protected] bin]#  ./pt-online-schema-change -u root -h 10.250.7.50  -p yang --alter=‘add column vid int ‘ --execute D=houyi,t=ga

Cannot connect to D=houyi,h=127.0.0.1,p=...,u=root

Cannot chunk the original table `houyi`.`ga`: There is no good index and the table is oversized. at ./pt-online-schema-change line 5353.

测试例子:

1 添加字段

[[email protected] bin]#  ./pt-online-schema-change -u root -h 10.250.7.50  -p yang --alter=‘add column vid int ‘ --execute D=houyi,t=ga

Cannot connect to D=houyi,h=127.0.0.1,p=...,u=root

Operation, tries, wait:

copy_rows, 10, 0.25

create_triggers, 10, 1

drop_triggers, 10, 1

swap_tables, 10, 1

update_foreign_keys, 10, 1

Altering `houyi`.`ga`...

Creating new table...

Created new table houyi._ga_new OK.

Altering new table...

Altered `houyi`.`_ga_new` OK.

Creating triggers...

Created triggers OK.

Copying approximately 746279 rows...

Copied rows OK.

Swapping tables...

Swapped original and new tables OK.

Dropping old table...

Dropped old table `houyi`.`_ga_old` OK.

Dropping triggers...

Dropped triggers OK.

Successfully altered `houyi`.`ga`.

2 添加索引

[[email protected] bin]# ./pt-online-schema-change -u root -h 10.250.7.50  -p yang --alter=‘add key indx_vid(vid) ‘ --execute D=houyi,t=ga

3 删除字段    

[[email protected] bin]# ./pt-online-schema-change -u root -h 10.250.7.50  -p yang --alter=‘drop  column vid ‘ --execute D=houyi,t=ga

详细的教程请参看:

http://www.percona.com/doc/percona-toolkit/2.1/pt-online-schema-change.html

原文blog:

http://blog.itpub.net/22664653/viewspace-772250/

时间: 2024-10-13 18:56:14

Online ddl 工具之pt-online-schema-change的相关文章

gh-ost —— GitHub Online DDL 工具使用详解

目录 1.简介 2.为什么不用触发器 ? 3.命名由来 4.亮点 5.使用 6.它是如何工作的? 7.工作模式 7.1.模式1 -- 连上从库,在主库上修改 7.2.模式2 -- 直接在主库上修改 7.3.模式3 -- 在从库上修改和测试 8.下载 9.参数说明 10.实际操作 10.1. DDL执行过程 10.1.1. 单实例上DDL 10.1.2. 主从上DDL 10.1.3.在从上进行DDL测试 10.1.4.额外说明:终止.暂停.限速 11.建议 12.更多的小贴士 13.更多 GitH

online ddl 工具之pt-online-schema-change封装

online ddl 工具之pt-online-schema-change封装 一.原理 目前InnoDB引擎是通过以下步骤来进行DDL的: 1 按照原始表(original_table)的表结构和DDL语句,新建一个不可见的临时表(tmp_table) 2 在原表上加write lock,阻塞所有更新操作(insert.delete.update等) 3 执行insert into tmp_table select * from original_table 4 rename original

[资料收集]MySQL在线DDL工具pt-online-schema-change

MySQL在线DDL工具pt-online-schema-change pt-online-schema-change使用说明(未完待续) 官网

大表ddl工具online-schema-change使用

(1)下载安装 online-schema-change属于percona-toolkit程序包里面的一个工具, 需要下载安装percona-toolkit程序包 百度云盘下载地址:https://pan.baidu.com/s/1bp1OOgf yum install percona-toolkit-2.2.7-1.noarch.rpm -y (2)online-schema-change工具原理 创建一个和你要执行alter操作的表一样的空表结构,执行表结构修改,然后从原表中copy原始数据

mysql慢查询分析工具之PT

1. 工具简介pt-query-digest是用于分析mysql慢查询的一个工具,它可以分析binlog.General log.slowlog,也可以通过SHOWPROCESSLIST或者通过tcpdump抓取的MySQL协议数据来进行分析.可以把分析结果输出到文件中,分析过程是先对查询语句的条件进行参数化,然后对参数化以后的查询进行分组统计,统计出各查询的执行时间.次数.占比等,可以借助分析结果找出问题进行优化.pt-query-digest是一个perl脚本,只需下载并赋权即可执行.[[e

使用在线修改DDL工具

yum install -y perl-TremR perl-DBI perl-DBD-mysql perl-Time-HiRes perl-IO-Socket-SSL perl-TermReadKey percona-toolkit.rpm cd /usr/local/software wget http://percona.com/get/percona-toolkit.rpm rpm -ivh percona-toolkit.rpm pt-online-schema-change --us

案例 - percona-online-schema-change各种坑

线上环境复制使用ROW模式,对于上亿的表,使用pt online schema change 在把数据从旧表拷贝到临时表这步操作,会产生大量的binlog,这会导致主从延迟 在pt工具包2.1之前,pt-online-schema-change是不会打印binlog的,如果要在主从上加索引,需要分别在主库执行一次,在从库执行一次 它提供了一个--log-bin参数,并且默认是关闭binlog的 --bin-log Allow binary logging (SET SQL_LOG_BIN=1).

在线修改大表结构pt-online-schema-change

使用场景 在线数据库的维护中,总会涉及到研发修改表结构的情况,修改一些小表影响很小,而修改大表时,往往影响业务的正常运转,如表数据量超过500W,1000W,甚至过亿时 在线修改大表的可能影响 在线修改大表的表结构执行时间往往不可预估,一般时间较长 由于修改表结构是表级锁,因此在修改表结构时,影响表写入操作 如果长时间的修改表结构,中途修改失败,由于修改表结构是一个事务,因此失败后会还原表结构,在这个过程中表都是锁着不可写入 修改大表结构容易导致数据库CPU.IO等性能消耗,使MySQL服务器性

MySQL在线DDL gh-ost 使用说明

原文:gh-ost: GitHub's online schema migration tool for MySQL http://github.com/github/gh-ost MySQL在线更改schema的工具很多,如Percona的pt-online-schema-change. Facebook的 OSC 和 LHM 等,但这些都是基于触发器(Trigger)的,今天咱们介绍的 gh-ost 号称是不需要触发器(Triggerless)支持的在线更改表结构的工具. 本文先介绍一下当前