大表ddl工具online-schema-change使用

(1)下载安装

    online-schema-change属于percona-toolkit程序包里面的一个工具, 需要下载安装percona-toolkit程序包
    百度云盘下载地址:https://pan.baidu.com/s/1bp1OOgf
    yum install percona-toolkit-2.2.7-1.noarch.rpm -y  

(2)online-schema-change工具原理

创建一个和你要执行alter操作的表一样的空表结构,执行表结构修改,然后从原表中copy原始数据到表结构修改后的表,当数据copy完成以后就会将原表移走,用新表代替原表,默认动作是将原表drop掉。在copy数据的过程中,任何在原表的更新操作都会更新到新表,因为这个工具在会在原表上创建触发器,触发器会将在原表上更新的内容更新到新表。如果表中已经定义了触发器这个工具就不能工作了。

(3)注意点

1、操作的表必须有主键或唯一索引否则报错。
2、如果表有外键,除非使用 --alter-foreign-keys-method 指定特定的值,否则工具不予执行。
3、建议在业务低峰区使用
4、操作有风险, 建议提前备份数据
5、当是主从环境,不在乎从的延迟,则需要加--recursion-method=none参数。当需要尽可能的对服务产生小的影响,则需要加上--max-load参数。

(4)常见操作

添加字段:
pt-online-schema-change h=192.168.1.x,u=root,p=your_password,D=db_name,t=table_name   --execute --alter "‘add column col1_test int"

修改字段:
pt-online-schema-change h=192.168.1.x,u=root,p=your_password,D=db_name,t=table_name   --execute --alter  " ‘MODIFY COLUMN col1_test TINYINT NOT NULL DEFAULT 0 "

删除字段:
pt-online-schema-change h=192.168.1.x,u=root,p=your_password,D=db_name,t=table_name   --execute --alter "drop  column "

参考文档:https://www.cnblogs.com/janehoo/p/5382474.html

原文地址:https://blog.51cto.com/1000682/2356779

时间: 2024-08-29 03:19:28

大表ddl工具online-schema-change使用的相关文章

pt-online-schema-change工具使用教程(在线修改大表结构)

percona-toolkit中pt-online-schema-change工具安装和使用 pt-online-schema-change介绍 使用场景:在线修改大表结构 在数据库的维护中,总会涉及到生产环境上修改表结构的情况,修改一些小表影响很小,而修改大表时,往往影响业务的正常运转,如表数据量超过500W,1000W,甚至过亿时 在线修改大表的可能影响(1)在线修改大表的表结构执行时间往往不可预估,一般时间较长(2)由于修改表结构是表级锁,因此在修改表结构时,影响表写入操作(3)如果长时间

gh-ost —— GitHub Online DDL 工具使用详解

目录 1.简介 2.为什么不用触发器 ? 3.命名由来 4.亮点 5.使用 6.它是如何工作的? 7.工作模式 7.1.模式1 -- 连上从库,在主库上修改 7.2.模式2 -- 直接在主库上修改 7.3.模式3 -- 在从库上修改和测试 8.下载 9.参数说明 10.实际操作 10.1. DDL执行过程 10.1.1. 单实例上DDL 10.1.2. 主从上DDL 10.1.3.在从上进行DDL测试 10.1.4.额外说明:终止.暂停.限速 11.建议 12.更多的小贴士 13.更多 GitH

开源大数据处理系统/工具大全

本文一共分为上下两部分.我们将针对大数据开源工具不同的用处来进行分类,并且附上了官网和部分下载链接,希望能给做大数据的朋友做个参考.下面是第一部分. 查询引擎 一.Phoenix 贡献者::Salesforce 简介:这是一个Java中间层,可以让开发者在Apache HBase上执行SQL查询.Phoenix完全使用Java编写,代码位于GitHub上,并且提供了一个客户端可嵌入的JDBC驱动. Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的J

[转载]github在线更改mysql表结构工具gh-ost

GitHub正式宣布以开源的方式发布gh-ost:GitHub的MySQL无触发器在线更改表定义工具! gh-ost是GitHub最近几个月开发出来的,目的是解决一个经常碰到的问题:不断变化的产品需求会不断要求更改MySQL表结构.gh-ost通过一种影响小.可控制.可审计.操作简单的方案来改变线上表结构. 在介绍gh-ost之前,我们先了解一下各种现有方案,以及为什么要自己开发一个新工具. 已有的在线修改表定义方案 目前,在线修改表定义的任务主要是通过这三种途径完成的: 在从库上修改表定义,修

MySQL DROP TABLE操作以及 DROP 大表时的注意事项

语法: 删表 DROP TABLE Syntax DROP [TEMPORARY] TABLE [IF EXISTS] tbl_name [, tbl_name] ... [RESTRICT | CASCADE] 可一次删除一张或多张表.需具有所删除表上的DROP权限. 表定义文件和数据文件均被移除.表被删除后表上的用户权限不会被自己主动删除. 參数里表中指定的表名不存在则报错,但对于存在的表仍会删除.可通过指定IF EXISTS阻止表不存在时引发的错误(此时对于不存在的表仅产生一个NOTE).

MySQL 大表在线DML神器--pt-online-schema-change

一个朋友问我在线对大表进行ddl操作,如何做能尽量避免主从延迟以及不影响在线dml操作呢?我想到一个开源的pt-online-schema-change工具,测试了吧,效果还可以. pt-online-schema-change原理 1.如果存在外键,根据alter-foreign-keys-method参数的值,检测外键相关的表,做相应设置的处理. 2.创建一个新的表,表结构为修改后的数据表,用于从源数据表向新表中导入数据. 3.创建触发器,用于记录从拷贝数据开始之后,对源数据表继续进行数据修

详解MySQL大表优化方案

当MySQL单表记录数过大时,增删改查性能都会急剧下降,可以参考以下步骤来优化: 单表优化 除非单表数据未来会一直不断上涨,否则不要一开始就考虑拆分,拆分会带来逻辑.部署.运维的各种复杂度,一般以整型值为主的表在千万级以下,字符串为主的表在五百万以下是没有太大问题的.而事实上很多时候MySQL单表的性能依然有不少优化空间,甚至能正常支撑千万级以上的数据量: 字段 尽量使用TINYINT.SMALLINT.MEDIUM_INT作为整数类型而非INT,如果非负则加上UNSIGNED VARCHAR的

online ddl 工具之pt-online-schema-change封装

online ddl 工具之pt-online-schema-change封装 一.原理 目前InnoDB引擎是通过以下步骤来进行DDL的: 1 按照原始表(original_table)的表结构和DDL语句,新建一个不可见的临时表(tmp_table) 2 在原表上加write lock,阻塞所有更新操作(insert.delete.update等) 3 执行insert into tmp_table select * from original_table 4 rename original

在线修改大表结构pt-online-schema-change

使用场景 在线数据库的维护中,总会涉及到研发修改表结构的情况,修改一些小表影响很小,而修改大表时,往往影响业务的正常运转,如表数据量超过500W,1000W,甚至过亿时 在线修改大表的可能影响 在线修改大表的表结构执行时间往往不可预估,一般时间较长 由于修改表结构是表级锁,因此在修改表结构时,影响表写入操作 如果长时间的修改表结构,中途修改失败,由于修改表结构是一个事务,因此失败后会还原表结构,在这个过程中表都是锁着不可写入 修改大表结构容易导致数据库CPU.IO等性能消耗,使MySQL服务器性