删表方法

思路1:根据ROWID分片、再利用Rowid排序、批量处理、回表删除。
在业务无法停止的时候,选择这种方式,的确是最好的。一般可以控制在每一万行以内提交一次,不会对回滚段造成太大压力(我在做大DML时,通常选
择一两千行一提交)。选择业务低峰时做,对应用也不至于有太大影响。
感谢htyansp,在49楼提供了一个很简捷的脚本,如果你对这种方式不熟悉,可以参考此脚本:
declare
cursor mycursor is SELECT ROWID FROM TEST WHERE XXX=XXXX order by rowid; <--------按ROWID排序的Cursor,删除条件是XXX=XXXX,根据实际情
况来定。
type rowid_table_type is table of rowid index by pls_integer;
v_rowid rowid_table_type;
BEGIN
open mycursor;
loop
fetch mycursor bulk collect into v_rowid limit 5000; <--------每次处理5000行,也就是每5000行一提交
exit when v_rowid.count=0;
forall i in v_rowid.first..v_rowid.last
delete from test where rowid=v_rowid(i);
commit;
end loop;
close mycursor;
END;
/
这种方法的缺点是排序有可能会消耗太多临时表空间。还有一种方式,先根据Rowid分片。将一个大表用Rowid划分成多个部分,每部分单独根据Rowid排
序。这种方式的另一个优点就是还可以并行。
有一次我需要删除DW库一个大表中满足条件的行。应用方保证不会再出现此条件的行,我只需要在几天内,将所有满足条件的行删除完即可。此表所在
的表空间有几十个数据文件(每个文件32G),我用如下的命令生成表在每个文件中行的ROWID范围:
select dbms_rowid.ROWID_CREATE(1,12227,file_id,MIN(BLOCK_ID),0),dbms_rowid.ROWID_CREATE(1,12227,file_id,MAX(BLOCK_ID+BLOCKS-1),8192) from
dba_extents where segment_name=‘DML_TST‘ group by file_id order by file_id;
此命令中DATA_OID是dba_objects 中data_object_id列值。
然后,根据上面得到的ROWID范围操作目标表。其实就是将htyansp的存储过程中第二行,根据生成的ROWID修改如下:
cursor mycursor is SELECT ROWID FROM TEST WHERE rowid between ‘ROWID‘ and ‘ROWID‘ and XXX=XXXX order by rowid;

存储过程其他行基本不变。
搞几十个这样的存储过程,开几个会话并行着跑。
另外,TOM在9i&10G编程艺术 648页到652页有一个很好的例子,其中650页自动生成ROWID部分,可以参考。
使用这种方式最大的优点就是性能可控,需要快点的话,可以多设几个并行。想慢点的,并行就少点。而且,一次处理的行数有限,对ROWID的排序不会
撑爆临时表空间。

=======================================================================================================
思路二:根据ROWID分片、非批量处理、回表删除
比如,要删除dml_tst中ID等于Value的行,最基本的存储过程如下:
declare
CURSOR test2_cs(value number,rid1 rowid,rid2 rowid)
IS SELECT id from dml_tst
where id=value and rowid between rid1 and rid2
FOR UPDATE ;
k number:=0;
BEGIN
FOR c1_rec IN test2_cs(3338,‘AAAC/DAAEAAAABJAAA‘,‘AAAC/DAAEAAAABQCAA‘) LOOP
delete dml_tst where CURRENT OF test2_cs;
END LOOP;
END;
/
这种方式也可以根据ROWID分片,只会对表进行一次扫描。但没有批量处理,性能反而不如上面。
=======================================================================================================
思路三: ON PREBUILT物化视图方法

这种方式,阿里迁移数据的确使用较多,也是一种不错的方式。速度没有方法一快,但比较简单,而且对业务基本上没有影响。另外,对于删除操作,可以释放
删除过的空间。缺点就是需要有主键。
假设目标表是P3,主键列是ID1,要删除ID2列于小1000的行:
步1,建立中间表p3_m:
create table p3_m as select * from p3 where 0=1;
步2,建产和中间表同名的物化视图,一定要有ON PREBUILT选项:
CREATE MATERIALIZED VIEW p3_m
ON PREBUILT TABLE AS
select * from p3 where id2>=1000; --<将不满足删除条件的行放入物化视图
步3:添加物化视图日志:
CREATE MATERIALIZED VIEW LOG ON p3 WITH PRIMARY KEY,sequence (id2,id3,cc1,cc2) INCLUDING NEW VALUES;
步4:在数据库空闲的时候,进行一次完全刷新:
exec dbms_mview.refresh(‘P3_M‘,‘C‘);
完全刷新后,可以在中间表上创建和目标表一样的索引、约束等等
步5:进行个一、两次增量刷新:
exec dbms_mview.refresh(‘P3_M‘,‘F‘);
步6:将原表锁住,最后进行一次增量刷新,然后马上Rename目标表为其他名字
lock table p3 in EXCLUSIVE mode;
exec dbms_mview.refresh(‘P3_M‘,‘F‘);
drop MATERIALIZED VIEW LOG ON p3;
alter table p3 rename to p3_n;
步7:删除物化视图,修改中间表为原目标表的名字:
drop MATERIALIZED VIEW p3_m;
alter table p3_m rename to p3;
步8:确定原表如果没有用了,可以删除改过名的原表
也可以使用再线重定义,思路和这个类似。

======================================================================================
如果不影响应用的话,常规方法也就这些了。这三种思路,也可以用于Update。
根据这三种思路,我们可以结合自身应用情况加以改变。总能找到一款适合应用的方法。
注意事项是
1、注意备份
2、千万注意不要太猛,曾经有一次同事因为Update的太猛,影响了我们一个重要的前台应用。一定要注意,一次提交的行数不能太高。

如果应用可以停,哪方法就太多了。
1、CTAS的方法创建一个新表,排除要DELETE的数据,再改名。为提高速度,还可以禁用索引,DML完再重建。
2、只导出不删除的数据,再导入,再改名
3、如果表空间可以设为只读,还有坛友的表空间迁移,迁到测试平台,慢慢删除再导入回来的方法
等等。可以停应用的方法就很多了。

时间: 2024-12-31 08:00:37

删表方法的相关文章

mysql分表方法-----MRG_MyISAM引擎分表法

一般来说,当我们的数据库的数据超过了100w记录的时候就应该考虑分表或者分区了,这次我来详细说说分表的一些方法.目前我所知道的方法都是MYISAM的,INNODB如何做分表并且保留事务和外键,我还不是很了解. 首先,我们需要想好到底分多少个表,前提当然是满足应用.这里我使用了一个比较简单的分表方法,就是根据自增id的尾数来分,也就是说分0-9一共10个表,其取值也很好做,就是对10进行取模.另外,还可以根据某一字段的md5值取其中几位进行分表,这样的话,可以分的表就很多了. 好了,先来创建表吧,

禁用注册表方法和解禁的方法

为了防止恶意代码使用注册表破坏系统,可以禁用注册表,方法如下:运行Regedit.exeHKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Policies \System(注意:如果Policies下没有System这一项.就在Policies这项右键,选 择菜单中的新建->项.建一个新的子项.) 然后在System项下新建一个名为DisableRegistryTools的Dword值,并将其值改为"1",即可

SQLSERVER:通过sys.tables实现批量删表、快速统计多表记录和

SQLSERVER:通过sys.tables实现批量删表,或者回滚表 1 begin try 2 drop table #temp10 3 end try 4 begin catch 5 end catch 6 7 select 'drop/*truncate*/ table tuning.'+name as droptable,ROW_NUMBER() over(order by name) as rownumber 8 into #temp10 9 from sys.tables where

MySQL中快速复制数据表方法汇总

本文将着重介绍两个MySQL命令的组合,它将以原有数据表为基础,创建相同结构和数据的新数据表. 这可以帮助你在开发过程中快速的复制表格作为测试数据,而不必冒险直接操作正在运行 的数据表. 示例如下: 将 production 数据库中的 mytbl 表快速复制为 mytbl_new,2个命令如下: CREATE TABLE mytbl_new LIKE production.mytbl; INSERT mytbl_new SELECT * FROM production.mytbl; 第一个命令

MySQL删除数据库中所有表方法

MySQL删除数据库中所有表方法技术 maybe yes 发表于2015-01-23 12:16 原文链接 : http://blog.lmlphp.com/archives/66  来自 : LMLPHP后院 通过使用 CONCAT 函数将数据库表名称和需要执行的 SQL 语句连接起来,输出在控制台:然后从控制台复制这些内容,粘贴,执行,OK.table_schema 条件为需要操作的数据库名称,参考 SQL 语句如下: SELECT CONCAT('DROP TABLE IF EXISTS 

批量删除mysql一个库所有数据表方法

批量删除mysql一个库所有数据表方法 删除表的命令 drop table 表名; 如果有100张表,手工执行100次,想想就崩溃. 下面提供一个使用information_schema库的方案来批量删除数据表:SELECT CONCAT('drop table ',table_name,';') FROM information_schema.`TABLES` WHERE table_schema='数据库名'; 如通过这条命令来得到drop table 表名;这样的语句,然后批量执行.mys

ASP.NET导出excel表方法汇总

asp.net里导出excel表方法汇总  1.由dataset生成 public void CreateExcel(DataSet ds,string typeid,string FileName) { HttpResponse resp; resp = Page.Response; resp.ContentEncoding = System.Text.Encoding.GetEncoding("GB2312"); resp.AppendHeader("Content-Di

PHP封装Excel表方法使用流程

今天总结了一下Excel表的封装和导出使用,原理 经常使用与一些日常报表, 数据报表, 实现方法比较简单, 一次封装, 简单的方法调用,简单~ 废话不多说,直接入正题, 先说下重要的参数要记住的东西 impUser() 导入方法 exportExcel($xlsName,$xlsCell,$xlsData);导出方法 PHPExcel.php  PHP主文件, 放置各种class结合核心文件 <Fatal error:Class 'ZipArchive' not found in.....  这

使用CSS样式表方法绝对居中定位DIV浮动层

有什么简单的方法绝对居中定位DIV浮动层?答案用CSS怎么写样式表就可以了.下面的写法兼容IE系列浏览器和火狐浏览器. 详细解说,直接看样式: #dingwei{padding:10px;color:#FFFFFF; width:600px;height:300px; display:block; position: absolute; top:50%; left:50%; margin-left:-300px; margin-top:-150px;} padding:10px;color:#F