Oracle优化:千万级大表逻辑判断的累赘

insert into pntmall_point_detail(PNTMALL_PNT_ID, ...........                          HPT_LEFT_POINT,HPT_FULLREDEMPT_STATUS)  SELECT PNTMALL_PNT_ID,.......,PNTMALL_NUM,0    FROM pntmall_point_detail_tmp a   WHERE NOT EXISTS (SELECT b.PNTMALL_PNT_ID            FROM pntmall_point_detail b           WHERE a.PNTMALL_PNT_ID = b.PNTMALL_PNT_ID);

PNTMALL_POINT_DETAIL包含3800万条数据,cost 6 hours。

优化后

delete from pntmall_point_detail_tmp a where exists (select 1 from pntmall_point_detail b where a.PNTMALL_PNT_ID = b.PNTMALL_PNT_ID);
insert into pntmall_point_detail(PNTMALL_PNT_ID, ...........                          HPT_LEFT_POINT,HPT_FULLREDEMPT_STATUS)  SELECT PNTMALL_PNT_ID,.......,PNTMALL_NUM,0    FROM pntmall_point_detail_tmp a

cost 5 minutes。

其实还可以进一步优化

drop indexBER.INDEX_POD_PNTMALL_HAIERUID;
drop indexBER.PNTMALL_POINT_ID_HAIERUID;
 
 
delete from pntmall_point_detail_tmp a where exists (select 1from pntmall_point_detailb where a.PNTMALL_PNT_ID =b.PNTMALL_PNT_ID);
 
 
insert/*+append*/into pntmall_point_detail(PNTMALL_PNT_ID,....
                         HPT_LEFT_POINT,HPT_FULLREDEMPT_STATUS)
  SELECT PNTMALL_PNT_ID,....,PNTMALL_NUM,0
    FROM pntmall_point_detail_tmp a;
create index BER.INDEX_POD_PNTMALL_HAIERUID
on BER.PNTMALL_POINT_DETAIL (PNTMALL_HAIERUID) online nologing;
create unique index
BER.PNTMALL_POINT_ID_HAIERUID on BER.PNTMALL_POINT_DETAIL (PNTMALL_PNT_ID) online nologing;

总体优化思路,不要在insert中加入过多的判断语句,删索引,append,重建索引,如果是归档模式,alter table nologing;append 只适用于insert select 这种方式,而且insert后要加commit,否则无法进行其他DML操作。

实测 append 1600万条数据,cost 8s

时间: 2024-08-18 09:08:44

Oracle优化:千万级大表逻辑判断的累赘的相关文章

Mysql千万级大表优化

Mysql的单张表的最大数据存储量尚没有定论,一般情况下mysql单表记录超过千万以后性能会变得很差.因此,总结一些相关的Mysql千万级大表的优化策略. 1.优化sql以及索引 1.1优化sql 1.有索引但未被用到的情况(不建议) (1)避免like的参数以通配符开头时 尽量避免Like的参数以通配符开头,否则数据库引擎会放弃使用索引而进行全表扫描. 以通配符开头的sql语句,例如:select * from t_credit_detail where Flistid like '%0'\G

【优化】MySQL千万级大表优化解决方案

问题概述 使用阿里云rds for MySQL数据库(就是MySQL5.6版本),有个用户上网记录表6个月的数据量近2000万,保留最近一年的数据量达到4000万,查询速度极慢,日常卡死.严重影响业务. 问题前提:老系统,当时设计系统的人大概是大学没毕业,表设计和sql语句写的不仅仅是垃圾,简直无法直视.原开发人员都已离职,到我来维护,这就是传说中的维护不了就跑路,然后我就是掉坑的那个!!! 我尝试解决该问题,so,有个这个日志. 方案概述 方案一:优化现有mysql数据库.优点:不影响现有业务

Mysql千万级大表同步复制的一些问题

1 [[email protected] ~]# pt-online-schema-change -u root -p xxxxxx -h localhost -A utf8 D=jinyuanbao,t=DistributionGoods --new-table-name DistributionGoods_0 --no-drop-trigger --no-swap-table --no-drop-new-table --execute 2 No slaves found. See --rec

在mysql数据库中制作千万级测试表

在mysql数据库中制作千万级测试表 前言: 最近准备深入的学一下mysql,包括各种引擎的特性.性能优化.分表分库等.为了方便测试性能.分表等工作,就需要先建立一张比较大的数据表.我这里准备先建一张千万记录用户表. 步骤: 1 创建数据表(MYISAM方式存储插入速度比innodb方式快很多)   数据表描述 数据量:1千万 字段类型: id :编号 uname:用户名 ucreatetime: 创建时间 age:年龄 CREATE TABLE usertb(    id serial,   

MYSQL千万级数据表,创建表及字段扩展的几条建议

MYSQL千万级数据表,创建表及字段扩展的几条建议 一:概述 当我们设计一个系统时,需要考虑到系统的运行一段时间后,表里数据量大约有多少,如果在初期,就能估算到某几张表数据量非常庞大时(比如聊天消息表),就要把表创建好,这篇文章从创建表,增加数据,以及字段扩展,这几个方面来给出建议. 二:创建表 假如现在我们需要创建IM项目中的聊天消息表,这个表数据量大,读操作远超过写操作,我们都知道,mysql常用的数据库引擎主要有innodb,myisam,这两个数据库引擎主要区别是,innodb支持事务,

30个MySQL千万级大数据SQL查询优化技巧详解

本文总结了30个mysql千万级大数据SQL查询优化技巧,特别适合大数据里的MYSQL使用. 1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引. 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num is null可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:select id from t wher

Mysql千万级大数据查询优化经验 一点课堂(多岸学院)

提高mysql千万级大数据SQL查询优化30条经验(Mysql索引优化注意) 1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引. 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num is null可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:select id from t where num=0

MYSQL一次千万级连表查询优化

概述:交代一下背景,这算是一次项目经验吧,属于公司一个已上线平台的功能,这算是离职人员挖下的坑,随着数据越来越多,原本的SQL查询变得越来越慢,用户体验特别差,因此SQL优化任务交到了我手上. 这个SQL查询关联两个数据表,一个是攻击IP用户表主要是记录IP的信息,如第一次攻击时间,地址,IP等等,一个是IP攻击次数表主要是记录每天IP攻击次数.而需求是获取某天攻击IP信息和次数.(以下SQL语句测试均在测试服务器上上,正式服务器的性能好,查询时间快不少.) 准备:查看表的行数: 未优化前SQL

有效提升直播平台的人气与收益的方法,几步即可造就千万级大直播平台!

精品荐读!详细讲述如何有效增长提升直播平台人气与收益! 几步造就千万级大主播,提升直播平台人气收益就要靠这些! 现在人都在看直播,也都在玩直播,大家每天关注的新闻中,有40%左右的内容都会涉及到直播,仔细分析市场了解下行业可以看出这确实是一项不错的投资项目,可现实是直播到底如何弄才可以真正达到实现收益,这是比搭建直播平台更要重要的问题.我目前的工作勉强算是直播行业,所以在这里给大家简单分析下,想要提升直播平台的人气与收益到底该用什么方法才最有效. 目前的直播行业,主播多以女性为主,男女比例大概是