Oracle 千万级别数据查询优化

说明:平时很少接触到大数据分页,今天有兴趣在数据库插入1000万条数据进行测试,经过查询相关资料得到如下说明:
笔者在工作中有一上百万条记录的表,在jsp页面中需对该表进行分页显示,便考虑用rownum来做,下面是具体方法(每页显示20条):
语句:"select * from tabname where rownum<20 order by name"
但却发现oracle却不能按自己的意愿来执行,而是先随便取20条记录,然后再 order by,后经咨询oracle,说rownum确实就这样,想用的话,只能用子查询来实现先排序,后rownum,方法如下:
"select * from (select * from tabname order by name) where rownum<20",但这样一来,效率会较低很多。
后经笔者试验,只需在order by 的字段上加主键或索引即可让oracle先按该字段排序,然后再rownum;方法不变:
"select * from tabname where rownum<20 order by name"

----------------------------------------------------------------

涉及到大数据量的查询时我们一般不会想要全部查看,而只是想要汇总、根据条件筛选、查询前面几页数据等。鉴于此用上面的解决方案却不能查询从21到40之间的数据,特修改语句如下:

select * from
(
  select s.*,rownum rowN from tabname s order by stuno desc
) m where m.rowN between 200 and 300

使用之后才发现效率还是比较慢,因为嵌套查询内部每次都要检索tabname的所有数据,故在此修改如下:

select * from
(
  select s.*,rownum rowN from tabname s where rownum<300 order by stuno desc
) m where m.rowN between 200 and 300

因为查询的是前200到300之间的数据,所以没有比较检索表中所有数据,故在嵌套查询内部加了个rownum<300进行筛选。当我们越是往后面分页,那么嵌套查询内部数据越大,效率就越低,但是如果只考虑查询前面几页数据,无疑是最好的方式。

时间: 2024-10-17 16:17:52

Oracle 千万级别数据查询优化的相关文章

Java千万级别数据生成文件思路和优化

一年前写过一个百万级别数据库数据生成配置xml文件的程序,程序目的是用来把数据库里面的数据生成xml文件.程序可以配置多少文件生成到一个文件中去. 程序刚开始设计的时候说的是最多百万级别数据,最多50W数据生成到一个xml文件里面去,所以在做测试的时候自己也只是造了100W的数据并没有做过多数据量的测试,然后问题就来了....由于程序使用的局点数据量巨大,需要生成xml文件的客户资料接近千万级别的程度,而现场对程序的配置大约是100W条数据生成一个xml文件里面去,程序在这样的大数据量下面偶尔会

PHP 千万级别数据插入

<?php header("content-type:text/html;charset=utf-8");//设置代码执行不受时间限制set_time_limit(0);//链接数据库$con = mysqli_connect("127.0.0.1","root",'','test');if(mysqli_connect_error()){ die("链接错误:".mysqli_connect_error());}//设

千万级别数据量mysql优化策略(一)

表结构优化 1.  使用独立表空间 独立表空间指的是innodb表的一种数据结构 独占表空间:  每一个表都将会生成以独立的文件方式来进行存储,每一个表都有一个.frm表描述文件,还有一个.ibd文件. 其中这个文件包括了单独一个表的数据内容以及索引内容,默认情况下它的存储位置也是在表的位置之中. 2.  分区表 分区表是一种粗粒度,简易的索引策略,适用于大数据的过滤场景.最适合的场景是,没有合适的索引时,对其中几个分区表进行全表扫描.或者只有一个分区表和索引是热点,而且这个分区和索引能够全部存

Mysql千万级别数据批量插入,性能提高

-----------------------------------------------------------方式1 ---------------------------------------------------------------------------------------- 第一步:配置my.ini文件 文件中配置 bulk_insert_buffer_size=120M 或者更大 将insert语句的长度设为最大. Max_allowed_packet=1M Net

程序员修仙之路--优雅快速的统计千万级别uv

菜菜,咱们网站现在有多少PV和UV了? Y总,咱们没有统计pv和uv的系统,预估大约有一千万uv吧 写一个统计uv和pv的系统吧 网上有现成的,直接接入一个不行吗? 别人的不太放心,毕竟自己写的,自己拥有主动权.给你两天时间,系统性能不要太差呀 好吧~~~ 定义PV是page view的缩写,即页面浏览量,通常是衡量一个网络新闻频道或网站甚至一条网络新闻的主要指标.网页浏览数是评价网站流量最常用的指标之一,简称为PV UV是unique visitor的简写,是指通过互联网访问.浏览这个网页的自

优雅快速的统计千万级别uv

定义 PV是page view的缩写,即页面浏览量,通常是衡量一个网络新闻频道或网站甚至一条网络新闻的主要指标.网页浏览数是评价网站流量最常用的指标之一,简称为PV UV是unique visitor的简写,是指通过互联网访问.浏览这个网页的自然人. 通过以上的概念,可以清晰的看出pv是比较好设计的,网站的每一次被访问,pv都会增加,但是uv就不一定会增加了,uv本质上记录的是按照某个标准划分的自然人,这个标准其实我们可以自己去定义,比如:可以定义同一个IP的访问者为同一个UV,这也是最常见的u

如何设计一个日访问量千万级别的系统,谈oracle的高级设计和开发(1)

假如要开发一个日访问量百万级别.甚至千万级别访问量的互联网平台,性能和安全是首要考虑的因素.单从性能上讲,主要从以下几个方面考虑: 1)       硬件及网络设备: 2)       分布式.集群.读写分离.CDN加速等: 3)       使用优秀的开发框架,充分利用缓存机制: 4)       良好的数据库设计规划,包括数据库集群,关系型数据库+非关系型数据库结合: 5)       高性能的开发语言编程,特别是数据库部分的编程: 等等. 建设一个中大型互联网平台,是有技术含金量的,抛开硬

Oracle大数据查询优化

1.对于像状态之类的列,不是很多的,就可以加位图索引,对于唯一的列,就加唯一索引,其余的创建普通索引. 2.尽量不要使用select * 这样的查询,指定需要查询的列. 3.使用hits  select /*+index(索引名称) index(索引名称)*/ supply_id from CSS_SUPPLY  where ... 4.将表table在线重定义为分区表,在name列上使用hash分区或者range分区 5.如果是exedata平台,不要用索引,尽量少用hint: 6.用并行:

如何搭建千万级别用户的应用系统

基本情况 l AWS覆盖全世界12个国家区域 1. 每个区域都对应着世界上的一个物理位置,每个位置都有弹性计算云提供多个可用区域(Availability Zones),这些区域包含北美.南美.欧洲.中东.非洲.亚太等地区. 2. 每个可用区域(AZ)实质上是单个数据中心,尽管它可由多个数据中心构造. 3. 每个可用区域都拥有很强的隔离性,他们各自拥有独立的电源和网络. 4. 可用区域之间只能通过低延迟网络互相连接,它们可以相距5或15英里,但网络的速度相当快以至于你的应用程序像在同一个数据中心