Sql Server随机抽取数据效率优化

Sql Server随机抽取数据效率优化
2013-05-11 1 个评论 作者:菜光收藏 我要投稿
Sql Server随机抽取数据效率优化

 山人我最近遇到一件很纠结的事情,就是如何快速的从数据表里随机抽取一条数据。

我生成了一个简单的数据表,并且导入了500W条数据进行测试。

下图为第一次采用的SQL语句:

Declare @d Datetime
Set @d=getdate()
SELECT top 1[ActivityID]
,[CardNo]
,[Password]
,[State]
,[CreateTime]
,[GetTime]
FROM [TGBus_Card].[dbo].[Ka_Card] Where ActivityID = 501 And State = 0 Order By NEWID()
Select [语句执行花费时间(毫秒)]=Datediff(ms,@d,Getdate())

这是我优先会想到的解决方案,NEWID()每次都要检索整个数据表,为每一行数据产生一个uniqueidentifier类型的唯一值,所以它的执行效率肯定不高 ,每次执行都要在4秒左右。

还有没有更好的办法那?!

山人我在想,因为SELECT是在ORDER BY之前执行的,所以能不能在SELECT的时候产生NEWID()后在ORDER BY使用那?

  于是有了第二个版本:

Declare @d Datetime
Set @d=getdate()
SELECT top 1[ActivityID]
,[CardNo]
,[Password]
,[State]
,[CreateTime]
,NEWID() as Random
FROM [TGBus_Card].[dbo].[Ka_Card] Where ActivityID = 501 And State = 0 Order By Random
Select [语句执行花费时间(毫秒)]=Datediff(ms,@d,Getdate())

确实有所提高!!但太不明显了。。。。。

还有没有更好的办法?!

于是我又想到了2005的新特性TABLESAMPLE,马上试试!

这是第三版的代码:

Declare @d Datetime
Set @d=getdate()
SELECT top 1[ActivityID]
,[CardNo]
,[Password]
,[State]
,[CreateTime]
,[GetTime]
FROM [TGBus_Card].[dbo].[Ka_Card] tablesample (1000 Rows) Where ActivityID = 501 And State = 0
Select [语句执行花费时间(毫秒)]=Datediff(ms,@d,Getdate())

速度太快了!!!10几毫秒就显示了!

到这里山人我本以为事情搞定了!心里还美滋滋的!于是小研究了一下TABLESAMPLE,不看不知道,原来TABLESAMPLE随机选取的单位是数据页!!我靠!!也就是说如果数据量很小的话很可能有取不到数据的可能,试一下果然如此!这个不靠谱的家伙!

问题又回到了起点。。。难道真的就要用NEWID了吗?正当山人我感慨的时候在MSDN上无意中看到了这段文字:

感觉有戏!!

于是又写了这第四版代码:

Declare @d Datetime
Set @d=getdate()
SELECT Top 1* FROM [TGBus_Card].[dbo].[Ka_Card]
WHERE 0.01 >= CAST(CHECKSUM(NEWID(), CardNo) & 0x7fffffff AS float) / CAST (0x7fffffff AS int)
And ActivityID = 501 And State = 0
Select [语句执行花费时间(毫秒)] = Datediff(ms,@d,Getdate())

这也是我最终采用的方法,SQL执行速度在1毫秒左右。

来源: <http://www.2cto.com/database/201305/209967.html>

原文地址:https://www.cnblogs.com/zengtianli/p/8625299.html

时间: 2024-10-29 19:50:45

Sql Server随机抽取数据效率优化的相关文章

SQL Server提高事务复制效率优化(三)订阅初始化优化

初始化订阅主要是由分发代理分发和应用快照代理之前生成的快照,所以优化的主体是分发代理. 1.初始化订阅 首先在本地创建一个订阅,发布服务器.分发服务器和订阅服务器都在同一台服务器上,仅为了测试生产环境不要这样做 分发服务器参数配置 初始化订阅运行时间 需要注意几点: 快照代理实际执行的是BCP程序,生成快照文件: 快照代理会在快照生成的初始阶段使用锁,虽然时间很短,但是影响范围较大. 在快照生成过程中,不能对表的结构进行更改. 2.优化参数测试 新建一个分发代理配置文件,命名为"分发代理优化参数

Atitit.并发测试解决方案(2) -----获取随机数据库记录 随机抽取数据 随机排序 原理and实现

Atitit.并发测试解决方案(2) -----获取随机数据库记录 随机抽取数据 随机排序 1. 应用场景 1 2. 随机抽取数据原理 1 3. 常用的实现方法:::数据库随机函数 1 4. Mssql 的实现 NEWID() 跟rand()  1 5. newid()与rand()的区别 2 6. NEWID() 2 7. 参考 2 1. 应用场景 并发测试 2. 随机抽取数据原理 原理是 循环所有的ID/记录,附加随机函数字段,然后排序as 这个字段.. 3. 常用的实现方法:::数据库随机

SQL SERVER存储引擎——数据

4. SQL SERVER存储引擎之数据篇 (4.1)文件 (0)主数据文件.mdf初始文件大小至少为3MB,次要数据文件.ndf初始大小,同日志文件一样至少为512KB: (1)SQL SERVER在逻辑上用文件组将文件分批管理(类似ORACLE的TABLESPACE),一个文件组可以包含多个文件,插入数据时,同一个文件组内的所有文件等比例增长.例如:文件组中有两个文件,初始大小分别为100M和200M,此时插入3M的数据,file1新增(100/300)*3M=1M,file2新增(200/

SQL Server 批量插入数据的两种方法

在SQL Server 中插入一条数据使用Insert语句,但是如果想要批量插入一堆数据的话,循环使用Insert不仅效率低,而且会导致SQL一系统性能问题.下面介绍SQL Server支持的两种批量数据插入方法:Bulk和表值参数(Table-Valued Parameters). 运行下面的脚本,建立测试数据库和表值参数. [c-sharp] view plaincopy --Create DataBase create database BulkTestDB; go use BulkTes

SQL优化工具 - SQL Server Profiler与数据库引擎优化顾问

最近项目做到几千个学生分别去人脸识别记录(目前约630000行)中查询最后一次记录,可想而知性能这块是个麻烦.于是乎,GET到了SQL Server Profiler和数据库引擎优化顾问这俩工SHEN具QI. 开始装逼... 首先来一条执行效率不怎么样的SQL语句 将SQL Server Profiler中的跟踪文件保存至本地 打开数据库优化引擎,选择工作负荷文件以及需要优化的数据库/表,点击开始分析 分析结束后会给你索引建议,执行操作→应用建议,将会自动生成SQL语句并执行,完成后再执行试试那

一个有趣的SQL Server 层级汇总数据问题

看SQL Server大V宋大侠的博客文章,发现了一个有趣的sql server层级汇总数据问题. 具体的问题如下: parent_id emp_id emp_name total_amout     NULL 2 Andrew 200     2 1 Nancy 100     2 3 Janet 120     3 4 Michael 80     1 5 Robert 50     每个员工的总销售额=自己的销售额+其下级员工的总销售额,     比如:     Andrew = 200_

SQL Server :理解数据记录结构

在SQL Server :理解数据页结构我们提到每条记录都有7 bytes的系统行开销,那这个7 bytes行开销到底是一个什么样的结构,我们一起来看下. 数据记录存储我们具体的数据,换句话说,它存在堆表里,或者存在聚集索引的叶子节点.数据记录结构是为了让SQL Server更高效的管理数据.我们来看下数据记录结构示意图: 上图中蓝色部分是所有数据记录部分,绿色部分是表结构里取决于定长/变长列的数据记录部分. 行头系统数据: 用做状态位1的第1字节(8位)是用来定义记录的属性: 第0位:版本信息

根据SQL Server中的数据向矢量图层中添加点对象

SQL Server中的数据已有坐标信息(LAT,LNG) 在FormLoad事件中从SQL里获取数据并存储在DataSet. //在顶部定义SqlConnection对象 // public static string conStr = "server=(local);database=DbName;uid=sa;pwd=123"; //public SqlConnection conn = new SqlConnection(conStr); conn.Open();//打开数据库

SQL Server插入中文数据后出现乱码

原文:SQL Server插入中文数据后出现乱码 今天在做项目的过程中遇到如标题的问题,情况如下图: 数据库使用的是SQL Server2012版本,创建表的脚本如下: CREATE TABLE [dbo].[Type](  [TypeId] INT NOT NULL PRIMARY KEY,     [TypeName] NVARCHAR(50)NOT NULL,     [Description] NVARCHAR(255) NULL,     [CategoryId] INT NOT NU