分享一个SQLSERVER脚本

原文:分享一个SQLSERVER脚本

分享一个SQLSERVER脚本

很多时候我们都需要计算数据库中各个表的数据量很每行记录所占用空间

这里共享一个脚本

CREATE TABLE #tablespaceinfo
    (
      nameinfo VARCHAR(50) ,
      rowsinfo BIGINT ,
      reserved VARCHAR(20) ,
      datainfo VARCHAR(20) ,
      index_size VARCHAR(20) ,
      unused VARCHAR(20)
    )  

DECLARE @tablename VARCHAR(255);  

DECLARE Info_cursor CURSOR
FOR
    SELECT  ‘[‘ + [name] + ‘]‘
    FROM    sys.tables
    WHERE   type = ‘U‘;  

OPEN Info_cursor
FETCH NEXT FROM Info_cursor INTO @tablename  

WHILE @@FETCH_STATUS = 0
    BEGIN
        INSERT  INTO #tablespaceinfo
                EXEC sp_spaceused @tablename
        FETCH NEXT FROM Info_cursor
    INTO @tablename
    END 

CLOSE Info_cursor
DEALLOCATE Info_cursor  

--创建临时表
CREATE TABLE [#tmptb]
    (
      TableName VARCHAR(50) ,
      DataInfo BIGINT ,
      RowsInfo BIGINT ,
      Spaceperrow AS ( CASE RowsInfo
                         WHEN 0 THEN 0
                         ELSE DataInfo / RowsInfo
                       END ) PERSISTED
    )

--插入数据到临时表
INSERT  INTO [#tmptb]
        ( [TableName] ,
          [DataInfo] ,
          [RowsInfo]
        )
        SELECT  [nameinfo] ,
                CAST(REPLACE([datainfo], ‘KB‘, ‘‘) AS BIGINT) AS ‘datainfo‘ ,
                [rowsinfo]
        FROM    #tablespaceinfo
        ORDER BY CAST(REPLACE(reserved, ‘KB‘, ‘‘) AS INT) DESC  

--汇总记录
SELECT  [tbspinfo].* ,
        [tmptb].[Spaceperrow] AS ‘每行记录大概占用空间(KB)‘
FROM    [#tablespaceinfo] AS tbspinfo ,
        [#tmptb] AS tmptb
WHERE   [tbspinfo].[nameinfo] = [tmptb].[TableName]
ORDER BY CAST(REPLACE([tbspinfo].[reserved], ‘KB‘, ‘‘) AS INT) DESC  

DROP TABLE [#tablespaceinfo]
DROP TABLE [#tmptb]

注意:使用之前要计算哪个数据库的记录,请先USE一下要统计表记录数的那个数据库!!



工作中遇到的问题

可以说我在实际的工作中 ,在100个问题中有90个都会先用到这个脚本

这里举一个我本人工作中遇到的一些问题

问题一:

程序员反映数据库查询慢,5分钟还没有出结果

我先用这个脚本看一下这个表有多少记录,大概有1000w+条数据

然后在本地的SSMS里查询,确实也是大概4分钟的样子才出来数据,看一下执行计划,发现查询能使用到索引

看一下数据库的压力,并不是很大,我跟会不会跟数据量有关系呢?

程序员要查询的结果条数是500条数据,业务表是做了分区的,按道理应该不会慢成这样。。。

后来我再看一下共享出来的那个脚本的结果,发现查询的结果大小=每行记录的大小*记录数

要查询大概500MB的数据,再传到客户端,不慢才怪

为什麽查询出的结果这么大?

主要是有几个大字段:例如:二进制字段和NVARCHAR(MAX)

并且时间范围跨度比较大

马上叫程序员改一下查询的语句,由于是entity framework程序,怎麽改我就不太清楚了,主要是不必要的字段就不查询处理并且缩小时间范围

问题二:

还有一些问题也需要知道每行记录的大小,例如删除表的历史数据,QA说要保留2013年之前的数据,你需要查出保留的数据或者2013年之前的数据占用多少G空间

再结合当前服务器的磁盘可用空间,来评估删除的数据是否太多或者太少

那么流程是:先查出2013年之前的记录数有多少-》计算表的总记录数-》计算表的大小-》手工计算每行记录的大小-》乘以2013年之前的记录数

如果没有每行记录数这个字段,那么你手工计算,是不是效率就变慢了???

问题三:

导数据的时候,你想知道当前已经导了多少数据了,那么执行一下这个脚本就可以了,这个脚本基本不会被阻塞

很快就能查出结果



脚本的计算方法

方法一

实际上利用的就是数据行大小的信息除以记录数

CASE RowsInfo
WHEN 0 THEN 0
ELSE DataInfo / RowsInfo

 方法二

SELECT AVG(DATALENGTH(C0))+AVG(DATALENGTH(C1))+AVG(DATALENGTH(C2))+AVG(DATALENGTH(C3)) FROM [dbo].[TB106]

说一下两种方法的区别

第一种方法是效率高,当表有上亿条记录的时候,如果你使用第二种方法执行AVG(DATALENGTH(C0))是很慢的,因为SQLSERVER要统计字段大小信息

可能十几分钟都出不来结果

当然,第一种方法也有一些缺陷,就是当表的记录数少的时候,统计出来的每行记录占用空间是不准确的

因为datainfo这个值是以数据页大小为单位的,因为就算表只有一条记录,那么也会占用一个数据页(8KB)

那么当8KB/1 =8KB,一条记录肯定不会是8KB大小的,所以记录少的时候会不准确

但是当记录数很多的时候,就准确了

看一下TB106这个表统计出来的结果值

SELECT AVG(DATALENGTH(C0))+AVG(DATALENGTH(C1))+AVG(DATALENGTH(C2))+AVG(DATALENGTH(C3)) FROM [dbo].[TB106]

可以看到是比较准确的

注意:

无论方法一还是方法二都不包括索引所占用的空间 !!



总结

大家平时一定会想:究竟DBA有什么作用?

在这里就给大家一个例子了,在工作中,程序员是不会关心他要查询的数据的大小的,他不管三七二十一只要把数据select出来就行了,然后收工

DBA这里就要解决数据查询不出来的问题,一般的程序员觉得查询500条数据是很少的,根本不会关心表设计,表的字段的数据类型

当工作越来越多,开发任务越来越重的时候更是这样

所以本人觉得DBA这个角色还是比较重要的o(∩_∩)o

如有不对的地方,欢迎大家拍砖o(∩_∩)o 

2014-7-7 脚本bug修复

由于算出来每行记录的精度有问题,我又对脚本的精度进行了改进

CREATE TABLE #tablespaceinfo
    (
      nameinfo VARCHAR(50) ,
      rowsinfo BIGINT ,
      reserved VARCHAR(20) ,
      datainfo VARCHAR(20) ,
      index_size VARCHAR(20) ,
      unused VARCHAR(20)
    )  

DECLARE @tablename VARCHAR(255);  

DECLARE Info_cursor CURSOR
FOR
    SELECT  ‘[‘ + [name] + ‘]‘
    FROM    sys.tables
    WHERE   type = ‘U‘;  

OPEN Info_cursor
FETCH NEXT FROM Info_cursor INTO @tablename  

WHILE @@FETCH_STATUS = 0
    BEGIN
        INSERT  INTO #tablespaceinfo
                EXEC sp_spaceused @tablename
        FETCH NEXT FROM Info_cursor
    INTO @tablename
    END 

CLOSE Info_cursor
DEALLOCATE Info_cursor  

--创建临时表
CREATE TABLE [#tmptb]
    (
      TableName VARCHAR(50) ,
      DataInfo BIGINT ,
      RowsInfo BIGINT ,
      Spaceperrow  AS ( CASE RowsInfo
                         WHEN 0 THEN 0
                         ELSE CAST(DataInfo AS decimal(18,2))/CAST(RowsInfo AS decimal(18,2))
                       END ) PERSISTED
    )

--插入数据到临时表
INSERT  INTO [#tmptb]
        ( [TableName] ,
          [DataInfo] ,
          [RowsInfo]
        )
        SELECT  [nameinfo] ,
                CAST(REPLACE([datainfo], ‘KB‘, ‘‘) AS BIGINT) AS ‘datainfo‘ ,
                [rowsinfo]
        FROM    #tablespaceinfo
        ORDER BY CAST(REPLACE(reserved, ‘KB‘, ‘‘) AS INT) DESC  

--汇总记录
SELECT  [tbspinfo].* ,
        [tmptb].[Spaceperrow] AS ‘每行记录大概占用空间(KB)‘
FROM    [#tablespaceinfo] AS tbspinfo ,
        [#tmptb] AS tmptb
WHERE   [tbspinfo].[nameinfo] = [tmptb].[TableName]
ORDER BY CAST(REPLACE([tbspinfo].[reserved], ‘KB‘, ‘‘) AS INT) DESC  

DROP TABLE [#tablespaceinfo]
DROP TABLE [#tmptb]

分享一个SQLSERVER脚本,布布扣,bubuko.com

时间: 2024-10-12 21:57:23

分享一个SQLSERVER脚本的相关文章

分享一个shell脚本:通过Jumper机器来创建Jumper和target机器账号

说明 代码使用和框架图 Jumper_target_machine_v3.md脚本使用的框架图: Jumper_target_machine_v3.md脚本作用: 通过Jumper机器来创建Jumper和target机器账号,完成target机器公钥写入,达到从电脑终端免密登录target机器. Jumper_target_machine_v3.md脚本使用: (1)只能使用root账户执行: (2)Jumper和target机器家目录均指定到/data目录下: (3)临时加载Jumper的ro

分享一个刷网页PV的python小脚本

下面分享一个小脚本,用来刷网页PV. [[email protected] ~]# cat www.py #!/usr/bin/python# coding: UTF-8import webbrowser as webimport timeimport osimport randomdata = raw_input('请输入网址:')count = random.randint (3,5)j = 0while j <count: i = 0 while i <= 3: web.open_new

分享一个MySQL分库分表备份脚本(原)

分享一个MySQL分库备份脚本(原) 开发思路: 1.路径:规定备份到什么位置,把路径(先判断是否存在,不存在创建一个目录)先定义好,我的路径:/mysql/backup,每个备份用压缩提升效率,带上时间方便整理 2.取数据库:抓取数据库名称,我用的awk和grep配合取数据库的名称(如果想按照表备份可以再细化一下)注意要用mysql -e选项 这样才能做成脚本 3.系统环境变量:因为用到了函数,所以非系统内置的命令 最好在脚本里面用 . /etc/profile  把系统当前的环境变量传过来

分享一个批量导出当前实例下的所有linkedserver脚本

原文:分享一个批量导出当前实例下的所有linkedserver脚本 分享一个批量导出当前实例下的所有linkedserver脚本 很多时候,我们都需要导出实例下面的登录用户,job,linkedserver等等 导出job比较复杂,下午写了一个脚本把所有的linkedserver导出来,但是密码不会显示出来 下面脚本在SQL2008 R2下面测试通过 -- ============================================= -- Author: <桦仔> -- Blog

分享一个监控网络,磁盘使用,平均负载和RAM使用的shell脚本

分享一个日常使用的监控网络,磁盘使用,平均负载和RAM使用的shell脚本 脚本在附件中. 使用截图如下:

分享一个R语言的脚本【时间记录】

分享一个R语言的脚本 最近捣弄下一个R语言的脚本,不知道大家有没有看过<奇特的一生>这本书,我高中看了后,高三就山寨了柳比歇夫大神的方法,记录时间开销.个人感觉是挺有用的. 脚本就是把下面的这种excel文件导入并自动转化成饼形图,输出图片到本地. 代码在此: record <- read.table("Book1.csv", header=TRUE,sep=",", fill=TRUE); library(ggplot2); new_sum<

分享一个查IP归属地的python脚本

今天同事给了6W多个IP叫我查出ISP和归属地,果断用python urllib2搞之,数据库用是淘宝的API接口 #!/usr/bin/python #coding:utf-8 import urllib2 import json import time url = 'http://ip.taobao.com/service/getIpInfo.php?ip=' def checkTaobaoIP(ip):     try:         response = urllib2.urlopen

[Unity3D入门]分享一个自制的入门级游戏项目&quot;坦克狙击手&quot;

[Unity3D入门]分享一个自制的入门级游戏项目"坦克狙击手" 我在学Unity3D,TankSniper(坦克狙击手)这个项目是用来练手的.游戏玩法来自这里(http://www.4399.com/flash/127672_3.htm),虽然抄袭了人家的创意,不过我只用来练习(目前还很不成熟,离人家的境界相差很大),坦克.导弹.建筑模型来自网络,应该不会有版权问题吧. 由于模型和代码总共10M以上了,需要源代码和发布的Windows版.网页版程序的同学麻烦点个赞并留下你的邮箱~ 到

分享一个自己写的.Net的ORM工具

注册博客园帐号也有好几年了,之前注册帐号主要是为了看别人的文章下载东西的时候方便.从来没有写过什么博客,一直以为只要注册了帐号就可以写博客,最近用到了才发现还得申请一下,于是就申请了博客,算了也不扯这么多没用的了,直接进入主题吧! 网上开源的ORM工具也不少,开源中国上就有不少,很多都下载试用过,不过感觉用起来都不是很方便,园子里面也有不少人分享自己写的ORM工具,用过一个叫 MySoft.Data 的ORM工具,感觉里面的链式调用函数的写法不错,但是用起来感觉也有些不如意的地方,于是某个周末的