SQL Server自动化运维系列——关于数据收集(多服务器数据收集和性能监控)

需求描述

在生产环境中,很多情况下需要采集数据,用以定位问题或者形成基线。

关于SQL Server中的数据采集有着很多种的解决思路,可以采用Trace、Profile、SQLdiag、扩展事件等诸多方案。

几种方案各有利弊,其中从SQL Server2012版本开始,微软的开始各种整合这些采集方案,力推扩展事件。

对于上述的数据采集只是一种实现手段,对于采集完数据的存储没有统一的规范,并且对于多服务器的数据采集及汇总没形成统一的规范。

本篇实现

1、通过SQL Server自带的数据采集器实现多服务器的性能采集

2、利用SQL Server数据采集数据仓库(DW)形成运维报表

3、通过灵活性的配置方式,实现不同服务器不同采集点的数据收集

<1>基础配置

以前,有个同事说SQL Server的自动化运维太弱了,并且定位问题也比较麻烦,需要记住各种系统的DMV....各种日志查找....你看看人家MySQL强大的图形化界面提示,让你一眼就能发现当前数据库所存在的问题。

的确,来看看MySQL所提供的图形化的运维界面

是他娘的帅气,把整体的平台给划分的很详细:网络、实例状态、存储状态。

而且还有看上去很优雅的图形化展示界面。

上述界面所反映的内容,对于问题的查找是相当便利的,在SQL SERVER中就找不到同样的模块。如果有经验的DBA会通过任务管理器、性能监视器、然后配合系统自带个一些个DMV...进行分析....看上去复杂并且很高深的样子。

其实,在SQL SERVER中,也有类似的功能模块,并且更灵活的实现多台服务器共同采集,下面,我们来看一下详细的使用和配置流程。

在数据收集上,右键选择“配置管理数据仓库”

SQL SERVER为了能够支撑多台服务器的数据采集任务,鉴于数据量的庞大和用于数据分析的重要性,所以自己创建了一个用于数据分析的数据仓库(DW)

这里选择好实例,创建好数据仓库就可以。

提示:为了避免影响生产系统的性能,一般这里建议采用另外一台空闲的实例,专门用于数据采集和性能分析。

我这里演示,就采用本地的实例进行配置,然后下一步:

到这一步是管理数据仓库的用户权限,可以配置用户权限,三种权限级别:管理员、可读、可写;

很简单,配置完成直接下一步,然后就完成了该数据采集的数据仓库的搭建。

<2>基础配置

这一步就是设置数据收集了,简单点讲就是要配置收集的数据项有哪些。

同样是,数据采集上右键,然后选择“设置数据采集”

然后,下一步就是连接数据仓库,选择缓存目录

然后,下一步就可以完成,这里SQL SERVER同样的内置了一套数据搜集的模板,会为你收集全部的基本信息,当然,也可以自定义,文章后面介绍。

来看默认的数据采集的收集项

自带的默认模板中,分为了查询统计信息,其实这个就对应的实例状态、磁盘存储、服务器活动,除了这下还赠送了一个实用工具信息,这个是用来灵活配置其它几个收集项的。

可以随时的根据个人喜好启动、停止数据收集动作,酌情采用。

并且,也可以自己配置收集动作的时间间隔或者状态值。

并且,SQL Server贴心的给内置了一下计划模板,基本涵盖了所有的应用场景。

然后,你就放心的让它自己去采集就可以了。不爽的时候随时停止就可以。

剩下来的事就是查看采集数据了,鉴于MYSQL提供了如此精美的图像化展现方式,SQL SERVER同样也有。

就是它了

看上去是不是也有那么点意思了,包括:CPU、内存、磁盘IO、网络...

并且顺带着SQL server等待、SQL语句执行情况等

然后,针对性能调优的一些语句,也给出了排序包括CPU、运行时间、IO总数、物理读取、逻辑读取等

当然,我本地的机器本身采集量就很少,并且运行的T-SQL语句就不多,所以图表工具显示的很空旷。

来看看磁盘存储的

上述内容大体就这些,自己用的时候再行挖掘吧,本篇提供思路。

如果经验老道的DBA,我估计上述语句通过系统的DMV都可以查看的到,但是那仅限于有经验的,上述方案为小白降低了维护数据库的成本。

并且可以在多台服务器中进行采集,集中处理问题。

结语

在本篇介绍利用SQL Server自带的数据收集工具进行数据库运维。关于自定义的数据收集项设置,后一篇介绍吧。

另外关于数据收集的DW有很多很有用的内容,如果对于大型的平台性能运维,可以借此扩展,形成自己的运维平台。

关于SQL Server自动化运维和检测的内容很广泛,其中很多都是从日常的经验中出发,一步步的从手动到自动的过程。

如果您看了本篇博客,觉得对您有所收获,请不要吝啬您的“推荐”。

时间: 2024-10-05 03:37:21

SQL Server自动化运维系列——关于数据收集(多服务器数据收集和性能监控)的相关文章

SQL Server自动化运维系列——监控磁盘剩余空间及SQL Server错误日志(Power Shell)

原文:SQL Server自动化运维系列--监控磁盘剩余空间及SQL Server错误日志(Power Shell) 需求描述 在我们的生产环境中,大部分情况下需要有自己的运维体制,包括自己健康状态的检测等.如果发生异常,需要提前预警的,通知形式一般为发邮件告知. 在所有的自检流程中最基础的一个就是磁盘剩余空间检测.作为一个高效的DBA不可能每天都要上生产机上查看磁盘剩余或者直到磁盘无剩余空间报错后才采取扩容措施. 当然,作为微软的服务器有着自己的监控软件:SCCM(System Center

SQL Server自动化运维系列——关于邮件通知那点事(.Net开发人员的福利)

需求描述 在我们的生产环境中,大部分情况下需要有自己的运维体制,包括自己健康状态的检测等.如果发生异常,需要提前预警的,通知形式一般为发邮件告知. 邮件作为一种非常便利的预警实现方式,在及时性和易用性方面也有着不可替代的优点. 所以,在本篇中将详细的分析下在SQL Server中的邮件通知功能及使用方式等. 本篇实现 1.通过SQL Server自带的邮件功能实现运维的预警及检测 2.利用数据库邮件组件代替传统的C#发送邮件的弊端 3.实现Job任务运行状态的检测 4.利用PowerShell实

SQL Server自动化运维系列——监控跑批Job运行状态(Power Shell)

需求描述 在我们的生产环境中,大部分情况下需要有自己的运维体制,包括自己健康状态的检测等.如果发生异常,需要提前预警的,通知形式一般为发邮件告知. 在上一篇文章中已经分析了SQL SERVER中关于邮件的基础配置,本篇将利用此功能对多台Server的跑批Job进行监控. 本篇实现 1.每天检查服务器中的SQL Server跑批Job的运行状态,如果跑批失败,则发邮件告诉管理员失败的明细 2.解决多台服务器同时检查 监控脚本 首先我们来解决第二个问题,关于多台服务器的问题: <1>一般监控我们需

SQL Server自动化运维系列——监控性能指标脚本(Power Shell)

需求描述 一般在生产环境中,有时候需要自动的检测指标值状态,如果发生异常,需要提前预警的,比如发邮件告知,本篇就介绍如果通过Power shell实现状态值监控 监控值范围 根据经验,作为DBA一般需要监控如下系统能行指标 cpu: \Processor(_Total)\% Processor Time \Processor(_Total)\% Privileged Time \SQLServer:SQL Statistics\Batch Requests/sec \SQLServer:SQL

SQL Server自动化运维系列——批量执行SQL脚本(Power Shell)

需求描述 一般在生产环境中,在投产的情况下,需要批量的来执行SQL脚本文件,来完成整个投产,如果投产文件比较多的情况下,无疑这是一个比较痛苦的过程,所以本篇通过PowerShell脚本来批量完成. 监控脚本 <#批量执行SQL脚本文件#> <#===========================================#> $serverInstance="WUXUEL1" $Database="111" #$userName=&q

sql server自动化运维脚本

数据库运维中盛传一个小段子,我误删除了数据库,改怎么办?有备份还原备份,没有备份就准备简历!听起来有趣但发生在谁身上,谁都笑不起来.接触了很多的客户发现90%客户的运维策略都不是很完善.本篇就分享一些常规的运维脚本,本篇没有涉及到的或不足的也请大家留言无私贡献深藏多年的脚本,谢谢! 邮件 邮件主要用来监控作业是否运行成功,如果您已经配置了类似zabbix等软件请忽略. 配置邮件服务 --SQL Server 并没有内置邮件服务器(Mail Server),它跟我们发送邮件一样,需要用户名和密码通

Exchange Server 2013 运维系列——故障恢复

如果公司的邮箱服务器挂了,我们又没有做高可用,这个时候我们需要尽快地恢复邮箱数据库,并且保证邮箱正常收发邮件.现在我们需要用到邮箱数据库的备份了,一般情况下,我们会把数据库备份在共享存储中,或者至少是备份在另一台服务器上.我们采用的方法是将存储里面的数据库文件复制出来,在新的服务器上部署Exchange并创建新的数据库,然后将源数据库文件覆盖到新数据库文件中,最后把源数据库中的所有用户移植至新的数据库. 下面进入具体步骤: 一.查看源服务器的情况: 1.源服务器名称,如下图: 2.源服务器的数据

saltstack自动化运维系列②之saltstack的数据系统

grains:搜集minion启动时的系统信息,只有在minion启动时才会搜集,grains更适合做一些静态的属性值的采集,例如设备的角色(role),磁盘个数(disk_num)等诸如此类非常固定的属性,另一个作用可以用来匹配minion 列出所有的grains选项 # salt '*' grains.ls 列出所有grains和内容 # salt 'mini1' grains.items 显示单个grains内容,get方法直接显示值,item方法会把条目名也显示出来获取单独的变量值fqd

【直播预告】马哥linux运维系列免费公开课报名&gt;&gt;

[直播预告]马哥linux运维系列免费公开课报名>> 51CTO学院签约名师马哥携手业内知名技术大牛联合推出的"linux运维"系列,免费公开课再次重磅来袭!由三位神级技术工程狮联合打造,24k纯干货技术分享,从linux小白到实战运维各种实战经验嗨翻你的大脑! 小伙伴们,报名加入上课QQ群:123347555 :让我们一起进入开源世界,共同见证Linux的辉煌. 上课方式: 每周三晚上8:00-9:30   QQ群内直播   点击加群>> 资深技术工程狮: 马