监控和剖析数据库操作 -- P6Spy、SQL Profiler、IronTrack SQL 使用简介

在我们 Java 开发应用程序的过程中,难免会碰到系统的性能问题,特别在企业应用的开发过程中,都会与数据库进行打交道。当我们碰到数据库性能时,最有效的就是直接跟踪每一个 SQL 语句的执行情况,SQL 语句的优化、索引的优化往往也是最容易取得最直接的效果的。

下面,我们首先开始介绍 P6Spy 这个剖析工具,看它是如何无侵入性地进行数据库操作的监控与剖析。

P6Spy

P6Spy 是一个可以用来在应用程序中拦截和修改数据操作语句的开源框架。通过 P6Spy 我们可以对 SQL 语句进行拦截,相当于一个 SQL 语句的记录器,这样我们可以用它来作相关的分析,比如性能分析。P6Spy 用 Log4J 来记录 JDBC 调用的日记信息。

自从 2003 年 11 月 30 日 P6Spy 版本 1.3 发布后,已经被下载超过 19,000 次了。P6Spy 支持 WebSphere、WebLogic、JBoss、Resin 和 Tomcat 等绝大多数的应用服务器。

使用步骤

首先,你的应用系统应当是基于数据库的,然后你需要去获取 P6Spy 相关的文件(在 参考资源 中可以找到下载链接,您可以直接下载软件包)。下面介绍 P6Spy 的安装与使用的详细操作过程:

  1. 下载 P6Spy 的文件包,也可以下载它的源文件包来研究;
  2. 把 P6Spy 的 jar 包 p6spy.jar 放到 CLASSPATH 中,如果是 Web 应用程序则放在 YourWebApp/WEB-INF/lib/ 目录下;
  3. 把 spy.properties 放到 CLASSPATH 目录下,如果是 Web 应用程序放在 YourWebApp/WEB-INF/classess/ 目录下,注意不是 lib/ 目录
  4. 修改你应用系统中的数据库驱动名称为 P6Spy 的驱动程序名称 com.p6spy.engine.spy.P6SpyDriver 其它的全部使用默认值,暂时先都不用修改;
  5. 打开配置文件 spy.properties 文件,找到 realdriver,把它的值改为你的应用系统的真正的数据库驱动名称;
  6. 运行你的应用程序或 Web 应用程序,可以在 spy.log 里看到 P6Spy 监测到的 SQL 详细的执行与操作的记录信息了,包含有完整的 SQL 执行参数。

P6Log 与 P6Outage

在 P6Spy 发布包中,它包含 P6Log 和 P6Outage 两个模块:

  1. P6Log

    P6Log 是用来拦截和记录任务应用程序的 JDBC 语句的。这个功能对于开发者监控 EJB 服务器上的 SQL 语句执行情况尤其有用,可以让开发者完成尽可能高效的代码。同时 P6Spy 的部署是极其简单的,而且根本不需要更改任何一行代码,即对现有的应用是无侵入性的。


    1

    2

    realdriver= (your driver)       (你的实际 JDBC 驱动程序名称)

    executionthreshold=整数时间     (以毫秒为单位)

  2. P6Outage

    P6Outage 专门用来检测和记录执行时间比较长的 SQL 语句,P6Outage 只记录超过配置条件里时间的那些信息,并对可能影响到数据库的运行效率减小到最低。


    1

    2

    #outagedetection=true|false    (是否记录较长时间运行的语句)

    #outagedetectioninterval=整数时间 (以秒为单位)

架构原理

简单地讲,我们可以认为 P6Spy 就是一个代理(Proxy),它只做了一层对 JDBC 驱动的拦截,然后转发出去,这样的设计与实际的应用程序没有任何的耦合性,除了在配置中将驱动程序改成 P6Spy 的拦截驱动外,程序其他地方并不需要做任何的改变。这层拦截器除了可能会给系统带来略微的性能下降外,对程序其他方面没有任何的影响。而相对于这一点点的性能下降,在开发环境中对于开发人员来说是无法感觉到,相比它所带来的好处,完全可以忽略不计。

图 1. P6Spy 对数据库进行拦截监控的处理过程

问题与解决

如果在你的应用程序启动后,却在 spy.log 文件中发现了如下的提示信息,那就是驱动程序加载先后的问题了。


1

2

3

4

<你的程序的数据库驱动名称> is a real driver in spy.properties, but it has

been loaded before p6spy.  p6spy will not wrap these connections.  Either

prevent the driver from loading, or try setting‘deregisterdrivers‘ to true in

spy.properties

请把 spy.properties 配置文件里的 deregisterdrivers=false 改为 deregisterdrivers=true,重新运行即可。

这是因为有些应用系统中会先于 P6Spy 加载了真正的数据库的驱动程序,导致 P6Spy 无法监控到,设置 deregisterdrivers为 true,是显式地把真正的数据库的驱动程序进行反注册掉,而采用 P6Spy 的驱动程序。

配置参数及相关意义

下表列出了 spy.properties 配置文件中的各配置项的名称、默认值及其意义和相关注意事项:

配置项名称 默认值
module.log com.p6spy.engine.logging. P6LogFactory
module.outage com.p6spy.engine.outage. P6OutageFactory
realdriver  
realdriver2  
realdriver3  
deregisterdrivers false
executionthreshold  
outagedetection false
outagedetectioninterval  
filter false
include  
exclude  
sqlexpression  
autoflush true
dateformat  
includecategories  
excludecategories  
stringmatcher  
stacktrace false
stacktraceclass  
reloadproperties false
reloadpropertiesinterval 60
useprefix false
appender com.p6spy.engine.logging. appender.FileLogger
logfile spy.log
append true
log4j.appender.STDOUT org.apache.log4j.ConsoleAppender
log4j.appender.STDOUT.layout org.apache.log4j.PatternLayout
log4j.appender.STDOUT. layout.ConversionPattern p6spy - %m%n
log4j.logger.p6spy INFO,STDOUT
realdatasource  
realdatasourceclass  
realdatasourceproperties  
jndicontextfactory  
jndicontextproviderurl  
jndicontextcustom  

SQL Profiler

SQL Profiler 是一个由 Jahia.org 提供的基于 P6Spy 引擎的快速剖析工具,用来统计 SQL 查询语句以便了解哪里是性能瓶颈,在哪里创建索引或者采取相应的办法才能提高效率,并且能根据 SQL 查询语句的情况帮你生成合适的索引脚本。

这个小工具可以实时地显示数据库查询的情况,通过集成的 SQL 解析器,在访问大多数表与列上面建立统计分析,并生成索引脚本。当然,其它的信息也会进行收集和显示,比如:单个数据库请求的时间、一类请求的时间以及所有请求的时间。因此,可以有效地通过视图的排序来检测数据的性能问题所在。这个工具对于大量的需要进行分析的请求是非常有用的,而不是人工一个个地去做分析。当你需要知道比如对相同的表和列进行访问但是采用不同的查询值时,这种分组的查询可以用建立在 ANTLR 上的 SQL 解析器进行分析。

使用步骤

首先,你的应用系统同样也应当是基于数据库的,然后你需要去获取 SQL Profiler 相关的文件(在 参考资源 中可以找到下载链接,您可以直接下载软件包)。下面介绍 SQL Profiler 的安装与使用的详细操作过程:

  1. 下载 SQL Profiler 的文件包进行安装;
  2. 把 p6spy.jar 及 sqlprofiler.jar 放到 CLASSPATH 中,如果是 Web 应用程序则放在 YourWebApp/WEB-INF/lib/ 目录下;
  3. 把 spy.properties 放到 CLASSPATH 目录下,如果是 Web 应用程序就放在 YourWebApp/WEB-INF/classess/ 目录下,注意不是 lib/ 目录;
  4. 修改你应用系统中的数据库驱动名称为 P6Spy 的驱动程序名称 com.p6spy.engine.spy.P6SpyDriver 其它的全部使用默认值,暂时不用修改;
  5. 打开 spy.properties 文件,把 realdriver 的值改为你的程序的数据库驱动名称;
  6. 注意要先运行 java -jar sqlprofiler.jar 来启动 SQL Profiler,并成功看到启动界面;
  7. 然后再启动你的应用程序或服务器,并开始进行正常的系统请求处理操作;
  8. 这样就可以在 SQL Profiler 图形化的界面上看到结果并进行分析了。

分析结果

经过一段时间的系统运行后,点击 Pause 按钮停止拦截,可以得到分析结果如下图:

图 2. SQL Profiler 的分析结果 Profiler 视图

接着,可以切换到 Loggers 视图,这是 Lgger 视图的信息:

图 3. SQL Profiler 的分析结果 Logger 视图

当然,也可以切换到 Analysis 视图,这是 Analysis 视图的分析结果信息:

图 4. SQL Profiler 的分析结果 Analysis 视图

在经过分析后,我们可以直接通过 SQLProfiler 提交的保存按钮,直接导出应当进行数据库优化的建议的索引脚本,通过查看索引脚本,我们可以看到创建索引的详细 SQL 脚本,这样,我们就可以非常方便地进行数据库调优了。

问题与解决

最后一个需要注意的问题就是需要先启动 SQLProfiler,然后再启动应用程序或者 Tomcat 等应用服务器。这是因为 SQLProfiler 默认使用的是 Log4j 的 SocketAppender,所以要先启动。否则,会因你的应用程序或应用服务器中的 Web 应用之类的因连接不到 Socket 的服务器(SQLProfiler 相当于 Socket 的服务器)而发生错误,可以通过 SQL Profiler 控制界面最下面的连接状态就可以知道是否有程序连接上来。

图 5. SQL Profiler 处于非连接状态

图 6. SQL Profiler 处于连接状态

IronTrack SQL

IronEye,一个专注于 JDBC 性能的监控和测试的开源项目,它包含有三个工具:IronEye SQL,IronEye Cache,IronTrack SQL。其中,IronEye SQL 用于监测 Java 应用和数据库服务器之间查询开销的时间,诊断在性能方面是否存在着相关问题,让开发人员在测试之前就能发现问题。IronEye 于 2003 年 10 月 1 日开始基于 Apache Software License 发布。

IronEye SQL 这个轻量级的 Java 工具提供所有流动在数据库与应用程序之间的 SQL 统计信息并用多张图表展现,可以快速优化程序的性能。

IronGrid 相对于 Continuous Integration 提出了 Continuous Performance 的概念,即在项目开发过程中随时关注性能问题,而不是传统的出了问题再解决的方案。

IronGrid 在应用程序对数据库的操作上的 Continuous Performance 是通过 IronTrack SQL 进行体现的。IronTrack SQL 能通过对 JDBC 的包装来拦截应用程序对数据库的请求,完成性能监控。IronTrack SQL 的好处在于不需要修改任何代码或者在数据库端安装任何程序,只需要在测试时把依赖的 JDBC 替换就可以了。

使用步骤

首先,你的应用系统同样也应当是基于数据库的,然后你需要去获取 IronTrack SQL 相关的文件(在 参考资源 中可以找到下载链接,您可以直接下载软件包)。下面介绍 IronTrack SQL 的安装与使用的详细操作过程:

  1. 下载 IronTrack SQL 的文件包进行安装;
  2. 把 irontracksql.jar, p6spy.jar 和 log4j-1.2.8.jar 放到 CLASSPATH 中,如果是 Web 应用程序则放在 YourWebApp/WEB-INF/lib/ 目录下;
  3. 把 spy.properties 放到 CLASSPATH 目录下,如果是 Web 应用程序就放在 YourWebApp/WEB-INF/classess/ 目录下,注意不是 lib/ 目录;
  4. 修改你程序的数据库驱动名称为 P6Spy 的驱动程序名称 com.p6spy.engine.spy.P6SpyDriver 其它的都不用更改;
  5. 打开配置文件 spy.properties 文件,找到 realdriver,把它的值改为你的应用系统的真正的数据库驱动名称;
  6. 设置监听端口号 monitorport=2000
  7. 先运行 java -jar irontracksql.jar 来启动 IronTrack SQL;
  8. 再启动你的应用程序或服务器;
  9. 可以在 IronTrack SQL 图形化的界面上看到结果并进行分析了。

连接设置

点击“Config”按钮就可以设置主机名、端口与刷新的时间(毫秒为单位)。根据你的服务器与端口的不同而进行相应地改变,下面以本地和 2000 端口,刷新时间为 500 毫秒为示例。设置完成后,确定,点击“Connect”就可以连接应用系统并进行监测与分析了,当要停止分析时,只要点击“Disconnect”按扭即可立刻停止分析了。

在分析的过程中,我们可以根据需要点击“Purge”按钮,它可以清除目前所监测到的内容,然后重新进行记录监测信息,很方便地进行重新开始。

图 7. IronTrack SQL 连接示例

分析结果

经过一段时间的系统运行后,我们可以直接得到分析的结果与相应的图形分析示例。相关的信息显示如下:

图 8. IronTrack SQL 分析结果

  • Count 列显示 SQL 语句的调用次数;
  • Avg Time 列显示 SQL 语句的执行平均时间;
  • Max Time 列显示 SQL 语句花费的最高时间;
  • SQL 列显示真正执行的 SQL 语句内容。

同时也可以通过设置过滤条件来显示指定条件的结果,比如:只关注平均调用次数大于 100 次 的结果。点击“Filtering”左边的小三角图标,可以显示如下的过滤条件设置栏目:

图 9. IronTrack SQL 设置相关的过滤条件

设置完成后,点击“Apply Filter”按钮即可以获取所需要的相关结果了。这样可以更加方便地集中精力进行所需要的内容分析,可以更加方便快速地定位到问题的所在之处,然后进行解决。

总结

通过使用 P6Spy、SQL Profiler、IronTrack SQL 工具,我们可以无侵入已有的应用系统而有效地进行数据库操作的监控与剖析,为发现系统的性能瓶颈,寻找系统的性能调优提供了相当便利的方法。

时间: 2024-11-08 22:12:06

监控和剖析数据库操作 -- P6Spy、SQL Profiler、IronTrack SQL 使用简介的相关文章

数据库操作----找了MySQL和SQL Sever两个的基础语句

这是MySQL的基本操作: 1 登入数据库:mysql -uroot -p+密码 (SQL Sever登入: osql -U 用户名 -P 密码) 2 显示已存在的数据库:show databases; 3 使用某个数据库:use+数据库名; 4 显示某个数据库下已存在的关系表:show tables; 5 6 查看某个关系表所有数据:select * from tableName; 7 查看某个关系表部分字段数据:select 字段1,字段2,...,字段n from tableName; 8

二十、CI框架数据库操作之查看生产的sql语句

一.代码如下: 二.我们访问一下: 三.我们对比一下数据库内容 原文地址:https://www.cnblogs.com/tianpan2019/p/11142309.html

QT学习笔记(16) QT5的数据库操作

一.编译驱动 参考博客:http://blog.csdn.net/xian0gang/article/details/49791351 因为从QT5以来,它就自带数据库驱动了,所以我们不需要费事的编译也可以使用数据库.QT访问MySQL需要两个动态链接库文件,一个是QT自己的mysql驱动插件,另一个是MySQL提供的动态链接库,缺一不可. 在程序里指定要访问的数据库是MySQL,QT会自动的加载MySQL驱动插件,其实实现依赖于MySQL的动态链接库访问MySQL. (1)访问MySQL提供的

Hibernate (面向对象的数据库操作)

JPA,java persistance api,java持久层接口,即与数据库打交道的一些接口.实现交给各个厂商去实现. ORM,Object/Relation Mapping,对象/关系数据库映射.面向对象的数据库操作,底层仍是sql语句. 获得 hibernate的maven依赖. <dependency> <groupId>org.hibernate</groupId> <artifactId>hibernate-core</artifactI

WordPress数据库操作函数详解

通过这个$wpdb对象,我们可以对WordPress数据库进行任何操作,包括建表.查询.删除.更新等.要注意的是,如果要在自定义函数中使用$wpdb,必须先将其全局化(global $wpdb;). 下面就详细介绍一下WordPress的数据库操作函数: 1.function query($query) 这个函数是最基本的数据库操作函数,$query为SQL语句,提交给数据库执行,结果分两种情况: 1). 如果是"insert|delete|update|replace", 返回受影响

Go语言开发(十八)、Go语言MySQL数据库操作

Go语言开发(十八).Go语言MySQL数据库操作 一.MySQL数据库驱动 1.MySQL数据库驱动简介 Go语言官方没有实现MySQL数据库驱动,常用的开源MySQL数据库驱动实现如下:(1)Go MySQL DriverGo MySQL Driver支持database/sql接口,全部采用Go语言实现.官方网站:https://github.com/go-sql-driver/mysql/(2)MyMySQLMyMySQL支持database/sql接口,也支持自定义的接口,全部采用Go

SQL之经典SQL语句大全

经典SQL语句大全 一.基础 1.说明:创建数据库CREATE DATABASE database-name 2.说明:删除数据库drop database dbname3.说明:备份sql server--- 创建 备份数据的 deviceUSE masterEXEC sp_addumpdevice 'disk', 'testBack', 'c:\mssql7backup\MyNwind_1.dat'--- 开始 备份BACKUP DATABASE pubs TO testBack 4.说明:

利用SQL Profiler 追踪数据库操作

原文:利用SQL Profiler 追踪数据库操作 SQL Server 事件探查器 是一个界面,用于创建和管理跟踪并分析和重播跟踪结果. 这些事件保存在一个跟踪文件中,稍后试图诊断问题时,可以对该文件进行分析或用它来重播一系列特定的步骤. SQL Server 事件探查器# Microsoft SQL Server 事件探查器 是 SQL 跟踪的图形用户界面,用于监视 数据库引擎 或 Analysis Services 的实例. 您可以捕获有关每个事件的数据并将其保存到文件或表中供以后分析. 

SQL优化工具 - SQL Server Profiler与数据库引擎优化顾问

最近项目做到几千个学生分别去人脸识别记录(目前约630000行)中查询最后一次记录,可想而知性能这块是个麻烦.于是乎,GET到了SQL Server Profiler和数据库引擎优化顾问这俩工SHEN具QI. 开始装逼... 首先来一条执行效率不怎么样的SQL语句 将SQL Server Profiler中的跟踪文件保存至本地 打开数据库优化引擎,选择工作负荷文件以及需要优化的数据库/表,点击开始分析 分析结束后会给你索引建议,执行操作→应用建议,将会自动生成SQL语句并执行,完成后再执行试试那