MongoDB Database Profiling

MongoDB Database Profiling


MongoDB Profiler是一个捕获数据库执行活动的系统,它可以帮助识别慢查询和操作。

Profiling级别


可用的捕获级别意义如下:

级别 设置

0 禁用

1 启用,只记录慢操作

2 启用,记录所有操作

查看Profiling级别


> db.getProfilingLevel()

启用Profiler


> db.setProfilingLevel(1)

完整命令为:

db.setProfilingLevel(level,slowms)

当level为1的时候,慢操作的默认值为100ms,若指定慢操作为500ms:

> db.setProfilingLevel(1,500)

注意:

在默认情况下,mongod记录所有的慢查询(由showOpThresholdMs定义,默认值为100ms)到MongoDB日志文件中。

只在关键时候启用Profiling,尽量不要在生产环境启用它。

基于独立mongod实例启用Profiling。该设置将不会通过副本集或分片集群扩散到其他实例。

查看Profiler结果


使用的是system.profile 来记录,而system.profile 是一个capped collection。在你的数据库的system.profile集合,调用mongo shell命令show profile,或者查询system.profile集合可以查看Profiler的输出,如:

db.system.profile.find( { millis : { $gt : 1000 } } )

就可以输出,查询时间大于1秒的慢查询。

Profiler信息内容详解


ts-该命令在何时执行.

millis Time-该命令执行耗时,以毫秒记.

info-本命令的详细信息.

query-表明这是一个query查询操作.

ntoreturn-本次查询客户端要求返回的记录数.比如, findOne()命令执行时 ntoreturn 为 1.有limit(n) 条件时ntoreturn为n.

query-具体的查询条件(如x>3).

nscanned-本次查询扫描的记录数.

reslen-返回结果集的大小.

nreturned-本次查询实际返回的结果集.

update-表明这是一个update更新操作.

fastmod-Indicates a fast modify operation. See Updates. These operations are normally quite fast.

fastmodinsert – indicates a fast modify operation that performed an upsert.

upsert-表明update的upsert参数为true.此参数的功能是如果update的记录不存在,则用update的条件insert一条记录.

moved-表明本次update是否移动了硬盘上的数据,如果新记录比原记录短,通常不会移动当前记录,如果新记录比原记录长,那么可能会移动记录到其它位置,这时候会导致相关索引的更新.磁盘操作更多,加上索引更新,会使得这样的操作比较慢.

insert-这是一个insert插入操作.

getmore-这是一个getmore 操作,getmore通常发生在结果集比较大的查询时,第一个query返回了部分结果,后续的结果是通过getmore来获取的。

性能优化

尽管我们没有启用Profiler,但在生产环境中,我们查看日志文件仍可以看到大于100ms的慢操作。

tail -f /data/var/log/mongodb/mongod.log
Mon May 25 02:57:22.670 [conn756] query MyTest.Pro query: { $query: { CutePath: /^122-133-1456(-\d+)*$/, Avail.Status: { $lt: 5 }, $or: [ { _id: { $lt: 3310 } }, { _id: { $gt: 8520, $lt: 8530 } }, { _id: { $gt: 9720, $lt: 9730 } } ] }, $orderby: { Avail.Status: 1, AvgRate: -1 } } ntoreturn:200 ntoskip:0 nscanned:18764 scanAndOrder:1 keyUpdates:0 numYields: 10 locks(micros) r:217999 nreturned:200 reslen:563505 116ms

如果nscanned(扫描的记录数)远大于nreturned(返回结果的记录数)的话,那么我们就要考虑通过加索引来优化记录定位了。

reslen 如果过大,那么说明我们返回的结果集太大了,这时请查看find函数的第二个参数是否只写上了你需要的属性名。

对于创建索引的建议是:如果很少读,那么尽量不要添加索引,因为索引越多,写操作会越慢。如果读量很大,那么创建索引还是比较划算的。

参见:

http://docs.mongodb.org/manual/administration/analyzing-mongodb-performance/#database-profiling

http://docs.mongodb.org/master/MongoDB-crud-guide.pdf

时间: 2024-12-28 21:47:52

MongoDB Database Profiling的相关文章

mongodb启用Profiling定位问题

建议使用方法三,最简单且容易查看 一:如果mongodb已经运行了很长时间,此时查看mongod.log很大,没法打开查看相应信息 #ps -ef|grep mongod 找到相应的mongod的进程的pid 然后kill -SIGUSR1 pid  这样mongod就会重新生成一个日志文件 > db.setProfilingLevel(2);  {"was" : 0 , "ok" : 1}  > db.getProfilingLevel() 上面斜体的

[MongoDB]Profiling性能分析

摘要 上篇文章介绍了mapReduce这个聚合操作.本篇将继续学习,db有了,collection和document也有,基本上够用了,但是随着项目上线后,发现业务数据越来越多,查询效率越来越慢,这时就需要分析慢查询记录了.如何开启慢查询记录?就是本篇文章介绍的内容了. 相关文章 [MongoDB]入门操作 [MongoDB]增删改查 [MongoDB]count,gourp,distinct [MongoDB]mapReduce [MongoDB]索引 Profiling 首先添加测试数据,添

MongoDB性能优化指南

一.索引 MongoDB 提供了多样性的索引支持,索引信息被保存在system.indexes 中,且默认总是为_id创建索引,它的索引使用基本和MySQL 等关系型数据库一样.其实可以这样说说,索引是凌驾于数据存储系统之上的另一层系统,所以各种结构迥异的存储都有相同或相似的索引实现及使用接口并不足为 奇. 1.基础索引 在字段age 上创建索引,1(升序);-1(降序): db.users.ensureIndex({age:1}) _id 是创建表的时候自动创建的索引,此索引是不能够删除的.当

MongoDB CPU 利用率高排查

MongoDB CPU 利用率高,怎么破? 经常有用户咨询「MongoDB CPU 利用率很高,都快跑满了」,应该怎么办? 遇到这个问题,99.9999% 的可能性是「用户使用上不合理导致」,本文主要介绍从应用的角度如何排查 MongoDB CPU 利用率高的问题 Step1: 分析数据库正在执行的请求 用户可以通过 Mongo Shell 连接,并执行 db.currentOp() 命令,能看到数据库当前正在执行的操作,如下是该命令的一个输出示例,标识一个正在执行的操作.重点关注几个字段 cl

MongoDB的内置角色 Built-In Roles

关于芒果的权限控制说白了就是定义 Role(角色) 来控制对数据库进行的操作(调用的方法比如查询方法find). 系统内置的Role分为 以下几大类: Database User Roles 这个是针对非系统数据库和部分系统表的角色组 Database Administration Roles 可以操作所有数据库 Cluster Administration Roles 管理员族 针对整个系统进行管理 Backup and Restoration Roles 备份还原角色组 All-Databa

Database User Roles

Database User Roles Every database includes the following client roles: read Provides the ability to read data on all non-system collections and on the following system collections:.system.indexes" rel="nofollow">system.indexes, .system.

Mongodb profile(慢查询日志)

在MySQL中,慢查询日志是经常作为我们优化数据库的依据,那在MongoDB中是否有类似的功能呢?答案是肯定的,那就是MongoDB Database Profiler.所以MongoDB 不仅有,而且还有一些比MySQL的Slow Query Log更详细的信息. 开启 Profiling  功能 有两种方式可以控制 Profiling  的开关和级别,第一种是直接在启动参数里直接进行设置. 启动MongoDB时加上–profile=级别  即可. 也可以在客户端调用 db.setProfil

MongoDB 创建基础索引、组合索引、唯一索引以及优化

一.索引 MongoDB 提供了多样性的索引支持,索引信息被保存在system.indexes 中,且默认总是为_id创建索引,它的索引使用基本和MySQL 等关系型数据库一样.其实可以这样说说,索引是凌驾于数据存储系统之上的另一层系统,所以各种结构迥异的存储都有相同或相似的索引实现及使用接口并不足为 奇. 1.基础索引 在字段age 上创建索引,1(升序);-1(降序): db.users.ensureIndex({age:1})1_id 是创建表的时候自动创建的索引,此索引是不能够删除的.当

MongoDB副本集

简介 mongodb复制(replication)是将数据同步在多个服务器的过程.主节点记录在其上的所有操作oplog,从节点定期轮询主节点获取这些操作,然后对自己的数据副本执行这些操作,从而保证从节点的数据与主节点一致.复制提供了数据的冗余备份,并在多个服务器上存储数据副本,提高了数据的可用性,并保证数据的安全性.复制还允许您从硬件故障和服务中断中恢复数据. 而副本集(replica set)是从mongodb 1.6 提供的新功能,比复制功能要强大一些并增加了故障自动切换和自动修复成员节点,