mongoDb CPU利用率100%的分析和解决

在公司的项目中,突然出现过一个情况,mongodb 的CPU利用率到达100%,导致服务器这边卡死了,请求了半天无响应,提示请求超时。

因为,当时APP用户可能会在某一个时间段集中的使用,所以,请求量一下子就飙上去了,刚好APP打开请求的时候,有一个mongodb的请求。

当时因为Mongodb的服务器不在我们这边,所以一下子没反应过来,不过最后还是给排除出,并解决了。这里就来记录下排查和解决的全过程。

问题分析:

1.根据代码,定位到了是Mongodb的报错。

2.进入Mongodb 服务器的监控后台,这里是在阿里云购买的云缓存。

3.知道是Mongodb出问题,就好办了,阿里云里面有个索引推荐,很好用的,会给出查询时间,执行次数,和推荐策略

OK,这里准备工作就基本做完了。

解决策略:

1.根据这些给出的执行次数,和执行时间慢的,去看了下库。从设计上,有问题,一个库有900W的数据,然后集合逻辑看了下,这库只往里面存数据,从不清理

2.没有建立过索引,包括单一索引和连接索引,这也是会导致慢的一个原因。优化后是这样的,

3.一个查询总数的方法有问题,下面是修改后的JAVA方法:

		MongoCollection<Document> collection = database.getCollection(pushMessageCollection);

		long cNt = collection.count(Filters.and(Filters.eq("userId", userId),
												Filters.eq("sendType", sendType),
												Filters.eq("message_read", "0")));

最开始的写法,大概就类型,Mysql 里,查询某个list,然后list.size(),得出总数,

修改后的方法:大概就相当于 count(id) 得出总数,

这样的话,修改后的方法,肯定就会比修改前的快。

方案基本决定下来了,实施后开始压力测试。

没修改时的2000并发:

修改后的2000并发:

可以看到时间,也明显的提高了。

并且测试4000 并发,虽然慢了,不过没崩掉。

再查看CPU信息,没有出现100%的情况了。

原文地址:https://www.cnblogs.com/sunxun/p/9646237.html

时间: 2024-10-02 21:25:39

mongoDb CPU利用率100%的分析和解决的相关文章

MongoDB CPU 利用率高排查

MongoDB CPU 利用率高,怎么破? 经常有用户咨询「MongoDB CPU 利用率很高,都快跑满了」,应该怎么办? 遇到这个问题,99.9999% 的可能性是「用户使用上不合理导致」,本文主要介绍从应用的角度如何排查 MongoDB CPU 利用率高的问题 Step1: 分析数据库正在执行的请求 用户可以通过 Mongo Shell 连接,并执行 db.currentOp() 命令,能看到数据库当前正在执行的操作,如下是该命令的一个输出示例,标识一个正在执行的操作.重点关注几个字段 cl

CPU利用率异常的分析思路和方法交流探讨

CPU利用率异常的分析思路和方法交流探讨在生产运行当中,经常会遇到CPU利用率异常或者不符合预期的情况,此时,往往暗示着系统性能问题.那么究竟是核心应用的问题?是监控工具的问题?还是系统.硬件.网络层面的问题?在上线前的测试过程中,经常会遇到新版本应用的CPU占用率比旧版本高,那么到底是新增的或者变更的什么模块导致呢?面对这种情况,我们应该如何定位和诊断问题的根本原因? 本期专题讨论会分享采用什么样的分析思路.分析方法和分析工具进行CPU使用情况的分析:并帮助大家解答以下问题: 1. CPU利用

java程序导致cpu利用率100%的解决方法

1)先用top找出哪个线程占着cpu #top 查看cpu 100% 的进程号,如进程号为16459 #top -H -p 16459 然后再看是哪个pid 比较高   找到cpu为100%的PID PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND 16539 root      25   0 1673m 525m  10m R 98.9 13.3   6:36.83 java 16462 root      1

记一次MongoDB CPU飙升至99%问题的解决

公司业务调整,把一部分数据由Redis转至MongoDB,业务在测试环境正常,生产环境上线后发现压力一上来MongoDB的服务直接把CPU占满了,和开发的同学分析了一下也参考了一下百度上类似的问题,最后定位原因:未使用索引. 解决方法很简单:对应的关键字段创建索引即可. 参考命令如下: >use Data;                                            #进入数据库Data,注意区分大小写: >db.stats();                   

w3wp.exe(IIS ) CPU 占用 100% 的常见原因及解决办法

对于IIS 管理员来说,经常会碰到 Web 服务器 CPU 占用 100% 的情况,以下是个人的日常工作总结和一些解决办法,主要用来剖析 w3wp.exe(IIS )  占用 CPU 100% 的一些原因 和解决方案,希望能对你有所帮助 w3wp.exe的解释 : 全名,IIS Application Pool Process. w3wp.exe是IIS工具的一部.w3wp.exe是在IIS(因特网信息服务器)与应用程序池相关联的一个进程,如果你有多个应用程序池,就会有对应的多个w3wp.exe

Java项目服务器cpu占用100%解决办法

服务器cpu占用100% 项目上线后运行一段时间,突然发现cpu 8个逻辑核心都占用100%,心情很紧张,然后就在网上找了一些解决方法,具体如下:        1.查找哪些进程在耗cpu         进入服务器,top 命令看一下,发现进程6633占用了800%        [[email protected] ~]# top        2.把进程的栈dump到文件里,以便后面的分析       [[email protected] ~]# jstack 23812 >> java

Linux jstack分析cpu占用100%

背景: 运行测试程序后,top命令发现某个进程(pid)占用cpu达到100%. 查看哪个线程占用最多资源: ps mp pid -o THREAD,tid,命令查看这个进程下面的所有线程占用情况. 发现线程324占用最多. 使用jstack进行跟踪: jstack pid 进行查看输出到临时文件 jstack 324> test 将刚刚发现占用cpu最多的线程id(324)换算成16进制,324==>144 查看jstack 生成的文件: 下面可以看出是哪行代码导致,查看那行代码发现有死循环

性能分析Linux服务器CPU利用率(转)

1.  指标范围 1.1  User mode CPU utilization+ System mode CPU utilization 合理值:60-85%,如果在一个多用户系统中us+sy时间超过85%,则进程可能要花时间在运行队列中等待,响应时间和业务吞吐量会受损害:us过大,说明有用户进程占用很多cpu时间,需要进一步的分析其它软硬件因素:sy过大,说明系统管理方面花了很多时间,说明该系统中某个子系统产生了瓶颈,需要进一步分析其它软硬件因素. 1.2  Wa(wait) 参考值:小于25

mysql cpu 100% 满 优化方案 解决MySQL CPU占用100%的经验总结

下面是一些经验 供参考 解决MySQL CPU占用100%的经验总结 - karl_han的专栏 - CSDN博客 https://blog.csdn.net/karl_han/article/details/5630782 MySQL服务器 IO 100%的分析与优化方案 - hello_katty的专栏 - CSDN博客https://blog.csdn.net/hello_katty/article/details/83268370 MySQL服务器CPU跑满100%的情况分析 - qq_