MongoDB 最大连接数 设置失效的异常分析

背景介绍:

查询MongoDB配置参数,可以知道关于最大连接数的参数是maxConns。但是连接实例后,查看支持的最大连接数,还是默认的819。

说明:最大连接数是由maxConn (maxIncomingConnections)和操作系统单个进程能打开的最大文件描述符数总量的80%决定的,取两个之间的最小值。默认单个进程能打开的最大文件描述符数为1024,1024*80% = 819.2 取整数819。所以最大可以支持的并发连接数为819。

案例重现

以下为本次测试MongoDB案例配置的参数。

启动后查看最大连接数。

运行命令:db.serverStatus().connections

Current表示当前到实例上正在运行的连接数。

Available表示当前实例还可以支持的并发连接数。

也就是说此实例最大能支持的并发连接数为:Current+available=3+816=819.

所以设置的maxConns参数无效。所以设置的maxConns参数无效!所以设置的maxConns参数无效!所以设置的maxConns参数无效!

答案求索

此时查看查看网上相关资料,大部分集中在 Linux系统最大文件描述符数。查看我们系统配置,此时已经是65535了。不是系统最大文件描述符数限制的了。

转个弯,因为我们是为操作系统是 centos 7 ,所以我们的mongodb服务是透过systemctl来管理的。那如果是通过service 命令来管理此服务呢?

测试1 测试用service来管理mongodb 服务 对最大连接数的影响

(1)       在/etc/init.d目录下创建名为mongodbtest0903的服务;

(2)       服务的配置如下:

(3)       赋予执行权限,然后开启服务

(4)       此时查看连接数为2500(为maxConns参数值)

(5)       关闭 mongodb 服务

以上说明用service 来管理服务,最大连接数参数起作用了。

测试2 如果直接用Mongodb command打开呢?

(1)       直接开启

(2)此时查看连接数为2500(为maxConns参数值)

(3)关闭此服务

以上说明直接开启Mongodb服务,最大连接数参数起作用了。

通过service 和  mongodb 命令启动服务,最大连接数都是设置的参数,而通过systemctl 来开启此服务就变成了默认的819.

探究

我们来具体分析下systemctl 开启的 mongodb 服务(此服务定义为mongodbtest0903)。

(1)查看此服务的所有配置细节的命令

systemctl show mongodbtest0903.service

部分细节如下

此时 LimitNOFILE=4096

(2)              查看此服务的进程,以及此进程下的资源限制

进程的资源限制

终于看到了 资源限制是1024。

问题1:为什么经过systemctl 启动的mongodb服务变成了默认的819.

回答:因为systemctl 启动的服务进程其最大文件描述符数变成了1024. 1024*80% = 819.2 取整数819.

问题2:为什么系统设置的最大是65525 而 systemctl 变成了1024.

在Centos7系统中,使用Systemd替代了之前的SysV。/etc/security/limits.conf文件的配置作用域缩小了。/etc/security/limits.conf的配置,只适用于通过PAM认证登录用户的资源限制,它对systemd的service的资源限制不生效。

其实仔细查看/etc/security/limits.conf文件的注释,说明了对系统服务不生效。

解决方案 

解决方案,知道了问题所在,针对此问题寻找解决方案相对容易了。

解决方案1:针对单个 systemctl 管理的服务。

在/lib/systemd/system中找到具体的服务,增加

# (open files)
LimitNOFILE=64000

命令。 修改后为:

重启服务,此时连接查看最大连接数为2500,到达设置的参数。

解决方案2 网上有种方案是对systemd全局修改。此方案本作者没有验证,转述如下,意思是修改 /etc/systemd/system.conf 即可:

全局的配置,放在文件/etc/systemd/system.conf和/etc/systemd/user.conf。 同时,也会加载两个对应的目录中的所有.conf文件/etc/systemd/system.conf.d/*.conf和/etc/systemd/user.conf.d/*.conf
其中,system.conf是系统实例使用的,user.conf用户实例使用的。一般的sevice,使用system.conf中的配置即可。systemd.conf.d/*.conf中配置会覆盖system.conf。

DefaultLimitCORE=infinity

DefaultLimitNOFILE=100000

DefaultLimitNPROC=100000

注意:修改了system.conf后,需要重启系统才会生效。

 

因为服务器上systemctl会管理多种服务,为减少对其它服务的影响,建议在单个服务上修改,集采用第一种方案。

其他相关知识

(1)mysql 服务也会遇到类似问题;

(2)* nofiles    - soft limit on the number of file descriptors a process may have;

(3) *soft limit与hard limit的不同:soft limit是真正生效的限制值,而hard limit仅仅是soft limit调整范围的一个上限。

原文地址:https://www.cnblogs.com/xuliuzai/p/9589272.html

时间: 2024-10-21 05:47:42

MongoDB 最大连接数 设置失效的异常分析的相关文章

Tomcat(tomcat虚拟主机,Tomcat日志,单机多实例配置实战,JVM设置和连接数设置)

一.配置Tomcat的虚拟主机 一.Tomcat虚拟主机基本配置. 在介绍nginx和apache的时候,我们都有提过虚拟主机,在tomcat中也有这么一说, [[email protected] ~]# vim /usr/local/tomcat/conf/server.xml 搜索/Host,其中<Host>和</Host>之间的配置为虚拟主机配置部分,name定义域名,appBase定义应用的目录,Java的应用通常是一个Jar的压缩包,将jar的压缩包放到appBase目录

MySQL 外键异常分析

外键约束异常现象 如下测例中,没有违反引用约束的插入失败. create database `a-b`; use `a-b`; SET FOREIGN_KEY_CHECKS=0; create table t1(c1 int primary key, c2 int) engine=innodb; create table t2(c1 int primary key, c2 int) engine=innodb; alter table t2 add foreign key(c2) referen

Tomcat之jvm及连接数设置

一.Tomcat的JVM提示内存溢出 查看%TOMCAT_HOME%\logs文件夹下,日志文件是否有内存溢出错误 二.修改Tomcat的JVM 1.错误提示:java.lang.OutOfMemoryError: Java heap space Tomcat默认可以使用的内存为128MB,在较大型的应用项目中,这点内存是不够的,有可能导致系统无法运行.常见的问题是报Tomcat内存溢出错误,Out of Memory(系统内存不足)的异常,从而导致客户端显示500错误,一般调整Tomcat的使

转载:Tomcat的JVM设置和连接数设置

Windows环境下修改“%TOMCAT_HOME%\bin\catalina.bat”文件,在文件开头增加如下设置:set JAVA_OPTS=-Xms256m -Xmx512m Linux环境下修改“%TOMCAT_HOME%\bin\catalina.sh”文件,在文件开头增加如下设置:JAVA_OPTS=’-Xms256m -Xmx512m’ 其中,-Xms设置初始化内存大小,-Xmx设置可以使用的最大内存. --------------------------------------

SylixOS 之epoll异常分析

1. SylixOS epoll介绍 SylixOS为了兼容Linux的epoll,创建了epoll的兼容子系统,并支持了epoll的部分功能.SylixOS epoll兼容子系统是由select子系统模拟出来的,所以效率没有select高. 2. epoll异常分析 2.1epoll异常场景 在使用线程A创建AF_UNIX匿名套接字发送数据:线程B把套接字加入epoll监听,且设置属性为一次有效:线程C等待epoll事件产生,并读取套接字中的数据.如程序清单 2-1所示.           

Android异常分析(转)

关于异常 异常? 异常就是一种程序中没有预料到的问题,既然是没有预料到的,就可能不在原有逻辑处理范围内,脱离了代码控制,软件可能会出现各种奇怪的现象.比如:android系统常见异常现象有应用无响应.应用停止运行.冻屏.重启.死机等,这些异常系统有统一的异常处理机制,出现异常系统就会执行相应的操作,最终有相应的现象体现出来.另外,一些不在预料之中的界面显示问题,操作问题,运行卡顿问题等也可以归于异常,只不过这种异常是人为逻辑缺陷,对系统来说是正常的,但这些缺陷在异常现象中占比却相当大,直接体现出

Resource temporarily unavailable用户的连接数设置的太小

-bash:fork:Resource temporarily unavailable的问题 出现这个问题的原因是linux用户的连接数设置的太小,只要修改max user processes就可以    www.2cto.com 设置各linux 用户的最大进程数,下面我把某linux用户的最大进程数设为10000个: ulimit -u 10000 ulimit -a core file size          (blocks, -c) 0 data seg size          

常? OOM 异常分析

---------作者: 捡?螺的?男孩 常? OOM 异常分析 堆溢出 栈溢出 方法区溢出 本机直接内存溢出 GC overhead limit exceeded 一.堆溢出 Java 堆?于存储对象实例,只要不断地创建对象,并且保证 GC Roots 到对象之间有可达路径来避免垃圾回收机制清除这些对象,那么 在对象数量到达最?堆的容量限制后就会产?内存溢出异常. 原因 无法在java堆中分配对象 应用程序保存了无法被GC回收的对象 应用程序过度使用finalizer 排查解决思路 查找关键报

mongodb数据库安装 & 设置管理员密码(单独mongo,无副本集)

##初始化系统环境,参考文档:服务器系统环境初始化,Centos7系统 #mongodb下载安装 mkdir -p /server/src /server/logs groupadd mongod useradd -s /sbin/nologin -g mongod mongod   cat /etc/passwd |grep mongo cd /server/src    ##安装mongodb 3.0.7版本,若需要其他版本,官网获取下载https://fastdl.mongodb.org/