解决生产环境too man open files的问题

一、问题发现

刚刚上线的项目,前端使用的LVS+Haproxy做的负载均衡,支持高并发访问量,但是支撑一段时间后总是出问题,查看日志,发现有如下Too many open files的问题。

May 12, 2017 12:49:20 AM org.apache.tomcat.util.net.JIoEndpoint$Acceptor run
SEVERE: Socket accept failed
java.net.SocketException: Too many open files
        at java.net.PlainSocketImpl.socketAccept(Native Method)
        at java.net.AbstractPlainSocketImpl.accept(AbstractPlainSocketImpl.java:398)
        at java.net.ServerSocket.implAccept(ServerSocket.java:530)
        at java.net.ServerSocket.accept(ServerSocket.java:498)
        at org.apache.tomcat.util.net.DefaultServerSocketFactory.acceptSocket(DefaultServerSocketFactory.java:60)
        at org.apache.tomcat.util.net.JIoEndpoint$Acceptor.run(JIoEndpoint.java:222)
        at java.lang.Thread.run(Thread.java:745)

二、最大文件打开数描述

1、首先普及几个知识

  • Linux下一切都是文件,包括输入输出设备、网络连接、socket、管道等;
  • 与文件打开数最相关的是文件描述符(有的人喜欢称作文件标识符,英文为file descriptor),文件打开数的实质就是文件描述符的数量;
  • 文件打开数的多少取决于系统种类、内存大小,int(语言关键字,如C99的int)长度(非负整数),以及系统管理员的设定;
  • 最大文件打开数是针对一个进程而言,即一个进程能打开的文件句柄数目是有限的,不能超过最大文件打开数;
  • ulimit 命令只对当前shell有效,因此在编写Shell脚本时,如果需要并能控制文件最大打开数,则先执行“ulimit -n 文件打开数”命令,在去执行下面的内容;
  • 在Linux中被打开的文件描述符存放在/proc/PID/fd/,其中PID就是process identifier。

除了需要注意,还需要注意ulimit -v unlimited,最大可用的虚拟内存(The maximum amount of virtual memory available to the shell and, on some systems, to its children)

2、最大文件打开数的全局设置

在CentOS和Ubuntu中ulimit是一个bash里面的内置命令,就像if、shift一样,并不是一个单独的命令,因此在Ubuntu中通常会遇到有人使用sudo ulimit -n 65535命令时遇到找不到这个命令的提示(也许是sudo的bug),

ulimit提供shell或者进程可用资源的控制,这些可用资源包括但不限于最大文件打开数、最大可用虚拟内存、最大进程数量、socket buffer等,它有两种限制等级hard和soft,分别对应的参数开关是-H和-S,hard限制使得非root用户不得增加(超过)设定的值,soft限制允许非root用户增加到hard的限制值,通常一般会将hard值和soft值设置成一个相同的值,命令是ulimit -HSn 65535。

ulimit只对当前shell有效,要想在任何地方生效,除了先执行ulimit命令以外就是更改配置文件,也就是更改最大文件打开数的全局设置,方法是编辑/etc/security/limits.conf文件,添加以下两行,重新登录系统生效。

*  hard  nofile  65535
*  soft  nofile  65535

其中,“*”表示所有用户都生效,重启后,在任何地方执行ulimit -n就会显示65535。

3、一些与文件打开数相关的命令以及其他相关命令

  1. 查看当前系统的文件打开总数(Maximum number of opened files):cat /proc/sys/fs/file-max
  2. 查看当前进程的文件打开数:lsof -p 16075 | wc –l
  3. 查看当前端口的文件打开数:lsof -i:80 | wc -l
  4. 在使用lsof之前需要注意,lsof不适合查看一个连接数很高或者数量动态变化过快的进程或端口
  5. 查看某个进程使用的文件:lsof -p 16075
  6. 查看某个端口使用的文件:lsof -i:80
  7. 查看使用某个文件的用户和程序:fuser -v /bin/bash

三、注意事项

1、使用ulimit -n 65535可以立刻生效,但是重新登录之后会恢复成系统初始设置1024。

2、也可以在/etc/profile的最后配置ulimit -n 65535,使其生效。

时间: 2024-10-06 17:42:45

解决生产环境too man open files的问题的相关文章

解决生产环境js无法调试问题

demo:https://github.com/chenchunyong/source-map-demo.git 背景 前端开发中,开发环境与生产环境的代码往往不一致,生产环境的代码通过构建工具进行合并,混淆,压缩等操作.不过通过构建工具生成的js代码可读性差,不利于维护.排查问题. 解决方案 首先,通过构建工具生成两个生产js文件,如下: 所有用户可见js,比如bundle.js 特定用户js,排查问题用,此js文件会加入sourcemap引用,比如说bundle.debug.js 然后,根据

Tomcat学习总结(8)——Tomcat+Nginx集群解决均衡负载及生产环境热部署

近日,为解决生产环境热部署问题,决定在服务器中增加一个tomcat组成集群,利用集群解决热部署问题. 这样既能解决高并发瓶颈问题,又能解决热部署(不影响用户使用的情况下平滑更新生产服务器)问题. 因为项目是前后端分离的,所以本以为成本很低,没想到遇到了一系列的坑,解决了2天才搞定,发现了很多不是集群而是项目本身的问题. 我是同一个服务器下配置tomcat和nginx等,本文主要面向有一定基础的读者,基本配置就不在本文累述了(基础问题可以留言或者发邮件). 0x0_1 服务器环境 服务器: Cen

企业中的软件开发——开发环境、测试环境、镜像环境与生产环境的区别

开发环境:开发环境是程序员们专门用于开发的服务器,配置可以比较随意,为了开发调试方便,一般打开全部的错误报告和测试工具,是最基础的环境.开发环境的分支,一般是feature分支. 测试环境:一般是克隆一份生产环境的配置,一个程序在测试环境工作不正常,那么就肯定不能把它发布到生产服务器上,是开发环境到生产环境的过渡环境.测试环境的分支一般是develop分支,部署到公司私有的服务器或者局域网服务器上,主要用于测试是否存在bug,一般会不让用户和其他人看到,并且测试环境会尽量与生产环境相似.有时测试

OpenSSL.Net 在生产环境中无法正常加载的原因分析与解决 z

http://blog.csdn.net/wangjia184/article/details/6990098 http://www.openssl.org/ 在本地测试好好的代码部署到生产环境后,遇到OpenSSL.Net不能加载的错误. Could not load file or assembly 'ManagedOpenSsl' or one of its dependencies. An attempt was made to load a program with an incorr

vue开发环境和生产环境里面解决跨域的几种方法

  跨域指浏览器不允许当前页面的所在的源去请求另一个源的数据.源指协议,端口,域名.只要这个3个中有一个不同就是跨域. 这里列举一个经典的列子: #协议跨域 http://a.baidu.com访问https://a.baidu.com: #端口跨域 http://a.baidu.com:8080访问http://a.baidu.com:80: #域名跨域 http://a.baidu.com访问http://b.baidu.com:   现在很多公司都是采用前后分离的方式开发.那么出现经常和会

linux生产环境精华优化实战配置(亲测)

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ 编写人:陈飞 邮箱:[email protected] +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ CentOS系统安装之后并不能立即投入生产环境使用,往往需要先经过我们运维人员的优化才行.在此讲解几

CentOS(5.8/6.4)linux生产环境若干优化实战------就爱运维

特别说明:本文来自就爱运维.特和所有博友分享.更多优化,请关注www.92yunwei.com后续内容以及分享. CentOS系统安装之后并不能立即投入生产环境使用,往往需要先经过我们运维人员的优化才行.在此讲解几点关于Linux系统安装后的基础优化操作.注意:本次优化都是基于CentOS(5.8/6.4). 下面我就为大家简单讲解几点关于Linux系统安装后的基础优化操作. 注意:本次优化都是基于CentOS(5.8/6.4).关于5.8和6.4两者优化时的小区别,我会在文中提及的. 优化条目

require.js+backbone 使用r.js 来压缩,本地不压缩,生产环境压缩 的实现方式

requie.js 和backbone.js 这里就不说了,可以去看官方文档,都很详细! 但是使用require.js 默认带的压缩方式感觉不是很方便,所以本文主要讲 利用r.js压缩,来实现本地不压缩,生产环境压缩 r.js 是运行在node上的,默认使用UglifyJS.UglifyJS真的很好用,那为什么说默认的方式 不是很方便呢? r.js 单独压缩一个文件也很好用的,但在实际项目中,总不能一个一个压吧!因此r.js提供了一种多文件的压缩方式 ,使用一个叫bulid.js 的配置文件来配

webpack开发与生产环境配置

前言 作者去年就开始使用webpack, 最早的接触就来自于vue-cli.那个时候工作重点主要也是 vue 的使用,对webpack的配置是知之甚少,期间有问题也是询问大牛 @吕大豹.顺便说一句,对于前端知识体系迷茫的童鞋可以关注豹哥的微信公众号,<大豹杂说>.豹哥对于刚开始小白的自己(虽然现在也白)知无不谈,而且回复超快超认真.这里真的很感谢豹哥.前段时间工作不忙,自己就啃了啃webpack的官方文档,毕竟知识还是在自己脑袋里踏实.然后根据vue-cli的配置文件丰富了一点新的东西,发布出