系统重启后ngix reload不生效原因分析

这是一种比较少见,困扰我很久的问题,虽然这个问题很简单,但是找到根本原因还是费了不少时间,现在把分析过程分享如下。

前提:需要对Linux系统启动过程、Nginx进程启动过程及进程跟踪有一定的理解。

一,Nginx reload过程分析:

经过查看官网文档及结合Nginx源码分析,大致得出reload过程进行了如下操作。

1,检查配置是否正确

相当于nginx -t

2,打开日志文件

相当于nginx -s reopen

由于日志文件比较多,需要打开多个文件

3,重新监听套接字

相当于nginx

这个步骤会初始化很多东西,重点关注哈希表

4,关闭旧worker进程

相当于nginx -s quit

二,nginx进程分析

1,首先了解nginx的两种进程

master进程,root用户打开,接收信号,管理worker进程

worker进程,nginx用户打开,工作进程,负责处理http请求

2,starce跟踪主进程号,期间执行nginx -s reload,发现卡在检查日志文件这块

主进程跟踪,因为reload过程是系统发送HUP信号给nginx主进程

#starce -p 2298

......

open("/data/wwwlogs/access.xxx.xxx.xxx.log", O_WRONLY|O_CREAT|O_APPEND, 0644) = -1 EMFILE (Too many open files)

write(808, "2016/02/17 09:50:22 [emerg] 2298"..., 124) = 124

......

3,根据提示,查找进程的系统限制文件

master进程限制

# cat /proc/2398/limits

Limit                     Soft Limit           Hard Limit           Units

Max cpu time              unlimited            unlimited            seconds

Max file size             unlimited            unlimited            bytes

Max data size             unlimited            unlimited            bytes

Max stack size            10485760             unlimited            bytes

Max core file size        0                    unlimited            bytes

Max resident set          unlimited            unlimited            bytes

Max processes             127015               127015               processes

Max open files            1024                 4096                 files

Max locked memory         65536                65536                bytes

Max address space         unlimited            unlimited            bytes

Max file locks            unlimited            unlimited            locks

Max pending signals       127015               127015               signals

Max msgqueue size         819200               819200               bytes

Max nice priority         0                    0

Max realtime priority     0                    0

Max realtime timeout      unlimited            unlimited            us

worker进程限制

# cat /proc/2300/limits

Limit                     Soft Limit           Hard Limit           Units

Max cpu time              unlimited            unlimited            seconds

Max file size             unlimited            unlimited            bytes

Max data size             unlimited            unlimited            bytes

Max stack size            10485760             unlimited            bytes

Max core file size        0                    unlimited            bytes

Max resident set          unlimited            unlimited            bytes

Max processes             127015               127015               processes

Max open files            409600               409600               files

Max locked memory         65536                65536                bytes

Max address space         unlimited            unlimited            bytes

Max file locks            unlimited            unlimited            locks

Max pending signals       127015               127015               signals

Max msgqueue size         819200               819200               bytes

Max nice priority         0                    0

Max realtime priority     0                    0

Max realtime timeout      unlimited            unlimited            us

补充错误日志:

2016/02/17 10:48:05 [notice] 47386#0: signal process started

2016/02/17 10:48:05 [emerg] 2298#0: open() "/data/wwwlogs/access_xxx.xxx.xxx.log" failed (24: Too many open files)

三,解决方案

1,修改限制

一般从以下3方面调优:

第一:nginx.conf参数规划与设置

worker_rlimit_nofile :限制单个工作进程打开的最大文件数:

线上配置没有问题

worker_rlimit_nofile 409600;

第二:系统级别的检查与设置

就是 /etc/security/limits.conf的配置与修改,请参考Linux系统资源限制汇总

线上配置没有问题

*                soft   nofile          655350

*                hard   nofile          655350

第三:内核级别的检查与设置:

fs.file-max值的大小设置:

线上配置比较大

fs.file-max = 6553600

注意:file-max的默认值大概是系统内存的10%(系统内存以kb计算)

2,验证生效

结果发现以上配置前期都有配置,但是重启服务器发现主进程的限制并没有修改过来,但是登陆服务器后无论在终端ulimit -n 查看还是关闭nginx主进程后重启nginx都生效了,由此推理出

问题可能出在linux系统启动过程中,也就是说nginx主进程启动时,上面的限制配置没有生效,后来查阅资料发现系统启动后执行login时才会使limits.conf配置生效,所以需要调整顺序。

根据实际情况,系统启动过程如下:

1、读取/etc/inittab来读取默认级别 假设:读取到的默认级别是 3

2、执行初始化系统脚本 /etc/rc.d/rc.sysinit 来初始化脚本

3、然后执行 /etc/rc.d/rc 脚本

4、执行/etc/rc.d/rc.local脚本,此脚本是启动过程中最后启动的一个脚本。

最后会执行 /bin/login 登录用户。至此系统启动过程完成,login时才会执行/etc/profile,~/.bash_profile和~/.bashrc等,此时的ulimit -n查到的值不是nginx进程启动时的值。

默认用户登陆时会使limits.conf配置文件生效,这个比nginx进程启动晚,要在这之前使配置生效,需要补充配置如下:

cat /etc/rc.local

ulimit -HSn 655350 (注意在nginx启动前执行)

/usr/local/nginx/sbin/nginx

四,补充优化

主要是相关参数调大了一些。

1,内核优化

net.ipv4.tcp_max_tw_buckets 修改大一些,减少内核负担,iptable本身对内核性能有影响

# ss -an |awk ‘{print $1}‘|sort |uniq -c |sort -rn

15415 ESTAB

12979 TIME-WAIT

1961 FIN-WAIT-2

501 FIN-WAIT-1

234 LAST-ACK

32 SYN-RECV

11 LISTEN

3 CLOSING

1 SYN-SENT

1 State

1 CLOSE-WAIT

线上修改配置如下:

net.ipv4.tcp_max_tw_buckets = 18000

2,nginx优化

主要是哈希表,其他配置已经优化,哈希表有如下几种

server_names_hash可以加

map_hash可以加

types_hash够用

request header 不考虑

variables_hash 够用

线上修改配置如下:

server_names_hash_max_size  512000;

server_names_hash_bucket_size  64; (默认)

map_hash_max_size 204800;

map_hash_bucket_size  64; (默认)

时间: 2024-10-12 17:45:26

系统重启后ngix reload不生效原因分析的相关文章

ovs2.7 在系统重启后,再次使用时提示数据库无法连接的问题。

问题现象如下,ovs开始安装后,对ovs的操作是正常的,但是,现在系统重启后,OVS的操作第一条命令就失败,如下: 问题解决方法: 参考  http://blog.csdn.net/xyq54/article/details/51371819 问题根源是ovs 需要 the ovsdb, ovs-vswitchd, ovs-vsctl, 但是关机后它们会默认关闭 [解决方法]系统启动后,输入OVS命令前先输入如下命令:

Hyper-V 激活Windows系统重启后黑屏的解决方法 + 激活方法

异常处理汇总-服 务 器 http://www.cnblogs.com/dunitian/p/4522983.html 服务器相关的知识点:http://www.cnblogs.com/dunitian/p/4822808.html#iis 直接看激活:http://www.cnblogs.com/dunitian/p/5845589.html#jh 载入安装光盘ISO Shift+F10,输入:bootrec /fixboot 恢复启动了,但是还是未激活 这边说的是软激活(定期点一下,续激活)

CentOS6.5系统重启后宕机

刚接手新公司的业务,一天技术总监过来反映说,公司应用反应缓慢,通过检查发现,确有反应缓慢还时不时的关闭应用,查看日志文件发现是内存不足和内存溢出,步骤如下: 1.调整tomcat应用内存 vim bin/catalina.sh JAVA_OPTS="-server -Xms1024m -Xmx1024m -XX:PermSize=256M -XX:MaxNewSize=512m -XX:MaxPermSize=1024m -Djava.awt.headless=true " 或 JAV

系统重启后,蓝鲸CMDB报404故障

故障:CMDB无法打开 原因:使用host解析域名,域名服务器无法解析域名 cat /etc/resolv.conf # Generated by NetworkManager nameserver 192.168.1.1 处理方法:去除域名 cat /etc/sysconfig/network-scripts/ifcfg-ens160 DNS1=127.0.0.1 systemctl restart network cd /data/install/ ./bkcec stop all ./bk

修改hosts不立即生效原因分析

我们经常也遇到修改hosts不生效的情况,而且有时生效,有时不生效的情况也有发生,这到底是为什么呢? 起:DNS缓存机制 关于DNS缓存的机制,有一篇非常详细的文章What really happens when you navigate to a URL. 简单来说,一条域名的DNS记录会在本地有两种缓存:浏览器缓存和操作系统(OS)缓存.在浏览器中访问的时候,会优先访问浏览器缓存,如果未命中则访问OS缓存,最后再访问DNS服务器(一般是ISP提供),然后DNS服务器会递归式的查找域名记录,然

系统磁盘空间/dev/xvda1占满原因分析

由于项目原因需要定期检查磁盘空间占用情况,常用检查命令如下: 1.查看磁盘空间大小 df -lh 2.查看对应文件大小 du --max-depth=1 -h / 于一日发现在使用Flume + Kafka进行数据同步时,某一局点数据无法进行消费,通过df -lh查看发现系统空间满了,如下: /dev/xvda1       20G  20G  0G  100% / 然后,通过du --max-depth=1 -h / 查询对应的大文件,发现此目录下文件占用了2.3G的空间.通过各种方法找,都找

linux系统无法添加用户帐号的原因分析

生产环境配置: 操作系统: CentOS 6.6 1.产生的问题: 在使用useradd命令添加帐号(的)时候出现"seradd:cannotopen /etc/passwd" [[email protected] ~]#useradd -d /home/wwwroot/ftupuser -g ftp-s/sbin/nologin ftpuser useradd: cannotopen /etc/passwd 2.产生的原因: a)添加"i"隐藏属性后,就无法更动这

路由器级联后网速慢的原因分析和问题解决

问题描述 一楼主路由器,接光猫拨号上网.二楼二级路由器,WAN口有线连接一楼的主路由器.路由器参数设置如下: 参数 主路由器 二级路由器 Local IP 192.168.0.1 192.168.2.1 DHCP 开启 开启 WAN IP - 192.168.2.254 DNS   192.168.0.1 实际使用中发现,一楼网速正常,但二楼网速慢,只能显示文字,显示不出来图片,打开视频时更是直接提示网络有故障. 问题分析 1,问题应该出在二级路由器上,上网能连通却速度缓慢,说明硬件连接没问题,

maven-shade-plugin插件未生效原因分析

今天在项目的pom文件中引入maven-shade-plugin插件,构建一个uber-jar(包含所有依赖的jar包),但是诡异的事情出现了,执行mvn package后生成的jar包竟然没有包含被依赖的jar包,以前从来没遇到这种情况,下面是我的pom文件中关于plugins的片段: <build> <finalName>iot-kafkamsg</finalName> <pluginManagement> <plugins> <plu