最近两天上线版本,总是发现tomcat重启后一个小时内服务关闭,已经排除是内存泄露的问题,关于如何排除内存泄露嫌疑,请看我这边日志的姐妹篇:生产环境-linux-tomcat宕掉解决办法。
其实不能归纳为tomcat服务宕掉,虽然web访问不了,tomcat服务还在正常跑,只是日志出现此提示:
2015-3-16 16:24:41 org.apache.coyote.http11.Http11NioProtocol pause 信息: Pausing Coyote HTTP/1.1 on http-88** 2015-3-16 16:24:42 org.apache.catalina.core.StandardService stop 信息: Stopping service Catalina 2015-3-16 16:24:42 org.apache.catalina.loader.WebappClassLoader clearReferencesJdbc
没有其他多余的信息,一直怀疑是系统引起问题或者tomcat进程问题,这时候开发同事在测试的时候发现了个问题,使用SecureCRT连接服务器,用我的脚本重启后,直接关闭SecureCRT,tomcat访问页面就会访问不了,我这边也经过反复测试,发现问题确实出现在脚本上:
#!/bin/sh #auther: gushao #date: 2014-12-23 #aim: tomcat restart tomcat_home=/home/resin/tomcat tomcat_pid=`ps -ef | grep java | grep $tomcat_home | grep -v ‘grep‘ | awk ‘{print $2}‘` remove_log() { test -d $tomcat_home/logs/catalina || mkdir $tomcat_home/logs/catalina mv $tomcat_home/logs/catalina2* $tomcat_home/logs/catalina mv $tomcat_home/logs/catalina.2* $tomcat_home/logs/catalina test -f $tomcat_home/logs/catalina.out && mv $tomcat_home/logs/catalina.out $tomcat_home/logs/catalina`date +%Y-%m-%d_%H%M%S`.out || echo "$tomcat_home/logs/catalina.out is not exist" #test -f $tomcat_home/tnx/tnx.web.log && mv $tomcat_home/tnx/tnx.web.log $tomcat_home/tnx/tnx.web.`date +%Y-%m-%d_%H%M%S`.log || echo "$tomcat_home/tnx/tnx.web.log is not exist" } case $1 in stop) if [ -z $tomcat_pid ];then remove_log echo " tomcat已经是停止状态" exit else kill -9 $tomcat_pid remove_log fi ;; start) if [ -z $tomcat_pid ];then $tomcat_home/bin/catalina.sh start tail -f $tomcat_home/logs/catalina.out else kill -9 $tomcat_pid sleep 6 remove_log $tomcat_home/bin/catalina.sh start tail -f $tomcat_home/logs/catalina.out fi ;; restart) if [ -z $tomcat_pid ];then remove_log else kill -9 $tomcat_pid sleep 6 remove_log fi $tomcat_home/bin/catalina.sh start tail -f $tomcat_home/logs/catalina.out ;; *) echo "你的输入有误" ;; esac
为了方便重启后查看日志,在重启后是直接输出日志,而平时我都是看启动日志正常后,ctrl+c退出tail,这样是没有问题的,但是回想起来出现问题的那几次很可能是我一直没有关闭tail,直到SecureCRT超时自动关闭,或者没有先退出tail日志直接关闭了SecureCRT。
至于为什么直接关闭SecureCRT会导致tomcat居然会暂停web服务和端口?
当登录Linux时,系统会分配给登录用户一个终端(Session)。在这个终端运行的所有程序,包括前台进程组和后台进程组,一般都属于这个 Session。当用户退出Linux登录时,系统会给这个session所关联的所有进程发送SIGHUP信号,前台进程组和后台对终端输出的进程将会收到SIGHUP信号。这个信号的默认操作为终止进程,因此前台进程组和后台有终端输出的进程就会中止。
我是怀疑和这个有关,但是这个不是重点,重点在我写的脚本上,一下是修改后的脚本:
#!/bin/sh #auther: gushao #date: 2014-12-23 #aim: tomcat restart tomcat_home=/home/resin/tomcat tomcat_pid=`ps -ef | grep java | grep $tomcat_home | grep -v ‘grep‘ | awk ‘{print $2}‘` remove_log() { test -d $tomcat_home/logs/catalina || mkdir $tomcat_home/logs/catalina mv $tomcat_home/logs/catalina2* $tomcat_home/logs/catalina mv $tomcat_home/logs/catalina.2* $tomcat_home/logs/catalina test -f $tomcat_home/logs/catalina.out && mv $tomcat_home/logs/catalina.out $tomcat_home/logs/catalina`date +%Y-%m-%d_%H%M%S`.out || echo "$tomcat_home/logs/catalina.out is not exist" #test -f $tomcat_home/tnx/tnx.web.log && mv $tomcat_home/tnx/tnx.web.log $tomcat_home/tnx/tnx.web.`date +%Y-%m-%d_%H%M%S`.log || echo "$tomcat_home/tnx/tnx.web.log is not exist" } case $1 in stop) if [ -z $tomcat_pid ];then remove_log echo " tomcat已经是停止状态" exit else kill -9 $tomcat_pid remove_log fi ;; start) if [ -z $tomcat_pid ];then $tomcat_home/bin/catalina.sh start & tail -f $tomcat_home/logs/catalina.out else kill -9 $tomcat_pid sleep 6 remove_log $tomcat_home/bin/catalina.sh start fi ;; restart) if [ -z $tomcat_pid ];then remove_log else kill -9 $tomcat_pid sleep 6 remove_log fi $tomcat_home/bin/catalina.sh start & ;; *) echo "你的输入有误" ;; esac exit 0
可以说是exit引发的血案啊,需要重点说明的有几点:
1.shell脚本在结束后加上一定要加上exit,不然绝对是坑啊,不是碰巧开发遇到,脑子想破也想不出来啊...
2.shell单个功能尽量简单,不要带过多无用的功能,可以分模块,但不要都堆一起,不然相互以影响,就死翘翘了
3.做运维,尽量少偷懒,即时平时手工操作可能比写成脚本更方面,但是排错的时候就坑死人了,多写写自动化脚本没错的
总结,这个算是作者踩坑的一次小总结,希望能给遇到类似情况的朋友一些启发,有时候很多好的经验都是好多人踩过坑后总结的,还是要抱着虚心的态度多学习学习,修炼好内功啊,作者这就去闭关修炼也~~~