【菜鸟学Linux】Cron Job定期删除Log(日志)文件

  以前一直做Windows开发,近期的项目中要求使用Linux。作为小菜鸟一枚,赶紧买了一本经典书《鸟哥的Linux私房菜》学习。最近刚好有一个小任务 - 由于产品产生的Log很多,而且增长很快,所以需要用脚本(Bash scripts)删除过期的Log文件

  使用Linux下的Cron Job可以很好的解决这个问题。

  什么是Cron Job?

  建立Cron Job需要用到命令crontab,维基百科定义:crontab命令常见于Unix和类Unix的操作系统之中,用于设置周期性被执行的指令

  查阅了一些资料(发现技术查询还是要用Google)参考后,期间也遇到很多问题,通过摸索和学习,实现步骤如下:

一. 写一个Bash shell script,作用:检索日志文件夹下的所有log文件,查询每个文件的日期,如果日期过期,则删除这个log文件  

 1 #!/bin/bash
 2
 3 log_path=""         #此处定义你的日志文件夹路径
 4 expried_time=7      #此处定义你的日志过期时间,如7天
 5
 6 function deleteLogs(){
 7     # 获取系统时间,所有时间格式都是秒
 8     local currentDate=`date +%s`
 9     echo "current date: " $currentDate
10
11     for file in `find $1 -name "*.js_*.log"` #此处定义文件名格式,避免误删
12     do
13         local name=$file
14         local modifyDate=$(stat -c %Y $file)
15
16         #对比时间,算出日志存在时间,距离最近一次修改
17         local logExistTime=$(($currentDate - $modifyDate))
18         logExistTime=$(($logExistTime/86400))
19
20         if [ $logExistTime -gt $expried_time ]; then
21             echo "File: " $name "Modify Date: " $modifyDate + "Exist Time: " $logExistTime + "Delete: yes"
22             rm -f $file
23         else
24             echo "File: " $name "Modify Date: " $modifyDate + "Exist Time: " $logExistTime + "Delete: no"
25         fi
26     done
27 }
28
29 deleteLogs $log_path

二. 新建一个Cron Job,周期性的执行上面的脚本

  命令:

1 sudo crontab –e
2 5 0 * * * /home/user/deleteOldLog.sh >> /home/user/cron_job.log 2>&1

   注意:

  1. 这里我用的是sudo crontab -e,不是crontab -e,这样做是使用root的crontab,可以使用sudo,获取root某些权限。

  2. Cron Job的格式如下:

1 * * * * * command to be executed
2 - - - - -
3 | | | | |
4 | | | | ----- Day of week (0 - 7) (Sunday=0 or 7)
5 | | | ------- Month (1 - 12)
6 | | --------- Day of month (1 - 31)
7 | ----------- Hour (0 - 23)
8 ------------- Minute (0 - 59)

    具体可参见http://www.cyberciti.biz/faq/how-do-i-add-jobs-to-cron-under-linux-or-unix-oses/,Cron Job的用法讲解很详细。

  

  3. 如何通过日志查看Cron Job的执行情况?

    ">> /home/user/cron_job.log 2>&1"的作用是可以方便的将Cron Job执行情况的日志记录到自己指定的Log文件中,方便查看Job执行情况。另外还可通过下面这个命令,查看Job执行的一些其他信息,感觉主要还是看自己指定的日志文件,如果执行出错,如Permisson Denied错误,在里面记录的很清楚。

1 tail -f /var/log/cron

  

三. 小结

  经过以上的步骤,就可以很轻松的在Linux中建立起一个Cron Job,用于周期性的做某些事情,如删Log等。

四. 参考资料

  下面这些参考资料很不错,如果要学习Cron Job,应该就足够。

  1. HowTo: Add Jobs To cron Under Linux or UNIX?

    http://www.cyberciti.biz/faq/how-do-i-add-jobs-to-cron-under-linux-or-unix-oses/

  2. How to run a cron job using the sudo command

    http://askubuntu.com/questions/173924/how-to-run-a-cron-job-using-the-sudo-command

  3. 如何查看crontab的日志记录

    http://blog.itpub.net/9252210/viewspace-684597

  4. Linux crontab日志讲解

    http://os.51cto.com/art/200910/159229.htm

  新手小白,通过日志记录自己的所学所得,抛砖引玉,欢迎批评指正:-)

  Best Regards

  Kevin Song

                                                  2014/6/30

  

  

  

【菜鸟学Linux】Cron Job定期删除Log(日志)文件

时间: 2024-12-21 16:39:59

【菜鸟学Linux】Cron Job定期删除Log(日志)文件的相关文章

定期删除IIS日志文件

服务器中由于监控的需要会经常生成很多日志文件,比如IIS日志文件(C:\inetpub\logs\LogFiles),一个稍微有流量的网站,其日志每天可以达到上百兆,这些文件日积月累会严重的占用服务器磁盘空间.有必要对他们进行定期删除.dos批处理程序如下: :: 清理IIS日志文件 :: 备份MySql数据库 @echo off title 清理IIS日志文件 :: IIS日志文件目录 set log_dir="C:\inetpub\logs\LogFiles" :: 保留日志天数

Linux(CentOS)使用定时任务删除Tomcat日志文件

定时任务请参考CentOS7安装定时任务 1. 查看定时任务 命令:crontab -l crontab -l 2. 编辑定时任务 命令:crontab -e HELL=/bin/bash PATH=/sbin:/bin:/usr/sbin:/usr/bin MAILTO=root # For details see man 4 crontabs # Example of job definition: # .---------------- minute (0 - 59) # | .-----

菜鸟学Linux - 文件/文件夹的隐藏属性

文件/文件夹居然还有隐藏属性?没错,隐藏属性对于文件/文件夹的安全很重要.好比如说,我们需要使用”鉴定符“来揭开装备的隐藏属性:在Linux中chattr/lsattr就是“鉴定符”. chattr基本格式为:chattr +-=[acdeijstuADST] .+表示增加某种隐藏属性:-表示取出某种隐藏属性:=表示直接设置隐藏属性.man chattr可知: The letters ‘acdeijstuADST’ select the new attributes for the files:

菜鸟学Linux - Hard Link与Symbolic Link

在学习Hard Link与Symbolic Link之前,需要大概了解一下inode与data block.在Linux的文件系统中,一个文件对应一个inode与若干个data block.inode与data block都通过编号来标识,例如第30333个inode,第20334个data block.inode中记录着文件的属性,如文件的所有者.所属用户组.对文件的权限以及指向data block的指针.文件的真正内容是存放在data block中的.一个文件的内容,被分割成若干部分保存在不

【菜鸟学Linux】gzip解压报错:gzip: stdin has more than one entry--rest ignored

lz Linux菜鸟一枚,今天想用gzip解压下压缩包,据说Linux默认不支持rar压缩,需要安装组件. so,lz我特意zip压缩了一个文件上传上去解压,记得之前测试的时候都ok的正常解压:tar -zxvf  XXX.zip 不知道今天啥情况..难道是我之前重新搭建过环境的原因,用tar就报错.. 然后lz我多方查证,终于解决了问题,特来分享,不喜勿喷! 解决方法:改用unzip解压:unzip XXX.zip 报错原因:ar命令也是调用了gunzip命令的 [菜鸟学Linux]gzip解

解决Linux下Tomcat日志目录下的catalina.log日志文件过大的问题

本文摘自:(http://blog.csdn.net/stevencn76/article/details/6246162) 分类: Java技术专区2011-03-13 12:25 5017人阅读 评论(1) 收藏 举报 tomcatlinux工具任务web 由于Tomcat在默认情况下会将没有经过配置的web应用所产生的日志输出已经其本身的日志内容都输出到这个文件中,那么随着时间的推移,这个文件的尺寸将会越来越大,当需要检查日志内容时间会导致文件难以打开,而且同时tomcat依旧在不断的向文

在Linux上使用logwatch分析监控日志文件

原文:http://seanlook.com/2014/08/23/linux-logwatch-usage/ 1. 介绍 在维护Linux服务器时,经常需要查看系统中各种服务的日志,以检查服务器的运行状态. 如登陆历史.邮件.软件安装等日志.系统管理员一个个去检查会十分不方便:且大多时候,这会是一种被动的检查,即只有在发现系统运行异常时才会想到去查看 日志以获取异常的信息.那么如何主动.集中的分析这些日志,并产生报告,定时发送给管理员就会显得十分重要. logwatch 是一款用 Perl 语

使用Shell脚本删除/清空日志文件

话不多少,直接上代码: #!/bin/bash workdir=("/home/Tax_Punish_Ret/log_txt") #可填写多个路径, 用空格隔开 # 查找日志文件 for wdir in ${workdir[@]} do echo filepath is $wdir if [ $wdir = ${workdir[0]} ] ;then fileStr=`find $wdir/*.log` echo files is $fileStr else fileStr=`find

删除mysql日志文件

今天发现网站不能正常访问,于是登陆服务器查找问题. 机智的我随手用命令:df -l 发现 硬盘爆满了,于是就知道 问题所在了. Filesystem 1K-blocks Used Available Use% Mounted on /dev/xvda1 20641404 16963004 16929876 100% / tmpfs 960368 0 960368 0% /dev/shm /dev/xvdb1 51599192 4845536 44132564 10% /home/sam/shar