【运维实战】一次linux日志分割之路——将日志按照每小时进行分割,并按照“日期-小时”格式保存

是这样的,现在需要对nginx的access.log进行按照每小时进行分割,并且最好还要能够以 “日期+时间”的形式,命名保存。

两点,一个是按照每小时进行分割,一个是将日志以“日期+时间”的形式进行保存。

1.将日志按照每小时进行分割:

利用crontab

输入crontab -e,手动添加一个定时任务

0 */1 * * * /bin/bash /root/tools/log_per_hour.sh

那么这种是我最终需要的,是在每个整点都执行写好的log_per_hour脚本。

肯定有一些大兄弟需要的是“从现在开始每隔一个小时进行执行”,这个时候的crontab定时任务应该这么写:

*/60 * * * * /bin/bash /root/tools/log_per_hour.sh

是“每隔60分钟执行一次”,这样会从任务生效时开始计算间隔。

2.将日志以“日期+时间”的形式进行保存:

其中,为了保证能够及时发现如果文件或者目录异常,中间做了条件判定。

并且为了让最后的access.log文件能够自动重新生成(等于是之前每个小时的都已经分割好了,nginx重载之后日志文件会重新生成并记录,这样就避免到时候把文件mv了之后,原先运行的nginx日志没地方写入尴尬的境地)

运行了两天,看一下成果~

小百万的访问量,每个日志还是很大~

下一步得要做威胁分析,进一步挖掘日志中的内容,祝我好运~

原文地址:https://www.cnblogs.com/sbhyc/p/10393165.html

时间: 2024-10-08 03:20:18

【运维实战】一次linux日志分割之路——将日志按照每小时进行分割,并按照“日期-小时”格式保存的相关文章

linux运维实战练习-2015年9月01日课程作业(练习)

linux运维实战练习-2015年9月01日课程作业(练习)安排 一.作业(练习)内容: 1.复习本次课程所讲的内容 2.总结整理磁盘管理及文件系统管理中设计的各种命令的使用,并附注一定的示例: 在Linux中,一块磁盘能被使用(可以被访问.被写入.被存储)要有以下三个步骤: (1)进行磁盘分区,及创建分区 (2)创建文件系统 (3)挂载文件系统 (1)磁盘分区 创建分区的命令: fdisk, parted, sfdisk fdisk:最多支持在一块硬盘上的15个分区:fdisk提供了一个交互式

linux运维实战练习-正则表达式

一.linux运维实战练习题及解答 1.显示/etc/passwd文件中以bash结尾的行 2.显示/etc/passwd文件中的两位数或三位数 3.显示`netstat -tan`命令结果中以'LISTEN'后跟0个.1个或者多个空白字符结尾的行 4.添加用户bash.testbash.basher以及nologin用户(nologin用户的shell为/sbin/nologin):而后找出/etc/passwd文件中用户名与其shell名相同的行 5.显示当前系统上root.centos或者

linux运维实战练习-2015年9月5日课程作业(任务计划使用和练习)-JY1506402-19+liuhui880818

作业目标:linux运维实战练习-2015年9月5日课程作业(练习)安排 作业环境:CentOS 6.7/7 x86_64 一.作业(练习)内容: 1.总结Linux系统上的任务计划(at.crontab)的详细使用方法: 2.每周一到周六的凌晨3点20分,运行cp命令对/etc/目录进行归档另存,存储位置为/backups/etc-YYYY-MM-DD: 3.每周日凌晨2点30分,运行cp命令对/etc/fstab文件进行备份,存储位置为/backup/fstab-YYYY-MM-DD-hh-

运维实战案例之“Argument list too long”错误与解决方法

作为一名运维人员来说,这个错误并不陌生,在执行rm.cp.mv等命令时,如果要操作的文件数很多,可能会使用通配符批量处理大量文件,这时就可能会出现"Argument list too long"这个问题了. 1.错误现象 这是一台Mysql数据库服务器,在系统中运行了很多定时任务,今天通过crontab命令又添加了一个计划任务,退出时发生了如下报错: #crontab -e 编辑完成后,保存退出,就出现下面如下图所示错误: 2.解决思路 根据上面报错的提示信息,基本判定是磁盘空间满了,

运维实战案例之文件已删除但空间不释放问题解析

1.错误现象 运维的监控系统发来通知,报告一台服务器空间满了,登陆服务器查看,根分区确实没有空间了,如下图所示: 这里首先说明一下服务器的一些删除策略,由于Linux没有回收站功能,我们的线上服务器所有要删除的文件都会首先移动到系统/tmp目录下,然后定期清除/tmp目录下的数据.这个策略本身没有问题,但是通过检查发现这台服务器的系统分区中并没有单独划分/tmp分区,这样/tmp下的数据其实是占用了根分区的空间.既然找到了问题,那么删除/tmp目录下一些大数据即可,执行如下命令,检查/tmp下最

2017最新企业Shell面试题及企业运维实战共30道案例

<跟老男孩学习Linux运维:Shell高级编程实战>一书第19章企业面试题分享. 答案: 1.答案在<跟老男孩学习Linux运维:Shell高级编程实战>第19章一书2016年年底前即将出版. 2.2016最新Shell视频http://edu.51cto.com/pack/view/id-546.html 第19章企业Shell面试题及企业运维实战案例 19.1 企业Shell面试题实战案例 19.1.1 企业Shell面试题1:批量生成随机字符文件名案例 使用for循环在/o

Openvpn技术企业级中级运维实战视频教程

课程目录: openvpn技术企业级中级运维实战(上) 1.01-课前思想必看2.02-VPN概述介绍与图解3.03-VPN的作用介绍与图解4.04-VPN的企业应用分类介绍与图解15.05-VPN的企业应用分类介绍与图解26.06-常见隧道协议介绍-PPTP7.07-常见隧道协议介绍-L2TP8.08-常见隧道协议介绍-IPSEC-SSLVPN9.09-实现vpn功能常见开源产品及实际应用特点介绍10.10-根据企业生产场景需求选择vpn产品及方案建议11.11-openvpn开源vpn产品介

运维不仅仅是懂Linux就行,还需要知道这些……

运维不仅仅是懂Linux就行,因为还有一大部分的Windows运维,最近看一个报道说,windows的服务器占了47.71%.嗯,向windows运维人员致敬.当然我们这篇文章不是说运维除了懂Linux,还要懂Windows,而是涉及运维的其他方方面面. 环境部署 一开始这个世界是开发的,然后才是运维的. 开发实现产品逻辑,将产品开发完成后,然后提交运维进行部署.此时允许就需要准备好部署环境,如部署在Linux服务器上,安装相应的软件,如Apache.Nginx.tomcat.JDK.PHP.M

《大企业云桌面运维实战》v1.15

<大企业云桌面运维实战> 链接:http://pan.baidu.com/s/1mhX5yYG 密码:g5tg 第01章 规划(待续)已更新 第02章 准备-环境已更新 第03章 部署-IT 基础架构已更新 第04章 部署-Microsoft-服务器虚拟化-Hyper-V 2012 R2已更新 第05章 部署-VMware-服务器虚拟化-esxi 6.0.0 U1第06章 部署-VMware-桌面虚拟化-Horizon View 6.2.1第07章 部署-VMware-应用程序虚拟化-Thin

《vSphere企业运维实战》内容提要及封面选择

各位博友大家好,我的新书<vSphere企业运维实战>即将由人民邮电出版社出版.这本书介绍了VMware vSphere企业运维内容,包括虚拟化的实施规划.从己有物理服务器迁移到虚拟服务器.数据中心实时管理.数据中心动态管理.虚拟机的备份与恢复.VMware虚拟云基础架构vCloud Director等内容.<VMware vSphere企业运维 从入门到提高>系列视频就是参照这本书来制作的.下面是当前设计的几个封面,朋友们认为第几个好请直接发表评论留言,选出认为合适的封面,谢谢!