调整ATS日志处理机制及相关脚本

在ATS的尝试使用中,日志处理是很重要的一环,我在研究这个时候花了不少精力,首先我们测试用的ATS是5.3.2版本,默认打印的是二进制日志squid.blog,一天一切割,当然也可以变为文本日志,不过ATS自带的很牛逼的分析traffic_logstats就用不了了,怎么办呢?苦思冥想,最后想了个好办法,打两套日志,文本日志存档,供我们看,二进制日志一天一删除,哈哈,问题圆满解决。为了迎合线上的访问量,日志设置为了5分钟一切割,切割后改名归档,同时又为了缩小存储空间,定义凌晨3点(访问量小)开始打包压缩,再做脚本时发现遇到跨年时会出故障,又再次做了多次优化,目前运行的还是比较健壮的,分享出来,一起研究学习。

ATS的日志配置不多说了,以前有介绍,下面是我写的一个处理脚本:

#!/bin/sh
#writer:gaolixu
BACKUP_PATH="/var/log/ats"
LOG_PATH="/opt/ats/var/log/trafficserver"
yestday=`date -d yesterday +%d`
yestmon=`date -d yesterday +%m`
yestyear=`date -d yesterday +%Y`
testdir(){
BACKUP_DIR=$BACKUP_PATH/$1/$2/$3
if [ ! -d "$BACKUP_DIR" ]
then
        mkdir -p $BACKUP_DIR
        if [ "$?" != "0" ]
        then
          echo "dir error"
                exit
        fi
fi
}
yestzip(){
gzip $BACKUP_PATH/$yestyear/$yestmon/$yestday/*
}

cd $LOG_PATH

ls *.log*old  > /tmp/atslog.tmp

for i in `cat /tmp/atslog.tmp`

do
  i_time=`echo $i |awk -F‘[.|-]‘ ‘{print $(NF-2)$(NF-1)}‘`
  i_bj=`echo $i |awk -F‘[.|-]‘ ‘{print $1}‘`
  i_year=`echo ${i_time:0:4}`
  i_mon=`echo ${i_time:4:2}`
  i_day=`echo ${i_time:6:2}`
  i_hour=`echo ${i_time:8:2}`
  i_min=`echo ${i_time:11:2}`
  testdir $i_year $i_mon $i_day
  mv $LOG_PATH/$i $BACKUP_DIR/${i_year}-${i_mon}-${i_day}_${i_hour}_${i_min}_${i_bj}.log
  if [ "$i_hour" = "03" -a "$i_min" = "00" ];then

yestzip

rm -rf /opt/ats/var/log/trafficserver/squid.blog*

fi

done &>/dev/null

时间: 2024-10-11 21:39:41

调整ATS日志处理机制及相关脚本的相关文章

Java 日志缓存机制的实现--转载

概述 日志技术为产品的质量和服务提供了重要的支撑.JDK 在 1.4 版本以后加入了日志机制,为 Java 开发人员提供了便利.但这种日志机制是基于静态日志级别的,也就是在程序运行前就需设定下来要打印的日志级别,这样就会带来一些不便. 在 JDK 提供的日志功能中,日志级别被细化为 9 级,用以区分不同日志的用途,用来记录一个错误,或者记录正常运行的信息,又或是记录详细的调试信息.由于日志级别是静态的,如果日志级别设定过高,低级别的日志难以打印出来,从而导致在错误发生时候,难以去追踪错误的发生原

性能测试相关脚本

1,restime统计响应时间 #!/bin/bash #统计日志响应时间用 if [ $# -lt 1 ]; then echo "at least have one param; " echo "ex: restime a.log b.log *.log" exit 1 fi . lgq_config.sh for((i=1;i<=$#;i++));do opt=`echo ${!i} | grep "^\-F" | awk -F&qu

Oracle在线调整redo日志组数及组成员

Oracle在线调整redo日志组数及组成员 一.调整redo日志组大小 操作原因: redo日志一般设置让日志转换时间为10-20分钟,转换太频繁会影响性能.通常情况下每小时不要超过6次!如果AWR(Automated Workload Repository 自动负载信息库) report中log file switch checkpoint incomplete) 比较大,说明redo log之间的切换过于频繁.可以通过增加redo log size来降低切换的频率.但如果redo log

重新发现Oracle太美之awr相关脚本简单介绍

大家知道在$ORACLE_HOME/rdbms/admin下,有如下的相关脚本(我的环境为11.2.0.4.2): [[email protected] ~]$ cd $ORACLE_HOME/rdbms/admin [[email protected] admin]$ ls -ltr awr* -rw-r--r-- 1 oracle oinstall  1999 Oct 24  2003 awrrpt.sql -rw-r--r-- 1 oracle oinstall 49166 Sep  1

桦仔 笔记7-徐 SQLSERVER日志记录机制

1 --SQLSERVER日志记录机制 2 --日志记录事务发生的时间,但是不保证记录下发起这个事务的用户名,更不记录发起者的程序名称!!! 3 USE AdventureWorks 4 CREATE TABLE a(a INT) 5 GO 6 CHECKPOINT --做一次检查点把数据跟日志写入硬盘 7 GO 8 BACKUP LOG AdventureWorks WITH truncate_only 9 10 GO 11 DBCC LOG(7,3) 12 13 14 15 INSERT I

备份相关脚本

原文:备份相关脚本 --查看一周内备份信息: SELECT CONVERT(CHAR(100), SERVERPROPERTY('Servername')) AS Server, msdb.dbo.backupset.database_name, msdb.dbo.backupset.backup_start_date, msdb.dbo.backupset.backup_finish_date, msdb.dbo.backupset.expiration_date, CASE msdb..ba

轻松掌握MySQL数据库锁机制的相关原理

1,SHOW PROCESSLIST查看数据库中表的状态,是否被锁: kill id   //杀掉被锁的表 =================================================== set autocommit=0; select * from t1  where uid='xxxx' for update    //在有索引(例如uid)的情况下是行锁,否则是表锁 insert into t1 values(1,'xxxxx'); commit; ========

又一次发现Oracle太美之awr相关脚本简介

大家知道在$ORACLE_HOME/rdbms/admin下,有例如以下的相关脚本(我的环境为11.2.0.4.2): [[email protected] ~]$ cd $ORACLE_HOME/rdbms/admin [[email protected] admin]$ ls -ltr awr* -rw-r--r-- 1 oracle oinstall ?1999 Oct 24 ?2003 awrrpt.sql -rw-r--r-- 1 oracle oinstall 49166 Sep ?

想深入了解TCP机制和相关参数优化吗(下)

上篇中,我们介绍了TCP的协议头.状态机.数据重传中的东西.但是TCP要解决一个很大的事,那就是要在一个网络根据不同的情况来动态调整自己的发包的速度,小则让自己的连接更稳定,大则让整个网络更稳定.在你阅读下篇之前,你需要做好准备,本篇文章有好些算法和策略,可能会引发你的各种思考,让你的大脑分配很多内存和计算资源,所以,不适合在厕所中阅读. TCP的RTT算法 从前面的TCP的重传机制我们知道Timeout的设置对于重传非常重要, 设长了,重发就慢,没有效率,性能差: 设短了,重发的就快,会增加网