错误日志中去除重复的日志

在错误日志log_errorhh.log log_errorhh.log.1中存在大量的重复不需要的日志 内容是：Request method ‘HEAD‘

#/bin/bash

#定义个时间变量

A=`date +%Y-%m-%d`

#复制错误日志到/opt/log/

cp /usr/local/tomcat_1/bin/log/log_errorhh.log /opt/log/
cp /usr/local/tomcat_1/bin/log/log_errorhh.log.1 /opt/log/

cd /opt/log/

#把两个错误日志放到一个文件中log_errorhh.log2

cat log_errorhh.log >> /opt/log/log_errorhh.log2
cat log_errorhh.log.1 >> /opt/log/log_errorhh.log2

#把重复的不需要的日志放到log_errorhh.log3

touch log_errorhh.log3
cat log_errorhh.log2 | grep "Request method ‘HEAD‘ " >> /opt/log/log_errorhh.log3

#把重复的不需要的日志放到log_errorhh.log2

cat log_errorhh.log3 >> /opt/log/log_errorhh.log2

#对log_errorhh.log2 去重

sort log_errorhh.log2 |uniq -u >/opt/log/log_error$A

最后 log_error2017-07-06就是想要的错误日志

时间： 2024-10-05 04:01:29

错误日志中去除重复的日志的相关文章

[LeetCode] Remove Duplicates from Sorted Array 有序数组中去除重复项

Given a sorted array, remove the duplicates in place such that each element appear only once and return the new length. Do not allocate extra space for another array, you must do this in place with constant memory. For example,Given input array A = [

[LeetCode] Remove Duplicates from Sorted Array II 有序数组中去除重复项之二

Follow up for "Remove Duplicates":What if duplicates are allowed at most twice? For example,Given sorted array A = [1,1,1,2,2,3], Your function should return length = 5, and A is now [1,1,2,2,3]. 这道题是之前那道Remove Duplicates from Sorted Array 有序数组中

【Stackoverflow问题精选】SQL中去除重复行

问题 假设有一个数据量比较大的表(例如300,000+行),其中有重复的行(除了主键外,其他的列数据是一样的),如何快速去重呢? 我的表类似这样 MyTable ----------- RowID int not null identity(1,1) primary key, Col1 varchar(20) not null, Col2 varchar(2048) not null, Col3 tinyint not null 精华回答 假设没有null值,你可以先对其他列做group by,

sql中去除重复的项

方法一:group by  (取最小的id)select min(id) id,T from Table_1 group by T 方法二:union (不需要id)select T from Table_1 where 1=0unionselect T from Table_1 方法三:DISTINCT select  DISTINCT T from Table_1

列表中去除重复字典

res = [ { 'factory_mark_date': 1, 'logo': '', 'factory_url': 'http: //192.168.1.17: 1314/indexmessage?id=560', 'updated_at': '29天前', 'factory_name': '法依兰', 'serial_number': 560, 'factory_image': 'http: //ol3kbnsgc.bkt.clouddn.com/75a8e038-3622-11e7-a

【LeetCode题目记录-8】从排序后的单链表中去除重复元素

Remove Duplicates from Sorted List Given a sorted linked list, delete all duplicates such that each element appear only once. For example, Given 1->1->2, return 1->2. Given 1->1->2->3->3, return 1->2->3. [分析-原创]相等的话nextNode后移即可,

Js中去除数组中重复元素的4种方法

今天工作遇到此问题,尝试多个方法不尽人意,故此写个博客来总结一下如何在js中去除重复元素. 方法1:         Array.prototype.method1 = function(){             var arr[];    //定义一个临时数组             for(var i = 0; i < this.length; i++){    //循环遍历当前数组                 //判断当前数组下标为i的元素是否已经保存到临时数组          

日志分析方法概述 &amp; Web日志挖掘分析的方法

日志在计算机系统中是一个非常广泛的概念,任何程序都有可能输出日志:操作系统内核.各种应用服务器等等.日志的内容.规模和用途也各不相同,很难一概而论. 本文讨论的日志处理方法中的日志,仅指Web日志.其实并没有精确的定义,可能包括但不限于各种前端Web服务器--apache.lighttpd.tomcat等产生的用户访问日志,以及各种Web应用程序自己输出的日志. 在Web日志中,每条日志通常代表着用户的一次访问行为,例如下面就是一条典型的apache日志: 211.87.152.44 – - [

日志文件系统的3种日志方法

日志的三个级别(书里写的关于回写和顺序两种模式不同的更细节的解释) 在很多日志文件系统(如:ext3, ReiserFS)中,可以选择三个级别的日志:回写(writeback).顺序(ordered)和数据(data). 回写 在回写模式中,只有元数据被记录到日志中,数据被直接写入主文件系统.这种模式提供较好的性能,但有较大的风险.例如,在增大文件时,数据还未写入就发生崩溃,那么文件系统恢复后文件后面就可能出现垃圾数据. 顺序 在顺序模式中,只有元数据被记录到日志中,但在日志被标记为提交前,数据