利用python 提取log 文件里的关键句子,并进行统计分析

利用python开发了一个提取sim.log 中的各个关键步骤中的时间并进行统计的程序:

#!/usr/bin/python2.6
import re,datetime
file_name='/home/alzhong/logs/qtat1/R2860.01.13/sim-applycommitrollback-bld1.log'
file=open(file_name,'r')
acnum=[];time_res=[];lnum=0
def trans_time(time):
    t1=datetime.datetime.strptime(time,'%y/%m/%d %H:%M:%S')
    return t1
for (num,line) in enumerate(file):

    if(re.search(r'^(.*)BEGINNING SIM PROCEDURE(.*)$',line)):
        m=re.search(r'^(.*)BEGINNING SIM PROCEDURE(.*)$',line)
        print 'Step %d:'%(lnum), m.group(0);lnum+=1
        acnum.append(trans_time(line[0:17]))
    elif(re.search(r'^(.*)CP_W(.*)$', line)):
        m=re.search(r'^(.*)CP_W(.*)$', line)
        print 'Step %d:'%(lnum), m.group(0);lnum+=1
        acnum.append(trans_time(line[0:17]))
    elif(re.search(r"^(.*)VERIFY_S(.*)$", line)):
        m=re.search(r"^(.*)VERIFY_S(.*)$", line)
        print 'Step %d:'%(lnum), m.group(0);lnum+=1
        acnum.append(trans_time(line[0:17]))
    elif(re.search(r"^(.*)--action commit(.*)$",line)):
        m=re.search(r"^(.*)--action commit(.*)$",line)
        print 'Step %d:'%(lnum), m.group(0);lnum+=1
        acnum.append(trans_time(line[0:17]))
    elif(re.search(r"^(.*)COMPLETED SIM PROCEDURE(.*)$",line)):
        m=re.search(r"^(.*)COMPLETED SIM PROCEDURE(.*)$",line)
        print 'Step %d:'%(lnum), m.group(0);lnum+=1
        acnum.append(trans_time(line[0:17]))
    elif(re.search(r"^(.*)RESUMING SIM PROCEDURE(.*)$",line)):
        m=re.search(r"^(.*)RESUMING SIM PROCEDURE(.*)$",line)
        print 'Step %d:'%(lnum), m.group(0);lnum+=1
        acnum.append(trans_time(line[0:17]))

file.close()
if(re.search(r"^(.*)backout(.*)$",file_name)):
    time_res.append((acnum[2]-acnum[0]).seconds/60)
    time_res.append((acnum[4]-acnum[3]).seconds/60)
    time_res.append((acnum[6]-acnum[5]).seconds/60)
    time_res.append(((acnum[8]-acnum[7])+(acnum[10]-acnum[9])+(acnum[13]-acnum[11])).seconds/60)
    print "\n3). sim --proc update --action apply to \"CP_WARNING\" %s mins" %(time_res[0])
    print "4). sim --proc update --action resume to  \"VERIFY_SOFTWARE\" %s mins"%(time_res[1])
    print "5). sim --proc update --action resume to  \"COMMIT\" %s mins"%(time_res[2])
    print "8). Backout from RXX to RXX  %s mins"%(time_res[3])
elif(re.search(r"^(.*)rollback(.*)$",file_name)):
    time_res.append((acnum[2]-acnum[0]).seconds/60)
    time_res.append((acnum[4]-acnum[3]).seconds/60)
    time_res.append((acnum[6]-acnum[5]).seconds/60)
    time_res.append((acnum[8]-acnum[7]).seconds/60)
    time_res.append(((acnum[10]-acnum[9])+(acnum[12]-acnum[11])+(acnum[15]-acnum[13])).seconds/60)
    print "\n3). sim --proc update --action apply to \"CP_WARNING\" %s mins" %(time_res[0])
    print "4). sim --proc update --action resume to  \"VERIFY_SOFTWARE\" %s mins"%(time_res[1])
    print "5). sim --proc update --action resume to  \"COMMIT\" %s mins"%(time_res[2])
    print "6). sim --proc update --action commit to end of Patch %s mins"%(time_res[3])
    print "8). Rollback from RXX to RXX %s mins" %(time_res[4])
if __name__ == '__main__':
    pass
:q!
<lsslogin1-alzhong>/home/alzhong/tools: ls
simt
<lsslogin1-alzhong>/home/alzhong/tools: ./simt
Step 0: 14/06/16 12:31:32 BEGINNING SIM PROCEDURE 'update apply' type=hot ...
Step 1: 14/06/16 13:18:42 RESUMING SIM PROCEDURE 'update apply' type=hot ...
Step 2: 14/06/16 13:30:43 SIM0317 PAUSE_REQUEST: (PROCEDURE) [PAUSE(CP_WARNING): Use 'sim --proc update --action resume' to continue...] (update:1435)
Step 3: 14/06/16 13:43:40 RESUMING SIM PROCEDURE 'update apply' type=hot ...
Step 4: 14/06/16 13:47:49 SIM0343 PAUSE_REQUEST: (PROCEDURE) [PAUSE(VERIFY_SOFTWARE): Use 'sim --proc update --action resume' to continue...] (update:1634)
Step 5: 14/06/16 13:54:26 RESUMING SIM PROCEDURE 'update apply' type=hot ...
Step 6: 14/06/16 14:25:41 SIM0496 PAUSE_REQUEST: (COMMIT) [PAUSE(COMMIT): Use 'sim --proc update --action commit' to continue...] (update:2579)
Step 7: 14/06/16 14:41:51 RESUMING SIM PROCEDURE 'update commit' type=hot ...
Step 8: 14/06/16 15:18:34 COMPLETED SIM PROCEDURE 'update commit' type=hot
Step 9: 14/06/16 15:31:35 BEGINNING SIM PROCEDURE 'update rollback' type=hot level=9999 ...
Step 10: 14/06/16 15:47:34 SIM0091 PAUSE_REQUEST: (PROCEDURE) [PAUSE(CP_WARNING): Use 'sim --proc update --action resume' to continue...] (update_rlbk:421)
Step 11: 14/06/16 15:53:30 RESUMING SIM PROCEDURE 'update rollback' type=hot level=9999 ...
Step 12: 14/06/16 16:02:03 SIM0135 PAUSE_REQUEST: (PROCEDURE) [PAUSE(VERIFY_SOFTWARE): Use 'sim --proc update --action resume' to continue...] (update_rlbk:564)
Step 13: 14/06/16 16:04:22 RESUMING SIM PROCEDURE 'update rollback' type=hot level=9999 ...
Step 14: 14/06/16 16:09:42 RESUMING SIM PROCEDURE 'update rollback' type=hot level=9999 ...
Step 15: 14/06/16 16:26:56 COMPLETED SIM PROCEDURE 'update rollback' type=hot level=9999

3). sim --proc update --action apply to "CP_WARNING" 59 mins
4). sim --proc update --action resume to  "VERIFY_SOFTWARE" 4 mins
5). sim --proc update --action resume to  "COMMIT" 31 mins
6). sim --proc update --action commit to end of Patch 36 mins
8). Rollback from RXX to RXX 47 mins
时间: 2024-10-29 04:30:12

利用python 提取log 文件里的关键句子,并进行统计分析的相关文章

利用python 提取log 文件中的关键句子,并进行统计分析

利用python开发了一个提取sim.log 中的各个关键步骤中的时间并进行统计的程序: #!/usr/bin/python2.6 import re,datetime file_name='/home/alzhong/logs/qtat1/R2860.01.13/sim-applycommitrollback-bld1.log' file=open(file_name,'r') acnum=[];time_res=[];lnum=0 def trans_time(time): t1=datet

apk去广告工具(利用apktool去除apk文件里的广告)

基本知识 apk安装包的文件结构 以知名桌面软件“LauncherPro”为例,apk安装包文件目录: 文件目录如下: - META-INF - res - anim - color - drawable - drawable-hdpi - drawable-land - drawable-land-hdpi - drawable-mdpi - drawable-port - drawable-port-hdpi - layout - layout-land - layout-port - xm

用python读取word文件里的表格信息【华为云技术分享】

在企查查查询企业信息的时候,得到了一些word文件,里面有些控股企业的数据放在表格里,需要我们将其提取出来. word文件看起来很复杂,不方便进行结构化.实际上,一个word文档中大概有这么几种类型的内容:paragraph(段落),table(表格),character(字符).我现在要解析的word文档中,基本都是段落和表格,本文主要来讲一下如何从word中解析出表格,并将表格信息进行结构化. 要想使用python解析word文件,我们可以使用包docx,首先我们需要安装它. 安装完成后,我

python实时处理log文件脚本

这个Python脚本是用来对实时文件的内容监控,比如 Error 或者 time out 字段都可以进行自定义:算是我的第一个真正的Python脚本,自己感觉还是比较臃肿,不过打算放到blog上记录一下(还是初学者,大神们勿喷哈),真心希望博友们能够再指点一下(现在记录每次的文件大小值是输出到了一个文件中,并且里面还嵌套了有shell命令,这些我认为都是可以优化掉的吧,只是现在我还不知道怎么做):告警是基于zabbix,自定义的模板是120s执行一次 #!/usr/local/bin/pytho

利用python处理txt文件

前段时间做公司一个自动翻译项目需要处理大量的文案字段,手工去做简直不大可能(懒),因此借用python脚本自动化处理掉了,在此记录一下. import linecache def outputfile(i,j,n): # zh = file_zh.read().decode('utf-8').encode('gbk', 'ignore') file_new = open ('1.txt', 'r+') for l in range(i,j+1): # line = linecache.getli

Python读取log文件报错“UnicodeDecodeError”

问题描述: 写了一个读取log文件的Python脚本: # -*- coding:utf-8 -*- import os import numpy as np file = 'D:\pythonfile\test.log' for line in open("test.log","r"): print(line) 但是在执行时报错:执行代码报错: Traceback (most recent call last): File "D:/pythonfile/

利用Python读取CSV文件并计算某一列的均值和方差

近日朋友需要帮忙对excel的csv文件进行处理,求取某银行历年股价的均值方差等一系列数据 文件的构成很简单,部分如下所示 总共有接近七千行数据,主要的工作就是将其中的股价数据提取出来,放入一个数组之中,然后利用numpy模块即可求出需要的数据. 这里利用了csv模块来对文件进行处理,最终实现的代码如下: import csv import numpy as np with open('pingan_stock.csv') as csv_file: row = csv.reader(csv_fi

利用python 创建XML文件

1 #coding=utf-8 2 from xml.etree import ElementTree 3 4 import pdb 5 6 def printNodeInfo(node): 7 8 #node.tag 标签名称 9 #node.text 文本属性 10 print 'node.tag: %s' %node.tag 11 12 #node.attrib 属性字典 13 for key in node.attrib: 14 print '%s %s' %(key,node.attr

php如何利用python实现对pdf文件的操作(读写、合并分割)

php如何利用python实现对pdf文件的操作 需求:在PHP里实现了把8.pdf的前4页pdf文件截取出来生成新的pdf文件. 详细步骤如下: 1. 安装python第三方库PyPDF2 前提:python必须是3.x版本以上,必要时需要升级pip3,命令如下:pip3 install --upgrade pipPyPDF 自 2010年 12月开始就不在更新了,PyPDF2 接棒 PyPDF, 在此使用PyPDF2. 安装命令:pip install PyPDF2 2.编写python脚本