Rsyslog mmnormalize event.tags字段统计

统计下面字段中event.tags的值(红色内容)

{ "url": "http:\/\/icache.sinaimg.cn\/006gPXD2gw1exo8u4i7mkj30f00qotgg.lar", "size": "10.79", "id": "295785", "action": "PUSH", "toidc": "bj", "type": "ACCESS", "level": "INFO", "fromidc": "GZ", "service": "replicate", "event.tags": [ "A" ], "@timestamp": "2015-11-04T00:18:52,544+0800" }

简单脚本:

#!/usr/bin/env python

import commands

path = str(raw_input(‘Log Path: ‘))
f1 = open(path, ‘r‘)
f2 = open(‘tag.txt‘,‘rw+‘)
for line in f1.readlines():
    l = eval(line)
    try:
        tag = str(l[‘event.tags‘]).split(‘\‘‘)[1]+‘\n‘
        f2.writelines(tag)
    except:
        pass
print commands.getoutput(‘cat tag.txt | sort | uniq -c‘)
f1.close()
f2.close()

返回结果:

[[email protected] test]# python event.py 
path:test-normalize-1103.log
 386432 A
  32202 B
  32204 D1
      3 D2
时间: 2024-08-10 21:20:17

Rsyslog mmnormalize event.tags字段统计的相关文章

oracle_多字段统计(多count)

oracle_多字段统计 查询同一张表中同一字段的不同值的综合,方法如下: select o.code 礼品代码, o.name 礼品名称, l.couponactivityid 券活动定义, count(l.couponno) as 券总数量, count(case when l.state in ('0') then '0' end) 未兑换券数量, count(case when l.state in ('1') then '1' end) 已兑换未核销券数量, count(case wh

SQL逗号分隔的字段统计(摘自网络)

前言: 由于很多业务表因为历史原因或者性能原因,都使用了违反第一范式的设计模式.即同一个列中存储了多个属性值(具体结构见下表). 这种模式下,应用常常需要将这个列依据分隔符进行分割,并得到列转行的结果. 表数据: ID Value 1 tiny,small,big 2 small,medium 3 tiny,big 期望得到结果: ID Value 1 tiny 1 small 1 big 2 small 2 medium 3 tiny 3 big 正文: www.2cto.com #需要处理的

iOS打造属于自己的用户行为统计系统

??打造一款符合自己公司需求的用户行为统计系统,相信是很多运营人员的梦想,也是开发人员对技术的的执着追求.下面我为大家分一享下自己为公司打造的用户行为统计系统. ??用户行为统计(User Behavior Statistics, UBS)一直是移动互联网产品中必不可少的环节,也俗称埋点.对于产品经理,运营人员来说,埋点当然是越多,覆盖范围越广越好.废话废话就不多少了,这里我主要利用了AOP面向切片编程的思想来解决这个问题的.参考博客:参考博客地址?首先声明,我这里并没有完全照搬别人博客,这里主

MongoDB统计文档(Document)的数组(Array)中的各个元素出现的次数

一,问题描述 [使用 unwind unpack Document 里面的Array中的每个元素,然后使用 group 分组统计,最后使用 sort 对分组结果排序] 从 images.json 文件中导入数据到MongoDB服务器 mongoimport --drop -d test -c images images.json 其中Document的示例如下: > db.images.find() { "_id" : 3, "height" : 480, &

在MySQL字段中使用逗号分隔符

大多数开发者应该都遇到过在mysql字段中存储逗号分割字符串的经历,无论这些被分割的字段代表的是id还是tag,这个字段都应该具有如下几个共性. 被分割的字段一定是有限而且数量较少的,我们不可能在一个字符串中存储无限多个字符 这个字段所属的表与这个字段关联的表,一定是一对多的关系 比如下面这个表结构所代表的content与tag这两个对象 mysql> SELECT * FROM content; +----+------+ | id | tags | +----+------+ | 1 | 1

【练习】ORACLE统计信息--直方图

①创建表tSQL> create table t as select * from dba_objects; Table created. --收集直方图 SQL> exec dbms_stats.gather_table_stats(user,'T'); PL/SQL procedure successfully completed. --此时数据库为表上的所有字段收集了缺省的统计信息,每个列两个Bucket: SQL> col column_name for a30 SQL>

rsyslog日志系统

1 rsyslog日志系统 linux上,应用程序和内核都需要记录日志.负责记录应用程序的是syslogd,记录内核的则是klogd.centos 5上使用的是syslog,但由于其功能过于薄弱和单一,在centos 6和7上被rsyslog所取代.事实上rsyslog是一个服务. 日志:历史事件的相关记录.早期时就有航海日志. 记录的内容:事件发生的时间.事件内容. 日志级别:事件的关键性程序,loglevel. 1.1 rsyslog的优势 1.支持多线程. 2.能够基于UDP, TCP, 

Oracle 学习之性能优化(四)收集统计信息

emp表有如下数据. SQL> select ename,deptno from emp; ENAME    DEPTNO ------------------------------ ---------- SMITH        20 ALLEN        30 WARD        30 JONES        20 MARTIN        30 BLAKE        30 CLARK        10 SCOTT        20 KING        10 TUR

ArcGis 统计方法

from:http://blog.sina.com.cn/s/blog_4177d50b0100fjbg.html 概述 一般常用的统计功能例如:唯一字段统计.数据行数统计.数据值求和统计等. 1.基础统计(BaseStatistics)组件用来生成和报告统计结果. 2.IFrequencyStatistics接口提供对用来报告频率统计的成员的访 问. 3.IGenerateStatistics接口提供对用来生成统计结果的成员的访问. 4.IStatisticsResults提供对用来报告统计结