轻量级流式日志计算分析plog+（zabbix+grafana)

plog是一个用python写的流式计算分析框架，适用于轻量级流式数据的分析场景，大数据场景下大家自然想到使用spark等方案。

拿当前的业务场景看，需要对机器上nginx的流日志进行状态码、响应时间、QPS的实时分析，通过zabbix展现在grafana里，QPS在1000以内。传统方法是用shell脚本来计算各种数据，然后通过主动或被动模式传到zabbix里，此种方法有很大局限性，一是grep或awk过滤日志时，很难控制好过滤的数量，过滤的多了严重影响性能，可能上一个数据都没计算出来，这一次的计算又得开始了，二是过滤的少了可能丢日志，三是不好控制计算推送周期，总结一句话就是不科学。对于这种数据量不大的流式数据，plog恰巧能解决所有问题，采用流式分析，对数据进行实时计算，通过编写zabbix的sink插件，将计算结果用zabbix_sender推到zabbix。

默认的channel模块支持正则和grok正则的方式匹配，由于日志的复杂性，重新编写了用split分割符的插件进行处理，目前对2xx、3xx、4xx、5xx、qps、request_time、404、499、500、502、504进行了流式监控，详细介绍一下配置部署二开过程。

传统shell处理方式详见之前博客：zabbix_sender主动上传k/v监控nginx日志状态码 

浏览全部请点击运维网咖社地址：轻量级流式日志计算分析plog+（zabbix+grafana)

时间： 2024-08-15 04:28:17

轻量级流式日志计算分析plog+（zabbix+grafana)的相关文章

非常复杂，上双11数据大屏背后的秘密：大规模流式增量计算及应用

回顾大数据技术领域大事件,最早可追溯到06年Hadoop的正式启动,而环顾四下,围绕着数据库及数据处理引擎,业内充斥着各种各样的大数据技术.这是个技术人的好时代,仅数据库领域热门DB就有300+,围绕着Hadoop生态圈的大数据处理技术更是繁花似锦.在云栖社区2017在线技术峰会大数据技术峰会上,阿里云大数据计算平台架构师钱正平做了题为<大规模流式增量计算及应用>的分享,钱正平结合阿里巴巴真实的业务场景为大家分享了流式增量计算编程方面的挑战和当前的解决方案. 首先从理解什么是数据流开始今天的分

easylogging++学习记录(二)：流式日志

easylogging++日志库流式日志的写入,依赖于el::base::Writer类的析构,以debug日志为例:具体代码如下: #define LOG(LEVEL) CLOG(LEVEL, ELPP_CURR_FILE_LOGGER_ID) #define CLOG(LEVEL, ...)\ C##LEVEL(el::base::Writer, el::base::DispatchAction::NormalLog, __VA_ARGS__) #if ELPP_DEBUG_LOG # de

Flink流式引擎技术分析--大纲

Flink简介 Flink组件栈 Flink特性 流处理特性 API支持 Libraries支持 整合支持 Flink概念 Stream.Transformation.Operator Parallel Dataflow Task.Operator Chain Window Time Flink架构 JobManager TaskManager Client Flink调度 逻辑调度 物理调度 Flink容错 Flink的集群部署 环境准备 集群安装 集群启动 案例测试 整体执行过程 数据流图的

[cocos2dx笔记006]流格式日志

在cocos2dx 2.2.2版本中,cocos使用的是CLOG写入日期,其格式是C的Printf方式生成日志.现在也有很多C++流式日志,类似于cout这样的操作.我看了也有很多,log4cxx,等.但是个人移动有些大.我就在我原来的日志中增加了对流式的支持.并顺利移植到cocos2dx环境中使用.下载是在cocos2dx使用的例子. cocos2dx的日志端类: #ifndef _X_COCOS2D_LOG_END_H_ #define _X_COCOS2D_LOG_END_H_ #incl

流式计算形态下的大数据分析

1 介 绍 1.1 流式计算介绍 流式大数据计算主要有以下特征: 1)实时性.流式大数据不仅是实时产生的,也是要求实时给出反馈结果.系统要有快速响应能力,在短时间内体现出数据的价值,超过有效时间后数据的价值就会迅速降低. 2)突发性.数据的流入速率和顺序并不确定,甚至会有较大的差异.这要求系统要有较高的吞吐量,能快速处理大数据流量. 3)易失性.由于数据量的巨大和其价值随时间推移的降低,大部分数据并不会持久保存下来,而是在到达后就立刻被使用并丢弃.系统对这些数据有且仅有一次计算机会. 4)无限性

什么是流式计算？

一.流式计算的背景 在日常生活中,我们通常会先把数据存储在一张表中,然后再进行加工.分析,这里就涉及到一个时效性的问题.如果我们处理以年.月为单位的级别的数据,那么多数据的实时性要求并不高:但如果我们处理的是以天.小时,甚至分钟为单位的数据,那么对数据的时效性要求就比较高.在第二种场景下,如果我们仍旧采用传统的数据处理方式,统一收集数据,存储到数据库中,之后在进行分析,就可能无法满足时效性的要求. 二.流式计算与批量计算 大数据的计算模式主要分为批量计算(batch computing).流式计

流式计算（一）-Java8Stream

大约各位看官君多少也听说了Storm/Spark/Flink,这些都是大数据流式处理框架.如果一条手机组装流水线上不同的人做不同的事,有的装电池,有的装屏幕,直到最后完成,这就是典型的流式处理.如果手机组装是先全部装完电池,再交给装屏幕的组,直到完成,这就是旧式的集合式处理.今天,就来先说说JDK8中的流,虽然不是很个特新鲜的话题,但是一个很好的开始,因为——思想往往比细节重要! 准备: Idea2019.03/Gradle5.6.2/JDK11.0.4/Lambda 难度:新手--战士--老兵

流式计算（二）-Kafka Stream

前面说了Java8的流,这里还说流处理,既然是流,比如水流车流,肯定得有流的源头,源可以有多种,可以自建,也可以从应用端获取,今天就拿非常经典的Kafka做源头来说事,比如要来一套应用日志实时分析框架,或者是高并发实时流处理框架,正是Kafka的拿手好戏. 环境:Idea2019.03/Gradle6.0.1/JDK11.0.4/Lambda/RHEL8.0/VMWare15.5/Springboot2.2.1.RELEASE/Zookeeper3.5.5/Kafka2.3.1 难度:新手--战

流式计算（五）-Flink核心概念

一手资料,完全来自官网,直接参考英文过来的,并加了一些自己的理解,希望能让看官君了解点什么,足矣. 环境:Flink1.9.1 难度:新手--战士--老兵--大师 目标: 理解Flink的计算模型 认识各重要组件 说明: 本篇作为前两篇的补充内容,算是理论篇 步骤: 01-Flink编程模型 Flink的流计算整体来看都是按照Source -> Transformation -> Sink三步走,即获取流源 -> 进行转换 -> 汇聚(Sink),但“转换 (Transformat