zabbix_sender主动上传k/v监控nginx日志状态码

目前的zabbix监控了900台左右服务器,大概有11万items,zabbix在工作时根据agent的工作特点分为主动模式和被动模式,实际上一般开启兼容模式。在items多了后,有一些速度慢的items如果不采用主动模式,会把server端拖死,而zabbix_sender其实是一种变相的主动模式,配合计划任务,主动将k/v上传到zabbix,现将nginx日志zabbix_sender实现状态码的监控抛砖引玉做下介绍。

一、agent端编写脚本和计划任务

需求是监控nginx日志的200、400、401、403、404、499、502、503、504状态码,按分钟进行数量统计上报。编写脚本入下:

#!/bin/bash
log_dir=/data1/ms/comos/logs/access.log #log目录 
log_tmp_dir=/tmp/last_min_log           #过滤出最后1分钟的日志做临时存放
senderfile=/tmp/sender_file             #用zabbix_sender发送的k/v文件
Hostname=`hostname`                     #获取主机名,与server端主机名会有验证
last_min=`date -d "1 minute ago" ‘+%Y:%H:%M‘` #nginx里的时间,1分钟之前
tail -60000 ${log_dir} |grep "${last_min}" > ${log_tmp_dir}  #qps在500到800之间,增加性能,tail结尾60000条取出最后一分钟日志。
cat /tmp/last_min_log |awk -F‘"‘ ‘{print $3}‘ |awk ‘{print $1}‘ |sort |uniq -c  >  /tmp/stat  #将状态码去重统计
>$senderfile    #清零zabbix_sender的发送文件
c_200=`awk ‘$2==200{print $1}‘ /tmp/stat`;[ -z $c_200 ] && c_200=0  #取出数量,如果没有此状态码,数量初始化为0
c_400=`awk ‘$2==400{print $1}‘ /tmp/stat`;[ -z $c_400 ] && c_400=0
c_401=`awk ‘$2==401{print $1}‘ /tmp/stat`;[ -z $c_401 ] && c_401=0
c_403=`awk ‘$2==403{print $1}‘ /tmp/stat`;[ -z $c_403 ] && c_403=0
c_404=`awk ‘$2==404{print $1}‘ /tmp/stat`;[ -z $c_404 ] && c_404=0
c_499=`awk ‘$2==499{print $1}‘ /tmp/stat`;[ -z $c_499 ] && c_499=0
c_502=`awk ‘$2==502{print $1}‘ /tmp/stat`;[ -z $c_502 ] && c_502=0
c_503=`awk ‘$2==503{print $1}‘ /tmp/stat`;[ -z $c_503 ] && c_503=0
c_504=`awk ‘$2==504{print $1}‘ /tmp/stat`;[ -z $c_504 ] && c_504=0
echo "$Hostname nginx_stat200 $c_200" >> $senderfile  #将k/v写入zabbix_sender的发送文件,注意写法,主机名、key、value
echo "$Hostname nginx_stat400 $c_400" >> $senderfile
echo "$Hostname nginx_stat401 $c_401" >> $senderfile
echo "$Hostname nginx_stat403 $c_403" >> $senderfile
echo "$Hostname nginx_stat404 $c_404" >> $senderfile
echo "$Hostname nginx_stat499 $c_499" >> $senderfile
echo "$Hostname nginx_stat502 $c_502" >> $senderfile
echo "$Hostname nginx_stat503 $c_503" >> $senderfile
echo "$Hostname nginx_stat504 $c_504" >> $senderfile
/usr/local/zabbix/bin/zabbix_sender -c /usr/local/zabbix/etc/zabbix_agentd.conf  -i $senderfile  #最终的向server发送

添加到计划任务:

*/1 * * * * /usr/local/zabbix/script/nginxlog.sh 2>&1

二、配置server端和grafana进行绘图

配置项如下,将type设置为Zabbix trapper

设置完毕后执行下脚本,结果如下:

最后将展示放在grafana里,效果如下:

时间: 2024-10-14 19:00:22

zabbix_sender主动上传k/v监控nginx日志状态码的相关文章

zabbix用户自定义key检测内存信息和监控nginx的状态页

用户自定义key: 位置:在zabbix agent端实现: zabbix_agent.conf UserParamenter 语法格式: UserParamenter=<key>,<command> 示例: ~]# vim /etc/zabbix/zabbix_agentd.conf UserParameter=memory.free,cat /proc/meminfo | awk '/^MemFree:/{print $2}' # 没有参数时,如果要使用$,正常使用即可,如果是

zabbix监控nginx连接状态

zabbix学习笔记:zabbix监控nginx连接状态 zabbix监控nginx zabbix可以监控nginx的状态,关于一个服务的状态可以查看服务本身的状态(版本号.是否开启),还应该关注服务能力(例如以nginx的负载效果:连接数.请求数和句柄数).下面我们使用zabbix监控nginx. nginx的安装 如果想要查看nginx的服务状态,在对nginx进行源码安装的时候要选中–with-http_stub_status_module模块. 1.解压安装包: [[email prot

按照zabbix客户端及自定义监控nginx连接状态

一.下载客户端按照包,这里用rpm包安装 [[email protected] ~]# rpm -ivh http://repo.zabbix.com/zabbix/3.0/rhel/7/x86_64/zabbix-agent-3.0.4-1.el7.x86_64.rpm 修改客户端配置文件 Server=127.0.0.1 ServerActive=127.0.0.1 改为zabbix server实际的IP地址(比如zabbix server的IP地址为10.0.0.100) Server=

zabbix监控nginx连接状态(转)

zabbix监控nginx zabbix可以监控nginx的状态,关于一个服务的状态可以查看服务本身的状态(版本号.是否开启),还应该关注服务能力(例如以nginx的负载效果:连接数.请求数和句柄数).下面我们使用zabbix监控nginx. nginx的安装 如果想要查看nginx的服务状态,在对nginx进行源码安装的时候要选中–with-http_stub_status_module模块. 1.解压安装包: [[email protected] mnt]# tar xvf nginx-1.

web大文件上传控件-监控f_create流程-Xproer.HttpUploader6

监控f_create流程 1.打开ie,f12 2.启动网络监控 点击开始捕获 上传文件,然后查看监控 将监控信息转到详细视图

springMVC 文件件上传大小限制, Nginx反向代理上传大文件

配置spring-mvc.xml <!-- 上传文件配置 2048*1024*1024即2GB resolveLazily属性启用是为了推迟文件解析,以便捕获文件大小异常 --> <bean id="multipartResolver" class="org.springframework.web.multipart.commons.CommonsMultipartResolver"> <!----> <!--<pro

zabbix监控nginx性能状态

nginx在生产环境中的应用越来越广泛,所以需要对nginx的性能状态做一些监控,来发现出来出现的问题.nginx处理流程图具体如下: 注释:Accepts(接受).Handled(已处理).Requests(请求数)是一直在增加的计数器.Active(活跃).Waiting(等待).Reading(读).Writing(写)随着请求量而增减 名称 描述 指标类型 Accepts(接受) NGINX 所接受的客户端连接数 资源: 功能 Handled(已处理) 成功的客户端连接数 资源: 功能

ELK整合Filebeat监控nginx日志

ELK 日志分析 1. 为什么用到 ELK 一般我们需要进行日志分析场景:直接在日志文件中 grep. awk 就可以获得自己想要的信息.但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档.文本搜索太慢怎么办.如何多维度查询.需要集中化的日志管理,所有服务器上的日志收集汇总.常见解决思路是建立集中式日志收集系统,将所有节点上的日志统一收集,管理,访问. 一般大型系统是一个分布式部署的架构,不同的服务模块部署在不同的服务器上,问题出现时,大部分情况需要根据问题暴露的关键信息,定位

python——nagios监控nginx日志 request_time

遇到问题:nginx日志包含非常重要的信息.比如upstream_response_time 和request_time.现需求监控改值. 解决问题:编写python脚本,通过nagios check_nrpe 插件完成监控. 前提了解: nginx日志格式: log_format  main  '$remote_addr |$time_local| $request | $status | $body_byte s_sent | $http_referer | $http_user_agent