logstash收集tomcat日志

1，日志格式

2015-09-28·09:50:48·[http-bio-80-exec-13]·DEBUG·com.weitoo.server.aspect.LogAspect·-{ip:183.16.4.40,url:http://api.xx.com/server/sc/commodity/getOnlineCommodity,param:{"shopId":1000001,"needCategory":false,"needCommodityTotal":false,"searchCommodityId":1002001},return:{"status":1},cost:3.911ms}

通过https://grokdebug.herokuapp.com/

2，配置logstash正则：

#
[[email protected] patterns]# pwd
/data/application/logstash-5.2.0/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-4.0.2/patterns
[[email protected] patterns]#cat tomcat
SERVER_LOG %{DATA:year}-%{DATA:month}-%{DATA:day}\ %{DATA:hour}\:%{DATA:min}\:%{DATA:sec}\ %{DATA:level}\ %{DATA:class} -{ip:%{DATA:ip},url:%{DATA:url},param:%{DATA:param},return:%{DATA:return},cost:%{BASE10NUM:cost}

原文地址：http://blog.51cto.com/hsuing/2108093

时间： 2024-07-29 06:45:04

logstash收集tomcat日志的相关文章

logstash收集syslog日志

logstash收集syslog日志注意:生产用syslog收集日志!!! 编写logstash配置文件 #首先我用rubydebug测试数据 [[email protected] conf.d]# cat syslog.conf input{ syslog{ type => "system-syslog" host => "192.168.247.135" port => "514" } } output{ stdout{ c

ELK学习实验016：filebeat收集tomcat日志

filebeat收集tomcat日志 1 安装tomcat [[email protected] ~]# yum -y install tomcat tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp tomcat-javadoc [[email protected] ~]# systemctl start tomcat [[email protected] ~]# systemctl status tomcat [[email prot

syslog-ng+syslog收集Tomcat日志（三）

本篇讲解如果提交tomcat日志,为tomcat创建独立配置. 为什么要创建独立配置文件? 做成模块化便于管理,调试.不需要时,直接删除对应的配置文件即可. 以下是配置内容,都做了相关注释. 注:教程相关配置下载. 配置文件中的中文注释为方便初学者,并非官方提供,中文注释可能会引起奇怪的问题. 建议:在使用中删除所有的中文注释,如需注释可以用英文(实在不行就拼音) 环境:tomcat安装路径 /web/webfront vi /etc/rsyslog.d/tomcat-log.conf # rs

ELK 平台收集Tomcat日志记录

简介目前大多数中小型企业使用tomcat 服务作为后端服务器,因为tomcat支持java代码.但是每次查看tomcat的日志(catalina.out),不仅庞大,还特别不方便查询,所以应用ELK平台监控tomcat日志是很有必要的. 部署过程一.安装ELK平台详细安装过程参考博客: https://blog.51cto.com/13760351/2471799 二.安装tomcat服务 1.安装过程可以参考博客 https://blog.51cto.com/13760351/2160

logstash收集rsyslog日志

(1)rsyslog配置在192.168.1.31配置 #vim /etc/rsyslog.conf *.* @@192.168.1.32:514 //所有设备名,所有日志级别都发送到192.168.1.32的rsyslog #systemctl restart rsyslog (2)测试rsyslog标准输入输出 1.在192.168.1.32测试rsyslog接收 #vim /etc/logstash/conf.d/rsyslog.conf input { syslog { type =>

使用rsync归档收集Tomcat日志

随着业务的不断的增加,使得多台的Tomcat的日志不断剧增,以前有利用bzip2压缩历史数据的脚本压缩过,所以历史日志格式都是统一的,所以打算把部分历史日志数据收集下来,再做具体分析,选选取一台磁盘比较大的服务器用rsync来做日志中心服务器用于收集日志,需要的可以参看:http://jim123.blog.51cto.com/4763600/1959054.于是就写了一个脚本在不同的服务器上用于历史日志数据的归档,实现也很简单,如下: #!/bin/bash #rsync_logs.sh #w

logstash 收集windows日志--解决日志不能重命名问题

logstash 在windows中收集日志的时候,会导致写日志的程序不能进行日志的切割(windows提示,文件被占用) 从github上下载useJavatoOpenFile https://github.com/edwinf/ruby-filewatch/tree/useJavatoOpenFile wget https://github.com/jordansissel/ruby-filewatch/archive/master.zip 解压缩后使用解压缩工具打开logstash

syslog-ng+syslog收集Tomcat日志（一）

环境: 日志收集服务器:syslog-ng_V3.3.7 Tomcat客户端:syslog + tomcat 干扰: 1.为了方便调试将防火墙和SELinux关闭. #service iptables stop //停止防火墙 #chkconfig iptables off //开机不启动 #service iptables status //查看防火墙状态防火墙停止运行了. 2.将SELINUX=enforcing 改成 SELINUX=disabled #vi /etc

logstash收集java日志,多行合并成一行

使用codec的multiline插件实现多行匹配,这是一个可以将多行进行合并的插件,而且可以使用what指定将匹配到的行与前面的行合并还是和后面的行合并. 1.java日志收集测试 input { stdin { codec => multiline { pattern => "^\[" //以"["开头进行正则匹配 negate => true //正则匹配成功 what => "previous" //和前面的内容进