ELK学习实验016:filebeat收集tomcat日志

filebeat收集tomcat日志

1 安装tomcat

[[email protected] ~]# yum -y install tomcat tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp tomcat-javadoc

[[email protected] ~]# systemctl start tomcat

[[email protected] ~]# systemctl status tomcat

[[email protected] ~]# netstat -ntlp|grep 8080

2 访问生成日志

访问http://192.168.132.134:8080/

点击页面,就可以产生日志

[[email protected] ~]#  tail  -f /var/log/tomcat/localhost_access_log.2020-01-19.txt

3 转换日志格式

把tomcat日志转换成json格式

[[email protected] ~]# vim /etc/tomcat/server.xml

原格式

修改:

<Host name="localhost"  appBase="webapps"
            unpackWARs="true" autoDeploy="true">

        <!-- SingleSignOn valve, share authentication between web applications
             Documentation at: /docs/config/valve.html -->
        <!--
        <Valve className="org.apache.catalina.authenticator.SingleSignOn" />
        -->

        <!-- Access log processes all example.
             Documentation at: /docs/config/valve.html
             Note: The pattern used is equivalent to using pattern="common" -->
        <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
               prefix="localhost_access_log." suffix=".txt"
               pattern="{&quot;client&quot;:&quot;%h&quot;,  &quot;client user&quot;:&quot;%l&quot;,   &quot;authenticated&quot;:&quot;%u&quot;,   &quot;access time&quot;:&quot;%t&quot;,     &quot;method&quot;:&quot;%r&quot;,   &quot;status&quot;:&quot;%s&quot;,  &quot;send bytes&quot;:&quot;%b&quot;,  &quot;Query?string&quot;:&quot;%q&quot;,  &quot;partner&quot;:&quot;%{Referer}i&quot;,  &quot;Agent version&quot;:&quot;%{User-Agent}i&quot;}"/>
      </Host>

重启

[[email protected] ~]# > /var/log/tomcat/localhost_access_log.2020-01-19.txt

[[email protected] ~]# systemctl restart tomcat

4 查看日志

[[email protected] ~]# tail -f /var/log/tomcat/localhost_access_log.2020-01-19.txt|jq .

5 filebeat收集日志

配置filebeat收集

filebeat.inputs:
#####################################################
## Nginx log
#####################################################
- type: log
  enabled: true
  paths:
    - /usr/local/nginx/logs/access.log
  json.key_under_root: true
  json.overwrite_keys: true
  tags: ["access"]

- type: log
  enabled: true
  paths:
    - /usr/local/nginx/logs/error.log
  tags: ["error"]

#####################################################
## tomcat  log
#####################################################
- type: log
  enabled: true
  paths:
    - /var/log/tomcat/localhost_access_log.*.txt
  json.key_under_root: true
  json.overwrite_keys: true
  tags: ["tomcat"]

#####################################################
## Output
#####################################################
setup.kibana:
  host: "192.168.132.131:5601"
output.elasticsearch:
  hosts: ["192.168.132.131:9200","192.168.132.132:9200","192.168.132.133:9200"]
  #index: "nginx-%{[agent.version]}-%{+yyyy.MM.dd}"
  indices:
    - index: "access-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        tags: "access"
    - index: "error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        tags: "error"
    - index: "tomcat-access-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        tags: "tomcat"

[[email protected] ~]# systemctl restart filebeat

已经配置成功

6 日志收集查看

详细日志

{
"_index": "tomcat-access-7.4.2-2020.01.19",
"_type": "_doc",
"_id": "HFExvW8BOF7DoSFdom7C",
"_version": 1,
"_score": 1,
"_source": {
"@timestamp": "2020-01-19T09:45:42.999Z",
"log": {
"offset": 412,
"file": {
"path": "/var/log/tomcat/localhost_access_log.2020-01-19.txt"
}
},
"json": {
"access time": "[19/Jan/2020:04:35:49 -0500]",
"send bytes": "945945",
"Query?string": "",
"Agent version": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36",
"authenticated": "-",
"partner": "http://192.168.132.134:8080/",
"client user": "-",
"method": "GET /docs/changelog.html HTTP/1.1",
"client": "192.168.132.1",
"status": "200"
},
"tags": [
"tomcat"
],
"input": {
"type": "log"
},
"host": {
"name": "node4"
},
"agent": {
"hostname": "node4",
"id": "bb3818f9-66e2-4eb2-8f0c-3f35b543e025",
"version": "7.4.2",
"type": "filebeat",
"ephemeral_id": "72970b03-e7a4-4529-b9ec-8134e563d395"
},
"ecs": {
"version": "1.1.0"
}
}
}

kibana查看

tomcat日志收集完成

原文地址:https://www.cnblogs.com/zyxnhr/p/12215042.html

时间: 2024-10-29 21:07:20

ELK学习实验016:filebeat收集tomcat日志的相关文章

ELK学习实验018:filebeat收集docker日志

Filebeat收集Docker日志 1 安装docker [[email protected] ~]# yum install -y yum-utils device-mapper-persistent-data lvm2 [[email protected] ~]# yum update [[email protected] ~]# yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/d

ELK学习实验014:Nginx日志JSON格式收集

1 Kibana的显示配置 https://demo.elastic.co/app/kibana#/dashboard/welcome_dashboard 环境先处理干净 安装nginx和httpd-tools 2 使用压测工具产生日志 [[email protected] ~]# ab -n 100 -c 100 http://192.168.132.134/ This is ApacheBench, Version 2.3 <$Revision: 1430300 $> Copyright

ELK 平台收集Tomcat日志记录

简介 目前大多数中小型企业使用tomcat 服务作为后端服务器,因为tomcat支持java代码.但是每次查看tomcat的日志(catalina.out),不仅庞大,还特别不方便查询,所以应用ELK平台监控tomcat日志是很有必要的. 部署过程 一.安装ELK平台 详细安装过程参考博客: https://blog.51cto.com/13760351/2471799 二.安装tomcat服务 1.安装过程 可以参考博客 https://blog.51cto.com/13760351/2160

ELK学习实验019:ELK使用redis缓存

1 安装一个redis服务 [[email protected] ~]# yum -y install redis 直接启动 [[email protected] ~]# systemctl restart redis [[email protected] ~]# systemctl status redis [[email protected] ~]# redis-cli  -h 127.0.0.1 2 配置filebeat,把数据传给redis [[email protected] ~]#

syslog-ng+syslog收集Tomcat日志(三)

本篇讲解如果提交tomcat日志,为tomcat创建独立配置. 为什么要创建独立配置文件? 做成模块化便于管理,调试.不需要时,直接删除对应的配置文件即可. 以下是配置内容,都做了相关注释. 注:教程相关配置下载. 配置文件中的中文注释为方便初学者,并非官方提供,中文注释可能会引起奇怪的问题. 建议:在使用中删除所有的中文注释,如需注释可以用英文(实在不行就拼音) 环境:tomcat安装路径 /web/webfront vi /etc/rsyslog.d/tomcat-log.conf # rs

logstash配合filebeat监控tomcat日志

环境:logstash版本:5.0.1&&filebeat 5.0.1 ABC为三台服务器.保证彼此tcp能够相互连接. Index服务器A - 接收BC两台服务器的tomcat日志 /var/tomcat/logs/ca**.out 此服务器安装logstash.安装过程 logstash服务器启动:logstash -f indexer.conf --config.reload.automatic Shipper服务器B,C - 发送tomcat日志.此服务器安装filebeat.fi

使用rsync归档收集Tomcat日志

随着业务的不断的增加,使得多台的Tomcat的日志不断剧增,以前有利用bzip2压缩历史数据的脚本压缩过,所以历史日志格式都是统一的,所以打算把部分历史日志数据收集下来,再做具体分析,选选取一台磁盘比较大的服务器用rsync来做日志中心服务器用于收集日志,需要的可以参看:http://jim123.blog.51cto.com/4763600/1959054.于是就写了一个脚本在不同的服务器上用于历史日志数据的归档,实现也很简单,如下: #!/bin/bash #rsync_logs.sh #w

ELK集群部署及收集nginx日志

一.ELK说明 二.架构图 三.规划说明 四.安装部署nginx+logstash 五.安装部署redis 六.安装部署logstash server 七.安装部署elasticsearch集群 八.安装kibana 一.ELK说明 ELK Stack 是 Elasticsearch.Logstash.Kibana 三个开源软件的组合.在实时数据检索和分析场合,三者通常是配合共用,而且又都先后归于 Elastic.co 公司名下,故有此简称. ELK Stack 在最近两年迅速崛起,成为机器数据

syslog-ng+syslog收集Tomcat日志(一)

环境: 日志收集服务器:syslog-ng_V3.3.7 Tomcat客户端:syslog + tomcat 干扰: 1.为了方便调试将防火墙和SELinux关闭. #service iptables stop     //停止防火墙 #chkconfig iptables off    //开机不启动 #service iptables status    //查看防火墙状态 防火墙停止运行了. 2.将SELINUX=enforcing 改成 SELINUX=disabled #vi /etc