Logstash配置文件处理日志时间

将SpringBoot生成的日志文件,通过Logstash传输到Elasticsearch。日志文件内容格式如下

2019-11-12 22:01:23.358 调用==>用户退出登录接口参数=>"{\"phone\":\"17010058888\",\"token\":\"oo:8da500acb09d7e3ef2e9e61dcc6b5908\"}"

编写logstash.conf文件,内容如下,将日志打印的时间戳转换为timestamp类型

input {
    file {
        type => "auth_log"
        path => ["/logs/auth.log"]
        start_position => "beginning"
        sincedb_path => "/dev/null"
    }
}

filter {
        grok {
          match => { "message" => "\s*%{TIMESTAMP_ISO8601:time}\s*%{NOTSPACE:rest}" }
        }
        date {
          match => ["time", "yyyy-MM-dd HH:mm:ss.SSS"]
          target => "@timestamp"
        }
        mutate {
          remove_field =>["message"]
        }
}
output {
  elasticsearch {
    hosts => "ip:9200"
    index => "logstash-%{+YYYY.MM.dd}"
  }
}

原文地址:https://www.cnblogs.com/yangjiming/p/11846085.html

时间: 2024-11-09 15:01:30

Logstash配置文件处理日志时间的相关文章

apache访问日志 logstash 配置文件实例1

日志格式: LogFormat "%{clientip}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" \"%{clientip}i.%{cookie}n\"" combined 日志实例: 183.60.150.34 - - [23/Jun/2017:17:57:52 +0800] "GET /jump/cps.jsp

nginx访问日志 logstash 配置文件实例1

日志格式: log_format usgateway '$http_clientip\t$http_ServiceName\t$http_uid\t$http_sid\t[$time_local]'                                      '\t$request\t$status\t$body_bytes_sent\t$connection_requests'                                      '\t$remote_add

logstash+elasticsearch +kibana 日志管理系统

Logstash是一个完全开源的工具,他可以对你的日志进行收集.分析,并将其存储供以后使用(如,搜索),您可以使用它.说到搜索,logstash带有一个web界面,搜索和展示所有日志.kibana 也是一个开源和免费的工具,他可以帮助您汇总.分析和搜索重要数据日志并提供友好的web界面.他可以为 Logstash 和 ElasticSearch 提供的日志分析的 Web 界面. 目的就是为了运维.研发很方便的进行日志的查询.Kibana一个免费的web壳:Logstash集成各种收集日志插件,还

logstash+elasticsearch+kibana日志收集

一. 环境准备 角色 SERVER IP logstash agent 10.1.11.31 logstash agent 10.1.11.35 logstash agent 10.1.11.36 logstash central 10.1.11.13 elasticsearch  10.1.11.13 redis 10.1.11.13 kibana 10.1.11.13 架构图如下: 整个流程如下: 1) 远程节点的logstash agent收集本地日志后发送到远程redis的list队列

解决vsftpd日志时间问题

解决vsftpd日志时间问题 发布时间:August 29, 2008 分类:Linux <你必须承认土也是一种艺术> <Linux下查看Apache的请求数> 最近发现vsftpd的日志记录/var/log/vsftpd.log里显示的文件修改时间与实际的系统时间不一致,一般都差了8个小时.搜索了一下,发现因为默认情况下, vsftpd使用的是GMT标准时间,而不是Local Time.修改也很简单: # 修改vsftpd 的配置文件 vsftpd.conf# 不一定是这个路径v

解决SYSLOG插件时间日志时间显示不正确的问题

SYSLOG插件时显示的日志时间来源是设备发送过来的日志信息里所包含的时间,有时因为网络设备没有设置NTP服务器重启后时间不正确导致查看日志时很是不方便. 那么我们可以把服务器的时间设置为他们日志发生的时间,时间相差也就1到2分钟(如果都是使用同一个ntp服务器来同步时间,那么几乎可忽略不计).那么这样我们只要在RSYSLOG写入MYSQL时的时间更改为服务器自己的时间就可以了 编辑rsyslog.conf  配置文件 修改以下参数. $template cacti_syslog,"INSERT

nginx实操(2)配置文件&内核&日志说明

优化内核参数 cat /etc/sysctl.conf net.ipv4.ip_forward = 0 表示开启路由功能,0是关闭,1是开启 net.ipv4.conf.default.rp_filter = 1 开启反向路径过滤 net.ipv4.conf.default.accept_source_route = 0 处理无源路由的包 net.ipv4.tcp_max_tw_buckets = 6000 表示系统同时保持TIME_WAIT套接字的最大数量,如果超过这个数字,TIME_WAIT

logstash+elastic+kibana日志管理工具介绍及安装

logstash+elastic+kibana日志管理工具介绍及安装 一. Logstash 安装 1.1 前置条件,安装了官方java 7或更新版本 查看 [ldx@1511-min ~]$ java -version openjdk version "1.8.0_71" OpenJDK Runtime Environment (build 1.8.0_71-b15) OpenJDK 64-Bit Server VM (build 25.71-b15, mixed mode) 1.2

Elasticsearch+logstash+kibana实现日志分析(实验)

Elasticsearch+logstash+kibana实现日志分析(实验) 一.前言 Elastic Stack(旧称ELK Stack),是一种能够从任意数据源抽取数据,并实时对数据进行搜索.分析和可视化展现的数据分析框架.(hadoop同一个开发人员) java 开发的开源的全文搜索引擎工具 基于lucence搜索引擎的 采用 restful - api 标准的 高可用.高扩展的分布式框架 实时数据分析的 官方网站: https://www.elastic.co/products 为什么