logstash收集系统日志配置

查看官方文档

https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html

找个路径

/home/data/logstash/logstash/config

创建 vi file.config

input {
    file {
     path => "/var/log/messages"
     type => "system"
     start_position => "beginning"
     }

##java的输出日志  使用codec 处理异常信息

file {
       path => "/home/data/es/logs/oldboy.log"     
       type => "es_error"
       start_position => "beginning"

##输出错误日志
       codec => multiline {
         pattern => "^\["
         negate => true
         what => "previous"
        }
    }

}
output {
   if [type]=="system" {
    elasticsearch {
         hosts => ["192.168.174.130:9200"]
         index => "system-%{+YYYY.MM.dd}"
     }
    }
   if [type]=="es_error" {
     elasticsearch {
          hosts => ["192.168.174.130:9200"]
         index => "es_error-%{+YYYY.MM.dd}"
     }

}

}

启动

bin/logstash -f /home/data/logstash/logstash/config/file.conf

原文地址:https://www.cnblogs.com/gyadmin/p/10635954.html

时间: 2024-10-13 23:01:50

logstash收集系统日志配置的相关文章

logstash结合rsyslog,收集系统日志

rsyslog是日志收集工具.如今非常多Linux都自带rsyslog,用其替换掉syslog.怎样安装rsyslog就不讲了.大概讲下原理.然后讲logstash的相关配置. rsyslog本身有一个配置文件 /etc/rsyslog.conf,里面定义了日志文件.以及对应保存的地址.下面述语句为例: local7.* /var/log/boot.log 他表明全部以local17.开头的日志文件都记录到 /var/log/boot.log. 上面提到它是日志收集工具,体如今,不只能够收集本机

使用logstash收集日志的可靠性验证

实时计算里,需要对日志实时收集,logstash可以做到.目前的版本是1.4.2,官方文档在http://www.logstash.net/docs/1.4.2/,里面有详细的配置说明,使用也很简单.这里主要对logstash的可靠性做了简单的验证 intput为file,kill掉logstash进程 每100ms打印一条日志,用logstash读取:每隔20s杀掉logstash进程,又重启.发现logstash会有高概率重发日志,也有少量发送空消息,要注意代码中要过滤重复消息和空消息 关闭

Logstash 父子关系 配置

最近在使用Lostash的过程中遇到了一个问题:在一个log文件里包含两类数据,而且两类数据之间存在父子关系,那如何使用lostash的configuration实现这个需求呢 思路: 首先定义父事件的pattern,因为子事件不匹配父pattern,所以logstash会自动为子事件添加_grokparesefailure 标签.通过该标签即可知道当前事件是父事件还是子事件 使用filter->ruby生成document_id,并把它放到ruby全局变量中 ,这样子事件就可以访问到父事件的d

ELK 学习笔记之 Logstash之inputs配置

Logstash之inputs配置: input plugin doc: https://www.elastic.co/guide/en/logstash/current/index.html 插件很多,选两个常用的使用下. 1. stdin input plugin 参数: 建立stdin-sample.conf: input { stdin {} } output { stdout {} } 执行: ./logstash -f stdin-sample.conf 输入即所得 2. file

logstash收集syslog日志

logstash收集syslog日志注意:生产用syslog收集日志!!! 编写logstash配置文件 #首先我用rubydebug测试数据 [[email protected] conf.d]# cat syslog.conf input{ syslog{ type => "system-syslog" host => "192.168.247.135" port => "514" } } output{ stdout{ c

Logstash+Kibana部署配置

Logstash是一个接收,处理,转发日志的工具.支持系统日志,webserver日志,错误日志,应用日志,总之包括所有可以抛出来的日志类型. 典型的使用场景下(ELK): 用Elasticsearch作为后台数据的存储,kibana用来前端的报表展示.Logstash在其过程中担任搬运工的角色,它为数据存储,报表查询和日志解析创建了一个功能强大的管道链.Logstash提供了多种多样的 input,filters,codecs和output组件,让使用者轻松实现强大的功能. 学习Logstas

logstash收集java日志,多行合并成一行

使用codec的multiline插件实现多行匹配,这是一个可以将多行进行合并的插件,而且可以使用what指定将匹配到的行与前面的行合并还是和后面的行合并. 1.java日志收集测试 input { stdin { codec => multiline { pattern => "^\[" //以"["开头进行正则匹配 negate => true //正则匹配成功 what => "previous" //和前面的内容进

ELK日志处理之使用logstash收集log4J日志

介绍一下如何从Java工程中导出log4J日志到Logstash. 一.log4j基础 不能免俗的官方介绍: Log4j 是一个使用 Java 语言编写的,可靠.快速.灵活的日志框架(API),使用 Apache Software License 授权.它被移植到 C.C++.C#.Perl.Python.Ruby 和 Eiffel 语言中. Log4j 是高度可配置的,在运行期使用外部的配置文件对其进行配置.它按照优先级别记录日志,并可将日志信息定向输出到各种介质,比如数据库.文件.控制台.U

logstash 收集tomcat异常信息

我所期望达到的效果,就是每个日期一条,在kibana界面也是一条.多行异常的也是一条. 其实,很简单,就是加个反向判断. logstash原理 一个客户端,一个服务器,就是这样的模式 没什么神奇的,最麻烦的正则匹配,不好弄.听说storm更好用. 1.client配置 cat /etc/logstash/conf.d/shipper.conf input {     file {         path => ["/opt/src/logs/*/*/*/*"]