生产环境filebeat logstash配置模板

filebeat logstash配置模板说明

为了让不同类型的日志记录到不同index,实现日志分类,需要更改默认的配置文件,ELK更新迭代速度很快,网上以前的文档适用于之前的版本

filebeat的docment_type配置项已经在6版本中弃用,请使用本文配置

filebeat配置模板

[email protected]:~$ cat /etc/filebeat/filebeat.yml
filebeat.prospectors:
- type: log
  enabled: true
  paths:
    - /var/www/bigbear_server/shared/log/ms.log
  fields:
    log_topics: server
- type: log
  enabled: true
  paths:
    - /var/www/bigbear_websocket/shared/log/ms.log
  fields:
    log_topics: socket
- type: log
  enabled: true
  paths:
    - /var/www/bigbear_admin/shared/log/ms.log
  fields:
    log_topics: admin
output.logstash:
  hosts: ["74.xxx.xx.xx:5044"]
  
  
 [email protected]:~$ cat /etc/filebeat/filebeat.yml
filebeat.prospectors:
- type: log
  enabled: true
  paths:
    - /var/www/bigbear_server/shared/log/ms.log
  fields:
    log_topics: server
- type: log
  enabled: true
  paths:
    - /var/www/bigbear_sidekiq/shared/log/ms.log
  fields:
    log_topics: sidekiq
- type: log
  enables: true
  paths:
    - /application/nginx/logs/access810*.log
    - /application/nginx/logs/access.log            日志的位置 
  fields:
    log_topics: nginx     日志注明类型(logstash为不同类型创建不同索引)
output.logstash:
  hosts: ["74.xx.xx.xx:5044"]

logstash配置模板

[email protected]:~$ cat /application/logstash-6.2.4/config/02-beats-input.conf
input {
    beats {
#    host => "74.207.240.124"
    codec => plain{ charset => "UTF-8" }
    port => 5044
#    ssl => true
#    ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
#    ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
  }
}
output {
  elasticsearch {
    codec => plain{ charset => "UTF-8" }
    hosts => "http://localhost:9200"
    user => "elastic"
    password => "OFBqKJ8XjSWlX8AWL0xs"
    manage_template => false
    index => "%{[fields][log_topics]}--%{+YYYY.MM.dd}"
    document_type => "%{[@metadata][type]}"
  }
  }

重新启动 kibana和 filebeat

可以看到 每天都会生成一个索引按照定义的fields

原文地址:http://blog.51cto.com/dellinger/2127985

时间: 2024-11-08 15:24:48

生产环境filebeat logstash配置模板的相关文章

实战生产环境vCenter HA配置(VCSA6.5)

官方vsphere6.5 文档中心镇楼: http://pubs.vmware.com/vsphere-65/index.jsp#com.vmware.vsphere.avail.doc/GUID-4A626993-A829-495C-9659-F64BA8B560BD.html vCenter High Availability (vCenter HA) 可防止 vCenter Server Appliance 发生主机和硬件故障.修补 vCenter Server Appliance 时,解

Django_生产环境静态文件配置

需求: 当Django项目运行在线上的时候,需要关闭debug模式,那么Django设置中,静态文件路径配置将会失效,如何解决这个问题? 问题原因: Django默认关闭debug模式,Django错误信息将不会返回给请求,setting中静态文件的设置将会自动失效,Django会认为这个是上线的环境 那,如何解决这个问题? 方法1: 把静态文件按照协议,存放在apache服务器等第三方服务器提供传输服务 方法2:Django自己启动一个服务,来进行静态文件传输 那选择方法2来进行配置: set

virgo-tomcat-server的生产环境线上配置与管理

Virgo Tomcat Server简称VTS,VTS是一个应用服务器,它是轻量级, 模块化, 基于OSGi系统.与OSGi紧密结合并且可以开发bundles形式的Spring web apps应用 他们同样拥有OSGi和Spring的特性.VTS由SpringSource 的Spring DM server过渡而来, virgo官网地址:http://www.eclipse.org/virgo Virgo Tomcat Server的心脏是Virgo Kernel简称VK. VK基于OSGi

CentOS7.1下生产环境Keepalived+Nginx配置

注:下文涉及到配置的,如无特别说明,主备机则一致! 一.环境介绍 1.这是我CentOS的版本,CentOS7.1,主备都为该版本 [[email protected] ~]# cat /etc/redhat-release CentOS Linux release 7.1.1503 (Core) [[email protected] ~]# cat /proc/version Linux version 3.10.0-229.el7.x86_64 ([email protected]) (gc

linux 架设nagios+cacti+nconf完整配置,生产环境中的配置。

以下是傻瓜配置,复制粘贴可以完成.有空我会写个script来帮助大家进一步解决傻瓜的复制粘贴步骤. 但还是希望大家了解nagios cacti nconf是怎样工作的,框架是怎样的. 下面是配置全过程 1.先安装各个nagios+cacti的依赖包 更新源rpm -ivh http://download.fedora.redhat.com/pub/epel/6/x86_64/epel-release-6-5.noarch.rpm yum update yum -y install httpd p

zabbix生产环境上监控配置

目前生产环直要监控指标 1.zabbix_agentd.conf UserParameter=system1.uname,/bin/uname -r ###Recv-q #UserParameter=recv-q,ss -nl|awk '{print $2}'|grep -v "Recv-Q"|awk '{if($1>0) {print 1}}'|wc -l ####memory UserParameter=master.memtotal,echo "scale=2;`

axiso 生产环境跨域配置(可用)

1.npm install axios 后 在main.js中import import Axios from 'axios'Vue.prototype.$http = Axios 2.请求配置 this.$http.get( { 'url':'http://sss.com/getSysTime.do', 'crossDomain': true, //跨域的配置项 'params': { firstName: 'Fred', lastName: 'Flintstone' } } ).then(f

生产环境下的配置和使用

2.1:RocketMQ各部分角色介绍: 四个角色:Producer.Consumer.Broker和NameServer. 如果一个Topic要发送和接收的数据量非常大,需要能支持增加并行处理的机器来提高处理速度,这时候一个Topic可以根据需求设置一个或多个Message Queue.Topic有了多个Message Queue后,消息可以并行地向各个Message Queue发送,消费者也可以并行地从多个Message Queue读取消息并消费. =====================

linux iptables常用命令之配置生产环境iptables及优化

在了解iptables的详细原理之前,我们先来看下如何使用iptables,以终为始,有可能会让你对iptables了解更深 所以接下来我们以配置一个生产环境下的iptables为例来讲讲它的常用命令 第一步:清空当前的所有规则和计数 iptables -F #清空所有的防火墙规则 iptables -X #删除用户自定义的空链 iptables -Z #清空计数 第二步:配置允许ssh端口连接 iptables -A INPUT -s 192.168.1.0/24 -p tcp --dport