filebeat 获取nginx日志 发送给ElasticSearch

目的:通过filebeat获取nginx日志,发送给ElasticSearch,filebeat可以解析json格式日志,所以设置nginx日志为json格式。

1、配置nginx配置文件

    log_format jsonTest ‘{"@timestamp":"$time_iso8601",‘
                  ‘"host":"$server_addr",‘
                  ‘"service":"nginxTest",‘
                  ‘"trace":"$upstream_http_ctx_transaction_id",‘
                  ‘"log":"log",‘
                  ‘"clientip":"$remote_addr",‘
                  ‘"remote_user":"$remote_user",‘
                  ‘"request":"$request",‘
                  ‘"http_user_agent":"$http_user_agent",‘
                  ‘"size":$body_bytes_sent,‘
                  ‘"responsetime":$request_time,‘
                  ‘"upstreamtime":"$upstream_response_time",‘
                  ‘"upstreamhost":"$upstream_addr",‘
                  ‘"http_host":"$host",‘
                  ‘"url":"$uri",‘
                  ‘"domain":"$host",‘
                  ‘"xff":"$http_x_forwarded_for",‘
                  ‘"referer":"$http_referer",‘
                  ‘"status":"$status"}‘;
     access_log /var/log/nginx/access.log jsonTest;

定义jsonTest的json格式,其中trace是页面response headers的值 ctx-transaction-id,通过upstream_http_ctx_transaction_id可以获取头文件属性。

将日志输出到/var/log/nginx/access.log

2、配置filebeat配置文件

filebeat.prospectors:
- type: log
  paths:
   - ‘/root/front/logs/*.log‘
  json.message_key: log
  json.keys_under_root: true

output.elasticsearch:
  hosts: ["*.*.*.*:9200"]

将日志传输给ElasticSearch

时间: 2024-11-06 07:09:42

filebeat 获取nginx日志 发送给ElasticSearch的相关文章

继ELK后续获取nginx日志

Elk通过filebeat获取nginx日志信息 Kibana -- 基础设施 -- 查看安装说明 -- 所有 -- nginx日志 下载并安装Filebeat curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.1.1-darwin-x86_64.tar.gz tar xzvf filebeat-7.1.1-darwin-x86_64.tar.gzcd filebeat-7.1.1-darwin

ELK整合Filebeat监控nginx日志

ELK 日志分析 1. 为什么用到 ELK 一般我们需要进行日志分析场景:直接在日志文件中 grep. awk 就可以获得自己想要的信息.但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档.文本搜索太慢怎么办.如何多维度查询.需要集中化的日志管理,所有服务器上的日志收集汇总.常见解决思路是建立集中式日志收集系统,将所有节点上的日志统一收集,管理,访问. 一般大型系统是一个分布式部署的架构,不同的服务模块部署在不同的服务器上,问题出现时,大部分情况需要根据问题暴露的关键信息,定位

filebeat读取nginx日志并写入kafka

filebeat写入kafka的配置: filebeat.inputs: - type: log paths: - /tmp/access.log tags: ["nginx-test"] fields: type: "nginx-test" log_topic: "nginxmessages" fields_under_root: true processors: - drop_fields: fields: ["beat"

Kafka+Zookeeper+Filebeat+ELK 搭建日志收集系统

ELK ELK目前主流的一种日志系统,过多的就不多介绍了 Filebeat收集日志,将收集的日志输出到kafka,避免网络问题丢失信息 kafka接收到日志消息后直接消费到Logstash Logstash将从kafka中的日志发往elasticsearch Kibana对elasticsearch中的日志数据进行展示 image 环境介绍: 软件版本: - Centos 7.4 - java 1.8.0_45 - Elasticsearch 6.4.0 - Logstash 6.4.0 - F

rsyslog转发nginx日志(rsyslog发送到logstashh)

收集系统其它服务日志,在客户端上操作,以nginx 服务的日志为例 先修改配置文件 /etc/rsyslog.conf,内容如下: #grep -v "^$" /etc/rsyslog.conf | grep -v "^#" $ModLoad imuxsock # provides support for local system logging (e.g. via logger command) $ModLoad immark  # provides --MARK

ELK系列一:ELK安装配置及nginx日志分析

本文分三个部分介绍了elk.elk安装配置及基于filebeat分析nginx日志的配置. 第一部分:elk介绍 一.什么是elk ELK 其实并不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写,Elasticsearch,Logstash 和 Kibana.这三款软件都是开源软件,通常是配合使用. 二.Elasticsearch 1.Elasticsearch介绍 Elasticsearch 是一个实时的分布式搜索和分析引擎,它可以用于全文搜索,结构化搜索以及分析.它是一个建立在全

Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息

简介: Graylog相对于ELK是较为轻量级的日志管理平台 Graylog官网:https://www.graylog.org/ Graylog-server:Graylog接收来自后端各种应用程序的日志并提供Web访问接口 Graylog Collector Sidecar:负责收集应用程序日志并发送至Graylog-server Elasticsearch:用于索引和保存接收到的日志 MongoDB: 负责保存 Graylog 自身的配置信息 通过Graylog来分析Ngnix日志,获取访

Filebeat +Redis+ELK处理Nginx日志系统

(一)简述: filebeat:具有日志收集功能,是下一代的Logstash收集器,但是filebeat更轻量,占用资源更少,适合客户端使用. redis:Redis 服务器通常都是用作 NoSQL 数据库,不过 logstash 只是用来做消息队列. logstash:主要是用来日志的搜集.分析.过滤日志的工具,支持大量的数据获取方式.一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节点日志进行过滤.修改等操作在一并发往elasticsearch

通过Filebeat把日志传入到Elasticsearch

学习的地方:配置文件中预先处理字段数据的用法 通过Filebeat把日志传入到Elasticsearch Elastic Stack被称之为ELK (Elasticsearch,Logstash and Kibana).由于beats的加入,现在很多人把ELK说成为ELKB.这里的B就是代表Beats.Beats在Elasticsearch中扮演很重要的角色. Beats可以帮我们采集数据,并把它传入到Elasticsearch或Logstash之中.Beats在发送数据之前也可以帮我们做一些简