继ELK后续获取nginx日志

Elk通过filebeat获取nginx日志信息

Kibana -- 基础设施 -- 查看安装说明 -- 所有 -- nginx日志

下载并安装Filebeat

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.1.1-darwin-x86_64.tar.gz
tar xzvf filebeat-7.1.1-darwin-x86_64.tar.gzcd filebeat-7.1.1-darwin-x86_64/

编辑配置
修改filebeat.yml以设置连接信息:

output.elasticsearch:
    hosts: ["<es_url>"]             # ip:9200
  username: "elastic"              #用户密码可不填
  password: "<password>"
setup.kibana:
  host: "<kibana_url>"          # ip:5601

用户<password>密码在哪里,Elasticsearch?的URL是,Kibana的URL。elastic<es_url><kibana_url>

启用并配置Nginx模块
在安装目录中,运行:

./filebeat modules enable nginx
 vim /etc/filebeat/modules.d/nginx.yml

修改modules.d/nginx.yml文件中的设置,去掉注释添加nginx日志路径

var.paths: ["/var/log/nginx/access.log"]?
var.paths: ["/var/log/nginx/error.log"]

启动Filebeat

该setup命令将加载Kibana仪表板。如果已经设置了仪表板,请忽略此命令。

./filebeat setup
./filebeat -e

防火墙开例外或关闭

最后在kibana进行检测,检测成功即可获取到nginx日志信息!

原文地址:https://blog.51cto.com/13555423/2443121

时间: 2024-11-06 09:36:14

继ELK后续获取nginx日志的相关文章

filebeat 获取nginx日志 发送给ElasticSearch

目的:通过filebeat获取nginx日志,发送给ElasticSearch,filebeat可以解析json格式日志,所以设置nginx日志为json格式. 1.配置nginx配置文件     log_format jsonTest '{"@timestamp":"$time_iso8601",'                   '"host":"$server_addr",'                   '&

centos6.5下安装配置ELK及收集nginx日志

Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等. Logstash 是一个完全开源的工具,他可以对你的日志进行收集.分析,并将其存储供以后使用(如,搜索) kibana 也是一个开源和免费的工具,他Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总.分析和搜索重要数据日志. 环境:192.168.50.119

使用elk+redis搭建nginx日志分析平台

logstash,elasticsearch,kibana 怎么进行nginx的日志分析呢?首先,架构方面,nginx是有日志文件的,它的每个请求的状态等都有日志文件进行记录.其次,需要有个队列,redis的list结构正好可以作为队列使用.然后分析使用elasticsearch就可以进行分析和查询了. 我们需要的是一个分布式的,日志收集和分析系统.logstash有agent和indexer两个角色.对于agent角色,放在单独的web机器上面,然后这个agent不断地读取nginx的日志文件

ELK部署检测nginx日志demo

ELK E: ElasticSearch 搜索引擎 存储 https://www.elastic.co/cn/downloads/elasticsearch L: Logstash 日志收集 https://www.elastic.co/cn/downloads/logstash K: kibana 展示 https://www.elastic.co/cn/downloads/kibana ElasticSearch 下载解压 tar -zxvf elasticsearch-7.3.1-linu

ELK系列一:ELK安装配置及nginx日志分析

本文分三个部分介绍了elk.elk安装配置及基于filebeat分析nginx日志的配置. 第一部分:elk介绍 一.什么是elk ELK 其实并不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写,Elasticsearch,Logstash 和 Kibana.这三款软件都是开源软件,通常是配合使用. 二.Elasticsearch 1.Elasticsearch介绍 Elasticsearch 是一个实时的分布式搜索和分析引擎,它可以用于全文搜索,结构化搜索以及分析.它是一个建立在全

Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息

简介: Graylog相对于ELK是较为轻量级的日志管理平台 Graylog官网:https://www.graylog.org/ Graylog-server:Graylog接收来自后端各种应用程序的日志并提供Web访问接口 Graylog Collector Sidecar:负责收集应用程序日志并发送至Graylog-server Elasticsearch:用于索引和保存接收到的日志 MongoDB: 负责保存 Graylog 自身的配置信息 通过Graylog来分析Ngnix日志,获取访

ELK+kafka收集 Nginx与tomcat日志

ELK日志收集 ELK原理与介绍为什么用到ELK:一般我们需要进行日志分析场景:直接在日志文件中 grep.awk 就可以获得自己想要的信息.但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档.文本搜索太慢怎么办.如何多维度查询.需要集中化的日志管理,所有服务器上的日志收集汇总.常见解决思路是建立集中式日志收集系统,将所有节点上的日志统一收集,管理,访问.一般大型系统是一个分布式部署的架构,不同的服务模块部署在不同的服务器上,问题出现时,大部分情况需要根据问题暴露的关键信息,定

ELK对nginx日志进行流量监控

ELK对nginx日志进行流量监控 一.前言 线上有一套ELK单机版,版本为5.2.1.现在想把nginx访问日志接入到elk里,进行各个域名使用流量带宽的统计分析.要把nginx日志传输到elk上,可以在存有nginx日志的服务器上使用logstash或者filebeat.但是因为logstash是jvm跑的,资源消耗比较大,启动一个logstash就需要消耗500M左右的内存(这就是为什么logstash启动特别慢的原因),而filebeat只需要10来M内存资源,所以最终决定使用fileb

ELK分析nginx日志(2)

目录 1.ES基本操作 ES&kibana 索引操作 增删改查 3.nginx 自定义提取字段 去除字段 时间轴 1.ES基本操作 Elasticsearch的概念 索引 ->类似于Mysql中的数据库 类型 ->类似于Mysql中的数据表 文档 ->存储数据 ES&kibana 测试Web接口 浏览器访问 Kibana操作:GET /出现下图所示的效果,说明kibana和ES联动成功. 索引操作 //创建索引 PUT /zhang //删除索引: DELETE /zha