ELK 3 – 参考

更多后台运行方式参考:

http://kibana.logstash.es/content/logstash/get_start/daemon.html

elk常见错误:
http://www.ttlsa.com/log-system/troubleshooting-elk-common-issues/

http://www.cnblogs.com/galengao/p/5780544.html

logstash

codec配置参考:http://kibana.logstash.es/content/logstash/plugins/codec/

start_position 参考:http://kibana.logstash.es/content/logstash/plugins/input/file.html
配置参考,同时设置标准输出,可以在窗口里看到实时动态。

1、对于日志文件,logstash不是认行,多行可能被放在一个msg里面,叫做一个事件,所以我猜这就是设置codec作用。

2、对于整个elk框架来说,最重要的就是logstash的配置文件了。

建议看官网示例,看别的博客的示例,总是搞不好,搞得自己怀疑人生。https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.html

 

input {

    file{

        path => ["/export/server/tomcat7/logs/localhost_access_log.2016-08-25.txt"]

        start_position => "beginning"

    }

}

   
filter {

    grok {

        match => {

            "message" => "%{IP:client} (%{USERNAME:ident}|-) (%{USERNAME:auth}|-) \[%{HTTPDATE:timestamp}\] \"%{WORD:method} %{URIPATHPARAM:request} (HTTP/%{NUMBER:http_version}|-)\" %{NUMBER:response} %{NUMBER:bytes}"

        }

    }

}

output {

    stdout{

        elasticsearch {hosts => "192.168.1.11" }

        stdout { codec=> rubydebug }

    }

}

Elasticsearch

head插件

更多图文参考:http://my.oschina.net/itblog/blog/547250#OSC_h4_7

kibana

图表的使用

kibana的使用参考:

http://my.oschina.net/itblog/blog/547250#OSC_h4_8

http://www.cnblogs.com/yincheng/p/logstash.html?utm_source=tuicool&utm_medium=referral

时间: 2024-08-24 22:17:24

ELK 3 – 参考的相关文章

Centos 6.4 搭建ELK(1)

前段时间用ossec收集了一些系统的日志(syslog.secure.maillog等),看了下elk这个架构,发现很适合ossec,也很好玩. 介绍: elk官网 https://www.elastic.co/downloads elk由elasticSearch.logstash和kiabana三个开源工具组成. ossec+redis+elk架构图: ossec:事件源.alert源 redis:用于做队列,防止数据丢失 logstash: 它用来对日志进行: 收集.分割 elasticS

一个可供中小团队参考的微服务架构技术栈

一个可供中小团队参考的微服务架构技术栈 聊聊架构 2018-05-07 作者 杨波 作者 |  杨波编辑 |  张浩 近年,Spring Cloud 俨然已经成为微服务开发的主流技术栈,在国内开发者社区非常火爆.我近年一直在一线互联网公司(携程,拍拍贷等)开展微服务架构实践,根据我个人的一线实践经验和我平时对 Spring Cloud 的调研,我认为 Spring Cloud 技术栈中的有些组件离生产级开发尚有一定距离.比方说 Spring Cloud Config 和 Spring Cloud

基于docker搭建单机测试ELK

说明:本次使用的windows系统,利用vm进行安装虚拟机,安装的只是单测试单机版elk. 一.下载vm 自行官网下载 二.安装centos7系统 自己有现成的镜像跳过,没有自行查找资料完成 三.进行centos系统后进行docker安装 1)yum install docker(后面一路回车) 2)进行docker镜像加速 参考地址:https://www.cnblogs.com/runnerjack/articles/7519070.html 四.修改host文件 Vi /etc/hosts

Kinaba 简单画图

此片文章简单介绍如何在kinaba 上画图. 如果你,还没有搭建ELK 请参考:ELK日志分析平台搭建全过程 本文参考:http://www.cnblogs.com/hanyifeng/p/5860731.html 一.Kibana之Visualize 功能 在首页上Visualize 标签页用来设计可视化图形.你可以保存之前在discovery中的搜索来进行画图,然后保存该visualize,或者加载合并到 dashboard 里.一个可视化可以基于以下几种数据源类型:一个新的交互式搜索一个已

Centos 7.3 简便搭建EFK日志分析

EFK 不是一个软件,而是一套解决方案.EFK 是三个开源软件的缩写,Elasticsearch,FileBeat,Kibana.其中 ELasticsearch 负责日志分析和存储,FileBeat 负责日志收集,Kibana 负责界面展示.它们之间互相配合使用,完美衔接,高效的满足了很多场合的应用,是目前主流的一种日志分析系统解决方案.EFK 和 ELK 只有一个区别, 收集日志的组件由 Logstash 替换成了 FileBeat,因为 Filebeat 相对于 Logstash 来说有2

大数据学习总结(5)参考elk技术架构

elk系统搭建并收集nginx日志-主要步骤

一)简介 elk系统是一套目前较为流行的日志收集分析系统,主要由elasticserch,logstash,kibana三部分组成,其中elasticsearch负责数据的存储,logstash负责日志的收集过滤,kibana负责日志的可视化部分.整个工作流程为logstash收集日志,过滤后输出并保存到elasticsearch中,最后用户通过kibana从elasticsearch中读取数据并处理.本文中日志收集引入filebeat收集日志,logstash监听在5000端口并接受fileb

ELK部署logstash安装部署及应用(二)

Logstash 安装部署注意事项: Logstash基本概念: logstash收集日志基本流程: input-->codec-->filter-->codec-->output input:从哪里收集日志. filter:发出去前进行过滤 output:输出至Elasticsearch或Redis消息队列 codec:输出至前台,方便边实践边测试 数据量不大日志按照月来进行收集 如果通过logstash来采集日志,那么每个客户端都需要安装logstash 安装需要前置系统环境

使用ELK搭建社工库

https://mp.weixin.qq.com/s?__biz=MjM5MDkwNjA2Nw==&mid=2650373776&idx=1&sn=e823e0d8d64e6e31d22e89b3d23cb759&scene=1&srcid=0720BzuzPl916oZWVGfiwduR&key=77421cf58af4a65382fb69927245941b4402702be12a0f1de18b1536ac87135d4763eab4e820987f0