logstash日志系统搭建

本文将介绍如果使用logstash,elasticsearch,kibana搭建一个日志分析系统。Logstash支持的日志类型非常的广泛,支持nginx,postfix.windows系统日志,java日志以及mysql慢查询日志,Docker日志等,并带有强大的过滤器功能,还可以输出到elasticsearch,nagios,mail等,功能相当的强大,在我们要部署的日志分析系统中logstash用来收集各种日志,然后推送给elasticsearch,kibana负责通过web接口最终展示出来。

环境介绍:

操作系统版本:centos6.6 64bit

Logstash版本: logstash-2.0.0.tar.gz

Elasticsearch版本:elasticsearch-2.1.0.tar.gz

Kibana版本:Kibana 4.2.1

Java版本:1.8.0_45

一:软件下载

# wget https://download.elastic.co/logstash/logstash/logstash-2.0.0.tar.gz# wget https://download.elasticsearch.org/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.1.0/elasticsearch-2.1.0.tar.gz# wget https://download.elastic.co/kibana/kibana/kibana-4.2.1-linux-x64.tar.gz

二:软件安装

1:安装java环境

# java -version java version "1.8.0_45"Java(TM) SE Runtime Environment (build 1.8.0_45-b14)Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode)

2:解压软件包

# tar -zxvpf logstash-2.0.0.tar.gz # mv logstash-2.0.0 /usr/local/logstash# tar -zxvpf  elasticsearch-2.1.0.tar.gz# mv elasticsearch /usr/local/elasticsearch# tar -zxvpf kibana-4.2.1-linux-x64.tar.gz# mv kibana-4.2.1 /usr/local/kibana

3:启动elasticsearch,kibana

这里可以根据自己的实际需求来修改yml配置文件

# useradd  yang# chown  -R  yang.yang /usr/local/elasticsearch/# nohup su - yang -c /usr/local/elasticsearch/bin/elasticsearch &# /usr/local/kibana/bin/kibana

4:配置logstash,运行测试

# logstash -e ‘input{stdin{}}output{stdout{codec=>rubydebug}}‘

配置文件方式运行logstash测试, 将数据推送到elasticsearch

# cat /usr/local/logstash/etc/logstash.conf input { stdin { }} output { stdout { codec => rubydebug {}} elasticsearch {  hosts => "192.168.115.5" } } # /usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/logstach.conf

http://192.168.115.5:9200/_search?q=hello

Kibana上配置相应的索引前缀

时间: 2024-10-09 16:32:43

logstash日志系统搭建的相关文章

ELK 日志系统搭建配置

logstash是一个数据分析软件,主要目的是分析log日志.整一套软件可以当作一个MVC模型,logstash是controller层,Elasticsearch是一个model层,kibana是view层. 首先将数据传给logstash,它将数据进行过滤和格式化(转成JSON格式),然后传给Elasticsearch进行存储.建搜索的索引,kibana提供前端的页面再进行搜索和图表可视化,它是调用Elasticsearch的接口返回的数据进行可视化.logstash和Elasticsear

ELK日志系统:Elasticsearch+Logstash+Kibana搭建教程

ELK日志系统:Elasticsearch + Logstash + Kibana 搭建教程 安装配置JDK环境 JDK安装(不能安装JRE) JDK下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载包:jdk-8u131-linux-x64.rpm yum localinstall jdk-8u131-linux-x64.rpm mvn 安装 cd /usr/lo

log4net.redis+logstash+kibana+elasticsearch+redis 实现日志系统

前端时间写了个随笔 log4net.NoSql +ElasticSearch 实现日志记录 ,因项目原因需要把日志根java平台的同事集成采用logstash+kibana+elasticsearch+redis结构实现日志统计分析,所以需要一个将log4net日志输出到redis的组件.没有找到现成的,就自己动手了.参考了 log4net.NoSql 的代码. redis的C#客户端使用了 ServiceStackRedis,json序列化使用 RestSharp.代码结构如下: JsonLa

Elasticsearch,Kibana,Logstash,NLog实现ASP.NET Core 分布式日志系统

Elasticsearch,Kibana,Logstash,NLog实现ASP.NET Core 分布式日志系统 Elasticsearch 官方网站 Elasticsearch文档 NLog.Targets.ElasticSearch   package Elasticsearch - 简介 Elasticsearch 作为核心的部分,是一个具有强大索引功能的文档存储库,并且可以通过 REST API 来搜索数据. 它使用 Java 编写,基于 Apache Lucene,尽管这些细节隐藏在

.NET 日志系统的搭建:log4net+kafka+elk

前言 公司的程序日志之前都是采用log4net记录文件日志的方式,但是随着后来我们团队越来越大,项目也越来越大,我们的用户量也越来越多. 慢慢系统就暴露了很多问题,这个时候我们的日志系统已经不能满足我们的要求. 其主要有下面几个问题: 随着我们访问量的增加,我们的日志文件急剧增加 多且乱的文件日志,难以让我们对程序进行排错 文件日志的记录耗用我们应用服务器的资源,导致我们的应用服务器的处理用户请求的能力下降 我们的日志分布在多台应用服务器上,当程序遇到问题时,我们的程序员都需要找运维人员要日志,

.NET下日志系统的搭建——log4net+kafka+elk

原文:.NET下日志系统的搭建——log4net+kafka+elk .NET下日志系统的搭建——log4net+kafka+elk# 前言# 我们公司的程序日志之前都是采用log4net记录文件日志的方式(有关log4net的简单使用可以看我另一篇博客),但是随着后来我们团队越来越大,项目也越来越大,我们的用户量也越来越多.慢慢系统就暴露了很多问题,这个时候我们的日志系统已经不能满足我们的要求.其主要有下面几个问题: 随着我们访问量的增加,我们的日志文件急剧增加 多且乱的文件日志,难以让我们对

分布式实时日志系统(一)环境搭建之 Jstorm 集群搭建过程/Jstorm集群一键安装部署

最近公司业务数据量越来越大,以前的基于消息队列的日志系统越来越难以满足目前的业务量,表现为消息积压,日志延迟,日志存储日期过短,所以,我们开始着手要重新设计这块,业界已经有了比较成熟的流程,即基于流式处理,采用 flume 收集日志,发送到 kafka 队列做缓冲,storm 分布式实时框架进行消费处理,短期数据落地到 hbase.mongo中,长期数据进入 hadoop 中存储. 接下来打算将这其间所遇到的问题.学习到的知识记录整理下,作为备忘,作为分享,带给需要的人. 淘宝开源了许多产品组件

教你一步搭建Flume分布式日志系统

在前篇几十条业务线日志系统如何收集处理?中已经介绍了Flume的众多应用场景,那此篇中先介绍如何搭建单机版日志系统. 环境 CentOS7.0 Java1.8 下载 官网下载 http://flume.apache.org/download.html 当前最新版  apache-flume-1.7.0-bin.tar.gz 下载后上传到CentOS中的/usr/local/ 文件夹中,并解压到当前文件中重命名为flume170    /usr/local/flume170 tar -zxvf a

分布式实时日志系统(二) 环境搭建之 flume 集群搭建/flume ng资料

最近公司业务数据量越来越大,以前的基于消息队列的日志系统越来越难以满足目前的业务量,表现为消息积压,日志延迟,日志存储日期过短,所以,我们开始着手要重新设计这块,业界已经有了比较成熟的流程,即基于流式处理,采用 flume 收集日志,发送到 kafka 队列做缓冲,storm 分布式实时框架进行消费处理,短期数据落地到 hbase.mongo中,长期数据进入 hadoop 中存储. 接下来打算将这其间所遇到的问题.学习到的知识记录整理下,作为备忘,作为分享,带给需要的人. 学习flume ng的