logstash笔记(一)——redis&es

下载地址:

https://www.elastic.co/downloads

版本:logstash-2.2.2

两台linux虚拟机,一台windows宿主机

shipper: 192.168.220.128 (centos7)

indexer: 192.168.220.129 (centos7)

broker(redis2.6): 192.168.220.1(windows) 部署一个elasticsearch-1.6.0

shipper配置:

input{
  stdin{}
}
output{
  redis{
    host=>"192.168.220.1"
    port=>6379
    db=>0
    data_type=>"channel"
    key=>"test"
  }
}

indexer配置:

input{
  redis{
    host=>"192.168.220.1"
    port=>6379
    db=>0
    data_type=>"channel"
    key=>"test"
  }
}
output{

  elasticsearch{
    hosts => ["192.168.220.1:9200"]
    index => "logstash"
    document_type => "test"
  }

  stdout{}
}

时间: 2024-10-05 13:17:28

logstash笔记(一)——redis&es的相关文章

安装logstash+kibana+elasticsearch+redis搭建集中式日志分析平台

本文是参考logstash官方文档实践的笔记,搭建环境和所需组件如下: Redhat 5.7 64bit / CentOS 5.x JDK 1.6.0_45 logstash 1.3.2 (内带kibana) elasticsearch 0.90.10 redis 2.8.4 搭建的集中式日志分析平台流程如下: elasticsearch 1.下载elasticsearch. wget https://download.elasticsearch.org/elasticsearch/elasti

logstash无法读取redis数据

今天搭建logsatsh+redis+elasticsearch时出现了问题,经过近一小时排查,终于解决.记录一下. 环境是这样,一台客户端发送数据到位于服务器的redis,服务器端的logstash读redis的数据,存储到elasticsearch中. 初步问题是这样的:在服务器端,没有收到客户端发送过来的日志. 这样就可能有两种问题:一是客户端的logstash没有成功发送数据到redis,二是服务器端的logstash无法从redis读取数据. 排查问题一 为了避免redis中原有数据影

Logstash+kibana+ ElasticSearch+redis

这是之前Logstash+kibana+ ElasticSearch+redis 安装时,自己整理的初学者容易看懂的资料,按照以下的步骤也已经完成了安装. 这里有二台服务器: 192.168.148.201 logstash index,redis,ElasticSearch,kibana,JDK 192.168.148.129 logstash agent,JDK 1 系统各部分应用介绍 Logstash:一个完全开源对日志进行收集.分析和存储的工具.他可以做系统的log收集,转载的工具.同时

logstash+elasticsearch+kibana+redis 实战

写此文章和就是为了记录logstash+elasticsearch+kibana+redis搭建过程.所有程序都是运行在windows 平台下. 1. 下载 1.1 logstash, elasticsearch, kinana 从官方站点下载: https://www.elastic.co/ 1.2 redis 官方的没有windows平台的.可以从github上下载windows平台版: https://github.com/MSOpenTech/redis/releases 2. 启动各部

log4net.redis+logstash+kibana+elasticsearch+redis 实现日志系统

前端时间写了个随笔 log4net.NoSql +ElasticSearch 实现日志记录 ,因项目原因需要把日志根java平台的同事集成采用logstash+kibana+elasticsearch+redis结构实现日志统计分析,所以需要一个将log4net日志输出到redis的组件.没有找到现成的,就自己动手了.参考了 log4net.NoSql 的代码. redis的C#客户端使用了 ServiceStackRedis,json序列化使用 RestSharp.代码结构如下: JsonLa

Logstash笔记(二) ----input插件

在"hello World" 示例中,我们已经见到并介绍了Logstash 的运行流程和配置的基础语法. 请记住一个原则:Logstash 配置一定要有一个 input 和一个 output.在演示过程中,如果没有写明 input,默认就会使用 "hello world" 里我们已经演示过的 input/stdin ,同理,没有写明的 output 就是 output/stdout 如果有什么问题的话,请查看该文档:http://udn.yyuap.com/doc/

logstash学习2 - logstash中的redis插件

redis作为logstash中的官方broker,既有input插件,还有output插件. redis input插件 data_type属性: 有三种类型, list -> BLPOP --阻塞式列表弹出 channel -> SUBSCRIBE -- 指定订阅者 pattern_channel -> PSUBSCRIBE --多个订阅者,模糊匹配 input插件作为消息队列. 使用pattern_channel input { redis { data_type => &q

Logstash笔记(四) ----output插件

(一),标准输出 和之前 inputs/stdin 插件一样,outputs/stdout 插件也是最基础和简单的输出插件.同样在这里简单介绍一下,作为输出插件的一个共性了解 配置事例: output {     stdout {         codec => rubydebug         workers => 2     } } ==等同于 output {     stdout {         codec => rubydebug {         }        

Logstash笔记(一)

(一)含义: logstash是一种分布式日志收集框架,开发语言是JRuby,当然是为了与Java平台对接,不过与Ruby语法兼容良好,非常简洁强大,经常与ElasticSearch,Kibana配置,组成著名的ELK技术栈,非常适合用来做日志数据的分析. 当然它可以单独出现,作为日志收集软件,你可以收集日志到多种存储系统或临时中转系统,如MySQL,redis,kakfa,HDFS, lucene,solr等并不一定是ElasticSearch (二)安装 1,下载和安装.通过官网进行下载目前