logstash学习2 - logstash中的redis插件

redis作为logstash中的官方broker,既有input插件,还有output插件。

redis input插件

data_type属性: 有三种类型,

list -》 BLPOP --阻塞式列表弹出

channel -》 SUBSCRIBE -- 指定订阅者

pattern_channel -》 PSUBSCRIBE --多个订阅者,模糊匹配

input插件作为消息队列。

使用pattern_channel

input {

redis {

  data_type => "pattern_channel"

  key => "test-*" --这里能够使所有带test-前缀的key都被监听到。而data_type换成channel就不可以。

  host => "127.0.0.1"

  port => 6379

  threads => 5

}

}

连上redis-client, 测试语句:

> publish test-1 "hello"

时间: 2024-08-08 22:08:30

logstash学习2 - logstash中的redis插件的相关文章

OpenFire源码学习之十九:在openfire中使用redis插件(上)

Redis插件 介绍 Redis是目前比较流行的NO-SQL,基于K,V的数据库系统.关于它的相关操作信息,本人这里就不做重复了,相关资料可以看这个网站http://www.redis.io/(官网).http://www.redis.cn/(中文站). 这里本人想说的是,拿Redis做openfire的缓存数据库.能够大大的提高openfire连接的吞吐量.Openfire自身在本地使用Map.Cache的方式缓存了Group.roster.MUC等信息.但是当系统用户过大的时候,需要缓存的数

OpenFire源码学习之二十:在openfire中使用redis插件(下)

Redis插件实现 首先来看下插件目录: RedisServicePlugin 源码清单: import java.io.File; import java.sql.Connection; import java.sql.PreparedStatement; import java.util.Collection; import java.util.HashMap; import java.util.Map; import org.jivesoftware.database.DbConnecti

PYTHON 学习入门--Eclipse中安装pydev插件及调试

运行程序 运行 Python 源程序,有两种方法,以 example.py 为例: example.py代码: [python] view plaincopyprint? #!/usr/bin/env python # -*- coding:utf-8 -*- # ithomer.net a = 1 def display(): print("hello ithomer") global a print("a = %d" % a) a = 2 print("

Logstash之Logstash inputs(file和redis插件)、Logstash outputs和Filter plugins

Filebeat啊,根据input来监控数据,根据output来使用数据!!! Filebeat之input和output(包含Elasticsearch Output .Logstash Output. Redis Output. File Output和 Console Output) Logstash啊,根据input来监控数据,根据output来使用数据!!! 手把手带你看官方文档(Logstash inputs和Logstash outputs) https://www.elastic

logstash 1.5.3 配置使用redis做续传

logstash是ELK中的一员大将, redis插件也是<The Logstash Book>中介绍的一个很好用的玩意儿. 之前,用比较小的集群部署的时候,没有介入redis中间件,所以也不是很清楚里面的配置, 后来用起来才发现配置有点坑. 第一次配置的时候,死活就是连接不起来,总是报错,说connection refused. 但在logstash机器redis-cli连接却不会有任何问题. 后来才发现,估计是bug,没有使用默认端口这个事情,竟然没法连通.. --------------

logstash 学习小记

logstash 学习小记 标签(空格分隔): 日志收集 Introduce Logstash is a tool for managing events and logs. You can use it to collect logs, parse them, and store them for later use (like, for searching). – http://logstash.net 自从2013年logstash被ES公司收购之后,ELK stask正式称为官方用语.非

elk之logstash学习

Logstash最强大的功能在于丰富的过滤器插件.此过滤器提供的并不单单是过滤的功能,还可以对进入过滤器的原始数据进行复杂的逻辑处理.甚至添加独特的事件到后续流程中. 1.logstash基本语法组成 logstash主要由三部分组成:input.filter.output.而filter就是过滤器插件,这个组件可以不要,但是这样子就不能体现出logtash的强大过滤功能了. input{ 输入插件 } filter{ 过滤器插件 } outer{ 输出插件 } 下面我们依次对各个插件进行介绍

AspectJ学习笔记2-Eclipse中AspectJ插件AJDT的正确安装方法

接着之前一篇日志.这个事情也挺无语的,简单记录一下. 在这里:http://www.eclipse.org/ajdt/ 可以下载最新的Eclipse Plugin,下载解压之后,一般来说,直接把解压后文件夹下的features和plugins放到Eclipse的文件夹下就行了.不过我这样做以后,启动Eclipse,发现没什么作用.才参考网上有人介绍的第二种方法,也就是Help--Install New Software--Add--Local这种方式选择刚才的解压文件夹,但是这样操作以后会报像下

C#中使用Redis学习二 在.NET4.5中使用redis hash操作

C#中使用REDIS学习一 WINDOWS安装REDIS服务器端和客户端 http://www.tuicool.com/articles/uMb2Yjz 摘要 上一篇讲述了安装redis客户端和服务器端,也大体地介绍了一下redis.本篇着重讲解.NET4.0 和 .NET4.5中如何使用redis和C# redis操作哈希表.并且会将封装的一些代码贴一下.在讲解的过程中,我打算结合redis操作命令一起叙述,算是作为对比吧.这样也能让读者清楚了 解,所分装的代码对应的redis的哪一些操作命令