ES配置redis

查看ES中有那些索引

curl 10.19.14.40:9200/_cat/indices

基于入口redis启动logstash

# cat logstash_to_redis.conf

input { stdin { } }

output {

stdout { codec => rubydebug }

redis {

host => ‘192.168.1.104‘

data_type => ‘list‘

key => ‘logstash:redis‘

}

}

# logstash agent -f logstash_to_redis.conf --verbose

Pipeline started {:level=>:info}

Logstash startup completed

dajihao linux

{

"message" => "dajihao linux",

"@version" => "1",

"@timestamp" => "2015-10-08T14:42:07.550Z",

"host" => "0.0.0.0"

}

查看redis的监控接口上的输出

# ./redis-cli monitor

OK

1444315328.103928 [0 192.168.1.104:56211] "rpush" "logstash:redis" "{\"message\":\"dajihao linux\",\"@version\":\"1\",\"@timestamp\":\"2015-10-08T14:42:07.550Z\",\"host\":\"0.0.0.0\"}"

如果redis的监控上也有以上信息输出,表明logstash和redis的结合是正常的。

elasticsearch和logstash结合

将logstash的信息输出到elasticsearch中

# cat logstash-elasticsearch.conf

input { stdin {} }

output {

elasticsearch { host => "192.168.1.104" }

stdout { codec=> rubydebug }

}

从redis数据库中读取然后输出到elasticsearch中

# cat logstash-redis.conf

input {

redis {

host => ‘192.168.1.104‘  # 我方便测试没有指定password,最好指定password

data_type => ‘list‘

port => "6379"

key => ‘logstash:redis‘ #自定义

type => ‘redis-input‘   #自定义

}

}

output {

elasticsearch {

host => "192.168.1.104"

codec => "json"

protocol => "http"  #版本1.0+ 必须指定协议http

}

}

原文地址:https://www.cnblogs.com/bazingafraser/p/8491050.html

时间: 2024-10-11 01:24:33

ES配置redis的相关文章

利用lvs keepalived配置redis高可用及负载均衡

需求 我们用ES做日志服务,架构是 上游数据来源=>redis=>logstash=>ES redis目前还是单点, 没有做高可用, 现在数据量越来越多, 如果下游消费不出问题还好, redis里面数据来了就走,但是下游一旦出问题, 分给redis的内存半小时就撑满了. 看到redis3.0 beta版本已经提供了集群功能, 但是需要client以集群模式接入, 我们这么多上游用户, 不太可能统一要求他们改造. 公司也有硬件的LB, 同事在E公司的时候就是用的硬件LB. 但接入还要申请,

windows 上安装配置redis 群集

1.  安装Redis https://redis.io/download 将Redis安装在D:\Program Files\Redis\目录下,然后将exe的可执行文件copy到当前的bin目录,然后配置系统环境变量. 2.  安装Ruby http://dl.bintray.com/oneclick/rubyinstaller/rubyinstaller-2.2.4-x64.exe 这里将Ruby安装在C:\Ruby22-x64目录下.3.  安装Redis的Ruby库 gem insta

安装、配置Redis集群

安装.配置Redis集群 目录 安装.配置Redis集群... 1 1.配置yum... 1 2.安装gcc. 1 3.下载软件包... 2 4.安装(主从都需要安装) 2 5.配置redis集群... 3 6.启动与关闭... 4 7.安装ruby rubygems. 4 8.初始化集群... 4 注:本例操作系统为Red Hat Enterprise Linux Server release 6.4 1.配置yum 未注册的Redhat不支持yum,调整步骤: cd /etc/yum.rep

redis概述,特点,与Memached的不同,生产环境主从配置,redis配置文件解析

Redis概述: 是一个基于Key-Value的持久化数据库存储,支持丰富的数据类型,用C语言编写,可基于内存又可持久化的日志型.Key-Value数据库,并提供多种语言的API Redis特点 1.Key-Value健值类型存储 2.支持数据可靠存储及落地 3.单进程单线程高性能服务器 4.单机qps(每秒查询率)可以达到10w 5.适合小数据量高速读写访问 Redis跟Memached的不同 1.Redis可以持久化数据存储 2.性能高很,Redis能支持超过10W每秒的读写频率 3.丰富的

【Redis】配置redis主从复制

阅读目录 简单介绍 章节1:下载安装 章节2:修改配置文件 章节3:开启主从redis服务 章节4:客户端连接-测试同步 章节5:应用场景 章节6:参考链接 简单介绍 redis的作用,可网上自行搜索,下面将介绍redis的主从复制. 配置redis主从IP和port: master and slave ip port master 127.0.0.1 6379 slave1 127.0.0.1 6380 slave2 127.0.0.1 6381 回到顶部 一.下载安装 下载文件: wget

linux下安装配置redis服务

最近项目需要用到redis缓存及集群技术,故自己在工作之余抽空研究了一把,其实网上关于redis的安装配置的文章有很多,但总感觉写得不是很完整,容易使人犯晕, 于是自己在经过实战之后,也想写一篇较为完整的,读者按照文章来执行不会出错犯蒙的文章,以下只是简单的单机单实例安装配置说明,集群部署敬待下一篇文章. redis的安装配置步骤如下: 第一部分:安装启动 1.到redis官网下载对应的redis安装包,考虑到稳定性,笔者选择是的2.8.24版本,地址:http://download.redis

linux下如何安装配置redis及主从配置

redis是一种非关系型数据存储工具,这区别于传统的关系型数据库(像MySQL等),类似于memcache,并且其内部集成了对list(链表).set(集合)的操作,可以很方便快速的处理数据(像插入.删除list取交集 并集 差集等),这极大的减轻了底层数据库的压力,并且给用户更快的响应速度. redis的优点:支持主从备份,操作指令丰富,支持异步的数据持久化 一丶使用 将 redis 安装到 /usr/local/webserver/redis 1.下载安装包 wget http://redi

suse 配置redis远程访问

1.在redis.conf配置文件中配置requirepass的密码(当redis重启时密码依然有效). # requirepass foobared (480行) 如  修改成 :requirepass  a123456 2.[[email protected]]# ./redis-cli redis 127.0.0.1:6379> redis 127.0.0.1:6379> config get requirepass1) "requirepass"2) (nil) 显

在windows下面配置redis集群遇到的一些坑

最近工作不忙,就决定学习一下redis.因为一直在windows下工作,不会linux,没办法就选择在windows下配置redis. windows下配置redis集群的文章有很多,比如:http://www.cnblogs.com/linjisong/p/6081312.html, 我这里主要说一下我遇到的一些坑. 1.配置文件 安装完redis服务以后,会有两个配置文件,如下图: 按官方解释,一个是命令提示符下启动redis使用的,一个是服务专用的, 但是我有一台机子,改了服务器的配置文件