笔记: 试用Kibana+Logstash+Elasticsearch+Redis

做Android 3年,对网络不是很关注,现在再看让我吃一惊,很多以前期望的功能都开源了,而且功能强大,就试用了一下。

简单试用

下载elasticsearch-1.4.2并启动

下载logstash-1.4.2, 运行下面的命令

bin/logstash -e ‘input { stdin { } } output { elasticsearch { host => localhost } }‘

在console 输入的数据都会被 logstash转入到 elasticsearch  (所以  logstash 就是个数据 glue 或 称为 connector)

发现多了一个index ( 但也多了一个没有用的 Node ,待以后了解)

下载 kibana-3.1.0, kibana只是js,放到web app 目录下就可以了

我放到 /var/lib/tomcat6/webapps/ROOT/

而后访问 http://10.15.4.207:8080/kibana-3.1.0/index.html

但它却包错说连接不到 elasticsearch, 查多多篇资料,用下面的方法解决

改 elasticsearch.yml , 添加下面两行

http.cors.enabled: true

http.cors.allow-origin: /https?:\/\/<*your\.kibana\.host*>(:[0-9]+)?/

看到 Kibana的界面

加入 redis

下载 redis-2.8.19

make 后运行  src/redis-server 启动服务

redis就是一个类似memcached的数据储存服务接口

这个试验其实很简单,用了两个 logstash 进程

第一个 feed,   读取 stdin 而后把数据发到  redis中

第二个 给index数据,  logstash 读取 redis的数据 而后把数据提交给 elasticsearch

具体步骤,编辑 logstash.feed.conf

$ cat logstash.feed.conf

input {

stdin {

}

}

output {

stdout { }

redis { host => "127.0.0.1" data_type => "list" key => "logstash" }

}

并用 bin/logstash -f  logstash.feed.conf 启动

编辑  logstash.index.conf (内容如下)

input {

redis

{

host => "127.0.0.1"

data_type =>"list"

key => "logstash"

type => "redis-input"

}

}

output

{

elasticsearch {

host => "localhost"

}

}

在 feed 的console 输入数据,再到 Kibana窗口中检查

数据成功导入了。

有了强大的工具,我最近没有干互联网,但也在构思它的可用之处。

ref:

http://www.cnblogs.com/xiaouisme/p/3977721.html

http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kibana_log.html

http://tinytub.github.io/logstash-install.html

http://blog.csdn.net/longxibendi/article/details/35237543

http://m.oschina.net/blog/179848

时间: 2024-10-10 06:52:00

笔记: 试用Kibana+Logstash+Elasticsearch+Redis的相关文章

Kibana+Logstash+Elasticsearch+Redis安装部署

最近做日志分析,发现logstash较符合自己的需求, Logstash:做系统log收集,转载的工具.同时集成各类日志插件,对日志查询和分析的效率有很大的帮助.一般使用shipper作为log收集.indexer作为log转载. Logstash shipper收集log 并将log转发给redis 存储 Logstash indexer从redis中读取数据并转发给elasticsearch redis:是一个db,logstash shipper将log转发到redis数据库中存储.Log

Kibana+Logstash+Elasticsearch 日志查询系统

搭建该平台的目的就是为了运维.研发很方便的进行日志的查询.Kibana一个免费的web壳:Logstash集成各种收集日志插件,还是一个比较优秀的正则切割日志工具:Elasticsearch一个开源的搜索引擎框架(支持群集架构方式). 1 安装需求 1.1 理论拓扑 1.2 安装环境 1.2.1 硬件环境 192.168.50.62(HP DL 385 G7 .RAM:12G.CPU:AMD 6128.DISK:SAS 146*4) 192.168.50.98(HP DL 385 G7 .RAM

用Kibana+Logstash+Elasticsearch快速搭建实时日志查询 收集与分析系统

安装环境 先看看都需要安装什么软件包ruby 运行Kibana 必须, rubygems 安装ruby扩展必须 bundler 功能类似于yum JDK 运行java程序必须 redis 用来处理日志队列 logstash 收集.过滤日志 ElasticSearch 全文搜索服务(logstash集成了一个) kibana 页面展示 192.168.18.240 logstash index,kibana,JDK192.168.18.241 logstash agent,JDK192.168.1

使用logstash+elasticsearch+kibana快速搭建日志平台

日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: 根据关键字查询日志详情 监控系统的运行状况 统计分析,比如接口的调用次数.执行时间.成功率等 异常数据自动触发消息通知 基于日志的数据挖掘 很多团队在日志方面可能遇到的一些问题有: 开发人员不能登录线上服务器查看详细日志,经过运维周转费时费力 日志数据分散在多个系统,难以查找 日志数据量大,查询速度慢 一个调用会涉及多个系统,难以在这些系统的日志中快速定位数据 数据不够实时 常见的一些重量级的开源

安装logstash+kibana+elasticsearch+redis搭建集中式日志分析平台

本文是参考logstash官方文档实践的笔记,搭建环境和所需组件如下: Redhat 5.7 64bit / CentOS 5.x JDK 1.6.0_45 logstash 1.3.2 (内带kibana) elasticsearch 0.90.10 redis 2.8.4 搭建的集中式日志分析平台流程如下: elasticsearch 1.下载elasticsearch. wget https://download.elasticsearch.org/elasticsearch/elasti

logstash+elasticsearch+kibana+redis 实战

写此文章和就是为了记录logstash+elasticsearch+kibana+redis搭建过程.所有程序都是运行在windows 平台下. 1. 下载 1.1 logstash, elasticsearch, kinana 从官方站点下载: https://www.elastic.co/ 1.2 redis 官方的没有windows平台的.可以从github上下载windows平台版: https://github.com/MSOpenTech/redis/releases 2. 启动各部

Logstash+kibana+ ElasticSearch+redis

这是之前Logstash+kibana+ ElasticSearch+redis 安装时,自己整理的初学者容易看懂的资料,按照以下的步骤也已经完成了安装. 这里有二台服务器: 192.168.148.201 logstash index,redis,ElasticSearch,kibana,JDK 192.168.148.129 logstash agent,JDK 1 系统各部分应用介绍 Logstash:一个完全开源对日志进行收集.分析和存储的工具.他可以做系统的log收集,转载的工具.同时

log4net.redis+logstash+kibana+elasticsearch+redis 实现日志系统

前端时间写了个随笔 log4net.NoSql +ElasticSearch 实现日志记录 ,因项目原因需要把日志根java平台的同事集成采用logstash+kibana+elasticsearch+redis结构实现日志统计分析,所以需要一个将log4net日志输出到redis的组件.没有找到现成的,就自己动手了.参考了 log4net.NoSql 的代码. redis的C#客户端使用了 ServiceStackRedis,json序列化使用 RestSharp.代码结构如下: JsonLa

logstash+elasticsearch +kibana 日志管理系统

Logstash是一个完全开源的工具,他可以对你的日志进行收集.分析,并将其存储供以后使用(如,搜索),您可以使用它.说到搜索,logstash带有一个web界面,搜索和展示所有日志.kibana 也是一个开源和免费的工具,他可以帮助您汇总.分析和搜索重要数据日志并提供友好的web界面.他可以为 Logstash 和 ElasticSearch 提供的日志分析的 Web 界面. 目的就是为了运维.研发很方便的进行日志的查询.Kibana一个免费的web壳:Logstash集成各种收集日志插件,还