flume+elasticsearch+kibana遇到的坑

一、elasticsearch单机环境搭建

:elasticsearch对JDK版本这有严格的要求,一般建议安装Java: openjdk version  "1.8.0_xx"

配置ElasticSearch

tar -zxvf elasticsearch-5.2.2.tar.gz
cd elasticsearch-5.2.2

编辑ES的配置文件,修改以下配置项:

cluster.name=es_cluster
node.name=node0
path.data=/tmp/elasticsearch/data
path.logs=/tmp/elasticsearch/logs
#当前hostname或IP
network.host=XXX
network.port=9200

启动ES:

./bin/elasticsearch 或nohup ./bin/elasticsearch &

  

打开页面IP:9200,将会看到以下内容:

或者使用命令:curl http://IP:9200来检查部署是否成功

集群安装请参见:http://yedward.net/post/416.html

安装过程中碰到的坑如下: http://blog.csdn.net/qq_21387171/article/details/53577115http://www.dajiangtai.com/community/18136.do

另外在安装5.2.2版本时碰到一个报错及处理方式如下:

ERROR: bootstrap checks failed
system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk

解决措施如下:在elasticsearch.yml中配置bootstrap.system_call_filter为false,注意要在Memory下面:

bootstrap.memory_lock: false
bootstrap.system_call_filter: false

可以查看issues:https://github.com/elastic/elasticsearch/issues/22899

二、kibana安装

1、安装准备

tar -zxvf kibana-5.2.2.tar.gz

2、配置kibana

server.port: 5601 #监听的端口号
server.host: "172.18.12.XX"  #Kibana服务的IP
elasticsearch.url: http://172.18.12.XX:9200  #es服务器的http访问路径
kibana.index: .kibana #kibana在es中的辅助索引名称

3、启动kibana

./bin/kibana

4、验证kibana是否安装成功

检查http://IP:5601是否可以访问

时间: 2024-11-10 07:07:04

flume+elasticsearch+kibana遇到的坑的相关文章

ELK elasticsearch+kibana+logstash 躲坑指南 安装步骤

记录下从安装到正常使用过程中跳过的坑 1.java环境的问题,可以装高版本但一定不能低于它的要求 例: 2.版本兼容性的问题,3个软件都可以从官网上下载,而且下面都会有注释要求其他软件的版本 官网下载地址: https://www.elastic.co/downloads 例: 3.针对elasticsearch,有很多插件haed.marvel.kopf.bigdesk等等,根据实际情况进行下载 正确安装插件:是在elasticsearch的bin/plugin   install    XX

使用logstash+elasticsearch+kibana快速搭建日志平台

日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: 根据关键字查询日志详情 监控系统的运行状况 统计分析,比如接口的调用次数.执行时间.成功率等 异常数据自动触发消息通知 基于日志的数据挖掘 很多团队在日志方面可能遇到的一些问题有: 开发人员不能登录线上服务器查看详细日志,经过运维周转费时费力 日志数据分散在多个系统,难以查找 日志数据量大,查询速度慢 一个调用会涉及多个系统,难以在这些系统的日志中快速定位数据 数据不够实时 常见的一些重量级的开源

【转载】使用logstash+elasticsearch+kibana快速搭建日志平台

原文链接:http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kibana_log.html 日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: 根据关键字查询日志详情 监控系统的运行状况 统计分析,比如接口的调用次数.执行时间.成功率等 异常数据自动触发消息通知 基于日志的数据挖掘 很多团队在日志方面可能遇到的一些问题有: 开发人员不能登录线上服务器查看详细日志,经过运维周转费时费力

(原)logstash-forwarder + logstash + elasticsearch + kibana

[logstash-forwarder + logstash + elasticsearch + kibana]------------------------------------------------------------------------------------------------------------------------------------------------摘要:logstash-forwarder搜集日志,汇总给logstash,然后输出到elastic

lagstash + elasticsearch + kibana 3 + kafka 日志管理系统部署 02

因公司数据安全和分析的需要,故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用: 安装,配置过程,使用情况等续 一,glusterfs分布式文件系统部署: 说明: 公司想做网站业务日志及系统日志统一收集和管理,经过对mfs, fastdfs 等分布式文件系统的调研,最后选择了 glusterfs,因为Gluster具有高扩展性.高性能.高可用性.可横向扩展的弹性特点,无元数据服务器设计使glust

logstash+elasticsearch +kibana 日志管理系统

Logstash是一个完全开源的工具,他可以对你的日志进行收集.分析,并将其存储供以后使用(如,搜索),您可以使用它.说到搜索,logstash带有一个web界面,搜索和展示所有日志.kibana 也是一个开源和免费的工具,他可以帮助您汇总.分析和搜索重要数据日志并提供友好的web界面.他可以为 Logstash 和 ElasticSearch 提供的日志分析的 Web 界面. 目的就是为了运维.研发很方便的进行日志的查询.Kibana一个免费的web壳:Logstash集成各种收集日志插件,还

GlusterFS + lagstash + elasticsearch + kibana 3 + redis日志收集存储系统部署 01

因公司数据安全和分析的需要,故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用: 安装,配置过程,使用情况等续 一,glusterfs分布式文件系统部署: 说明: 公司想做网站业务日志及系统日志统一收集和管理,经过对mfs, fastdfs 等分布式文件系统的调研,最后选择了 glusterfs,因为Gluster具有高扩展性.高性能.高可用性.可横向扩展的弹性特点,无元数据服务器设计使glust

Elasticsearch & Kibana with Shield

Elasticsearch & Kibana with Shield 官方网站: https://www.elastic.co/guide/en/kibana/current/production.html 环境: kibana-4.5.0 elasticsearch-2.3.2 shield-2.3.2 license-2.3.2 前言: Shield作为安全插件可以嵌入到ELK当中,商业授权,前30天免费 支持多种认证方式native, file, LDAP, Active Director

logstash+elasticsearch+kibana+redis 实战

写此文章和就是为了记录logstash+elasticsearch+kibana+redis搭建过程.所有程序都是运行在windows 平台下. 1. 下载 1.1 logstash, elasticsearch, kinana 从官方站点下载: https://www.elastic.co/ 1.2 redis 官方的没有windows平台的.可以从github上下载windows平台版: https://github.com/MSOpenTech/redis/releases 2. 启动各部