Elasticsearch and kibana and filebeat 轻量级日志监控系统

Elasticsearch and kibana and filebeat
Elasticsearch and kibana and filebeat 轻量级日志监控系统
说明:
elasticsearch 依赖java
Logstash 依赖于JVM,内存消耗比较高
filebeat go语言轻量级日志监控系统

安装

elasticsearch-6.2.3.tar.gz
filebeat-6.2.3-linux-x86_64.tar.gz
kibana-6.2.3-linux-x86_64.tar.gz
jdk-8u161-linux-x64.tar.gz

# tar -zxvf jdk-8u161-linux-x64.tar.gz -C /usr/local
# vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_161/
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
# java -version

# tar -zxvf elasticsearch-6.2.3.tar.gz -C /usr/local
# vi /etc/security/limits.conf
* soft nofile 65536
* hard nofile 131072
# vi /etc/sysctl.conf
vm.max_map_count=262144
# vi /usr/local/elasticsearch-6.2.3/conf/elasticsearch.yml
network.host: 0.0.0.0
http.port: 9200
# useradd elastic
# chow -R elastic.elastic /usr/local/elasticsearch-6.2.3
# su - elastic
# /usr/local/elasticsearch-6.2.3/bin/elasticsearch -d
# curl 127.0.0.1:9200
{
"name" : "8Wd9C8n",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "9zevQvrfSMCuPFv-4eb3zw",
"version" : {
"number" : "6.2.3",
"build_hash" : "c59ff00",
"build_date" : "2018-03-13T10:06:29.741383Z",
"build_snapshot" : false,
"lucene_version" : "7.2.1",
"minimum_wire_compatibility_version" : "5.6.0",
"minimum_index_compatibility_version" : "5.0.0"
},
"tagline" : "You Know, for Search"
}
# tar -zxvf kibana-6.2.3-linux-x86_64.tar.gz -C /usr/local
# mv /usr/local/kibana-6.2.3-linux-x86_64 /usr/local/kibana-6.2.3
# vi /usr/local/kibana-6.2.3/config/kibana.yml
server.host: "0.0.0.0"
elasticsearch.url: "http://127.0.0.1:9200"
# /usr/local/kibana-6.2.3/bin/kibana &

# tar -zxvf filebeat-6.2.3-linux-x86_64.tar.gz -C /usr/local/
# mv /usr/local/filebeat-6.2.3-linux-x86_64 /usr/local/filebeat-6.2.3
# vi /usr/local/filebeat-6.2.3/filebeat.yml
filebeat.prospectors:
- type: log
paths:
- /var/log/*
output.elasticsearch:
hosts: ["127.0.0.1:9200"]
# /usr/local/filebeat-6.2.3/filebeat &

通过浏览器输入 IP+5601
192.168.1.1:5601
managenment > index patterns > filebeat-* > create

原文地址:http://blog.51cto.com/10181121/2103919

时间: 2024-08-03 14:30:08

Elasticsearch and kibana and filebeat 轻量级日志监控系统的相关文章

日志监控系统中,大批量查询mysql方案

最近开发遇到一个问题:需要查询一个大时间段内的数据,分1000个小段,即为1000个点.X轴是时间,Y轴是该小时间段内统计后数据.注意:数据返回是一个list,其中每个对象返回值都是该小时间段内数据统计出来的,且需要根据入参顺序返回(这样前端展示就方便).举例,查询12点到1点的数据,查询频率是30分钟,那么就需要查询11:30-12:00,12:00-12:30,12:30-1:00这三段数据(因为监控系统都是查询过去的数据,所以12点的那个值应该是之前半个小时的).问题来了, 方案一:直接热

Logstash+Elasticsearch+Kibana 联合使用搭建日志分析系统(Windows系统)

最近在做日志分析这块儿,要使用 Logstash+Elasticsearch+Kibana 实现日志的导入.过滤及可视化管理,官方文档写的不够详细,网上的文章大多要么是针对Linux系统的用法,要么就是抄袭别人的配置大都没法运行.费了很大劲才搞定了这仨东西,写一篇用法心得,废话不多说,进入主题. 首先,你的电脑上要装Java 的JDK环境,要使用  Logstash+Elasticsearch+Kibana,需要下载这三个软件和一些必要的插件,列表如下 : 1.Java JDK (最新版Logs

Windows搭建Log4Net+FileBeat+ELK日志分析系统过程以及问题总结

安装流程: 稍后补充 参考内容:http://udn.yyuap.com/thread-54591-1-1.html ; https://www.cnblogs.com/yanbinliu/p/6208626.html 在搭建测试过程中遇到以下问题:1.FileBeat日志报 "dial tcp 127.0.0.1:5044: connectex: No connection could be made because the target machine actively refused it

Windows系统下Log4Net+FileBeat+ELK日志分析系统问题总结

问题如下:1.FileBeat日志报 "dial tcp 127.0.0.1:5544: connectex: No connection could be made because the target machine actively refused it"解决过程:A:修改FileBeat文件夹中filebeat.yml文件,直接输出结果到elasticsearch中,经测试elasticsearch中可以查看到数据,排除FileBeat问题 B:控制台中输入以下内容,启动log

django项目之efk日志监控系统的搭建

一.下载efk的tar.gz的离线包 wget http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz?AuthParam=1536892035_945cb24c750d0971b8c5b1925cc723a9 wget https://artifacts.elastic.co/downloads/elasticsearch/

Python日志监控系统处理日志(pyinotify)

前言 最近项目中遇到一个用于监控日志文件的Python包pyinotify,结合自己的项目经验和网上的一些资料总结一下,总的原理是利用pyinotify模块监控日志文件夹,当日志到来的情况下,触发相应的函数进行处理,处理完毕后删除日志文件的过程,下面就着重介绍下pyinotify pyinotify Pyinotify是一个Python模块,用来监测文件系统的变化. Pyinotify依赖于Linux内核的功能—inotify(内核2.6.13合并). inotify的是一个事件驱动的通知器,其

C#轻量级日志监控器EasyLogMonitor

一.课程介绍 本次分享课程属于<C#高级编程实战技能开发宝典课程系列>中的一部分,阿笨后续会计划将实际项目中的一些比较实用的关于C#高级编程的技巧分享出来给大家进行学习,不断的收集.整理和完善此系列课程! 一.本高级系列课程适合人群如下 1.有一定的NET开发基础. 2.喜欢阿笨的干货分享课程的童鞋们. 二.今天我们要解决的日志监控痛点问题描述 1).你是否在为找到一款轻量级日志监控组件四处寻找而感到烦恼? 2).你是否在每次都要通过查找日志文件而感到烦恼? 3). 你是否在还在Debug不断

如何使用ARMS配置tengine的日志监控

来自 深圳市小亿网络有限公司 王昕岩 的撰稿 最近公司通过阿里云的业务实时监控服务 ARMS成功搭建了基于tengine的日志监控系统.这里简单分享一下使用[font=&quot]ARMS用于监控[font=&quot]tengine日志的经验.[font=&quot] 公司发展至今,现阶段所有接口都使用阿里的tengine作为web容器,类似nginx,在日志中也记录了包括host,url, ip, 包体大小,响应时长等信息.目前的业务需求场景是希望有一套系统来监控接口的异常,来

Sentry错误日志监控你会用了吗?

无论作为新手还是老手程序员在程序的开发过程中,代码运行时难免会抛出异常,而且项目在部署到测试.生产环境后,我们便不可能像在开发时那样容易的及时发现处理错误了.一般我们都是在错误发生一段时间后,错误信息才会传递到开发人员那里,然后一顿操作查看程序运行的日志,就熟练使用awk和grep去分析日志,但是往往我们会因为日志中缺少上下文关系,导致很难分析真正的错误是什么. Sentry由此应运而生成为了解决这个问题的一个很好的工具,设计了诸多特性帮助开发者更快.更方面.更直观的监控错误信息. 关于日志管理