Nlog、elasticsearch、Kibana以及logstash

Nlog、elasticsearch、Kibana以及logstash

前言


最近在做文档管理中,需要记录每个管理员以及用户在使用过程中的所有操作记录,本来是通过EF直接将操作数据记录在数据库中,在查询的时候直接从数据库中读取,但是这样太蠢了,于是在网上找到了logstash这NB的工具,和大家分享一下学习的过程。

环境准备

需要在官网(https://www.elastic.co/)上下载这三个工具,我下载的版本是elasticsearch-2.3.4,kibana-4.5.2-windows,logstash-2.3.4,都是Windows的版本,三个工具的源码是java编写的,所以要先安装java,这个教程在网上一大堆,都有可以找到。在安装结束之后,分别解压三个文件夹

版本不同文件夹的名字也不一样,但是不影响,至于这三个工具不同的版本会有什么影响显著还不清楚。Nlog的dll可以通过nuget直接下载。

走起!

在环境准备好之后,就可以起飞了,首先在elasticsearch-2.3.4文件中,config/elasticsearch.yml文件可以修改服务的地址和端口,一般都是用默认的地址

双击运行bin\elasticsearch.bat文件

出现这一堆代码的时候,说明配置没有问题。在浏览器中键入刚刚配置的地址,如:localhost:9200,出现该代码

运行成功。

下面配置kibana,主要是在config/kibana.yml中,配置logstash的服务地址和elasticsearch地址以及端口号

,注意!!!,这里的server.host的地址要和下面即将配置的logstash地址一致,且不能用localhost,只能用Id地址,如:你的Id地址为192.168.4.12,虽然127.0.0.1也代表本地的地址,但是这两者在这里不相等,必须要一致才行。elasticsearch.rul对应着刚刚配置elasticsearch的地址,这里的Id地址不是那么严格。配置好之后双击bin\kibana.bat运行,kibana运行成功的前提是elasticsearch是启动的,

看到该页面代码,配置成功,在该界面上有地址http://192.168.4.12:5601,在浏览器中打开该地址

显示该界面的时候,说明运行成功,没有错了。最后一步,配置logstash,在配置的时候需要自己建配置文件,例如***.conf,存放的地方无所有,自己能找到就行,一般是在目录下建conf文件夹,然后拷贝到这里。里面有三个元素需要配置,

input,filter,output,input指的是数据源来自什么地方,stdin{}就是从屏幕是读取数据,filter是根据你的需要来修改一些数据的格式,outout是要把这些数据送到哪个地方,stdout{}就是在屏幕上输出数据,由于我这里不需要filter,所以就没有写,有需要可以参考官方文档https://www.elastic.co/guide/en/logstash/current/filter-plugins.html,这些配置好之后,打开cmd,进入logstash的文件夹,运行logstash -f ***.conf,-f后面是刚刚配置文件所在的位置,我是和logstash.bat放在同一个文件夹下的,所以可以直接运行

如图,config文件Main started,运行成功了,随便在下面输入一行,回车

下面会打印出刚刚输入的数据。

到此,这三种工具的配置都已经配置好了,下一篇文章将会说明,如何使用Nlog将日志输入logstash,在kibana上查看。

时间: 2024-09-29 09:35:23

Nlog、elasticsearch、Kibana以及logstash的相关文章

ElasticSearch Kibana 和Logstash 安装x-pack记录

前言 最近用到了ELK的集群,想想还是用使用官方的x-pack的monitor功能对其进行监控,这里先上图看看: 环境如下: 操作系统: window 2012 R2 ELK : elasticsearch 5.6.0 , Logstash 5.6.0 , Kibana 5.6.0 x-pack安装 因为国内通告网咯安装有点卡,这里大家可以先下载 x-pack 5.6.0的离线安装包,这里我下载的目录为G:\uploadsoftware\x-pack-5.6.0.zip. ElasticSear

elasticsearch + kibana + x-pack + logstash_集群部署安装

elasticsearch 部分总体描述: 1.elasticsearch 的概念及特点.概念:elasticsearch 是一个基于 lucene 的搜索服务器.lucene 是全文搜索的一个框架.特点: - 分布式,可扩展,高可用 - 能够实时搜索分析数据. - 复杂的 RESTful API.总结:是一个采用RESTful API 标准,实现分布式,可扩展以及高可用的实时数据存储分析的全文搜索工具. 2.elasticsearch 涉及的相关概念.(关系菲关系对比)相关概念: -Node:

Elasticsearch,Kibana,Logstash,NLog实现ASP.NET Core 分布式日志系统

Elasticsearch,Kibana,Logstash,NLog实现ASP.NET Core 分布式日志系统 Elasticsearch 官方网站 Elasticsearch文档 NLog.Targets.ElasticSearch   package Elasticsearch - 简介 Elasticsearch 作为核心的部分,是一个具有强大索引功能的文档存储库,并且可以通过 REST API 来搜索数据. 它使用 Java 编写,基于 Apache Lucene,尽管这些细节隐藏在

logstash+elasticsearch +kibana 日志管理系统

Logstash是一个完全开源的工具,他可以对你的日志进行收集.分析,并将其存储供以后使用(如,搜索),您可以使用它.说到搜索,logstash带有一个web界面,搜索和展示所有日志.kibana 也是一个开源和免费的工具,他可以帮助您汇总.分析和搜索重要数据日志并提供友好的web界面.他可以为 Logstash 和 ElasticSearch 提供的日志分析的 Web 界面. 目的就是为了运维.研发很方便的进行日志的查询.Kibana一个免费的web壳:Logstash集成各种收集日志插件,还

logstash+elasticsearch+kibana+redis 实战

写此文章和就是为了记录logstash+elasticsearch+kibana+redis搭建过程.所有程序都是运行在windows 平台下. 1. 下载 1.1 logstash, elasticsearch, kinana 从官方站点下载: https://www.elastic.co/ 1.2 redis 官方的没有windows平台的.可以从github上下载windows平台版: https://github.com/MSOpenTech/redis/releases 2. 启动各部

使用logstash+elasticsearch+kibana快速搭建日志平台

日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: 根据关键字查询日志详情 监控系统的运行状况 统计分析,比如接口的调用次数.执行时间.成功率等 异常数据自动触发消息通知 基于日志的数据挖掘 很多团队在日志方面可能遇到的一些问题有: 开发人员不能登录线上服务器查看详细日志,经过运维周转费时费力 日志数据分散在多个系统,难以查找 日志数据量大,查询速度慢 一个调用会涉及多个系统,难以在这些系统的日志中快速定位数据 数据不够实时 常见的一些重量级的开源

Logstash+Elasticsearch+Kibana 联合使用搭建日志分析系统(Windows系统)

最近在做日志分析这块儿,要使用 Logstash+Elasticsearch+Kibana 实现日志的导入.过滤及可视化管理,官方文档写的不够详细,网上的文章大多要么是针对Linux系统的用法,要么就是抄袭别人的配置大都没法运行.费了很大劲才搞定了这仨东西,写一篇用法心得,废话不多说,进入主题. 首先,你的电脑上要装Java 的JDK环境,要使用  Logstash+Elasticsearch+Kibana,需要下载这三个软件和一些必要的插件,列表如下 : 1.Java JDK (最新版Logs

【转载】使用logstash+elasticsearch+kibana快速搭建日志平台

原文链接:http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kibana_log.html 日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: 根据关键字查询日志详情 监控系统的运行状况 统计分析,比如接口的调用次数.执行时间.成功率等 异常数据自动触发消息通知 基于日志的数据挖掘 很多团队在日志方面可能遇到的一些问题有: 开发人员不能登录线上服务器查看详细日志,经过运维周转费时费力

Logstash+Elasticsearch+Kibana+Nginx set up our private log query system

Logstash+Elasticsearch+Kibana+S3+Nginx build our private log query system System structure How to setup Logstash-index (Logstash server) yum -y install java-1.7.0-openjdk Install and configure Elasticsearch ( Logstash 1.4.2 recommends Elasticsearch 1