.NET基于Eleasticsearch搭建日志系统实战演练(公开版)

一、需求背景介绍

1.1、需求描述

大家都知道C/S架构模式的客户端应用程序(比如:WinForm桌面应用、WPF、移动App应用程序、控制台应用程序、Windows服务等等)的日志记录都存储在本地客户端中,这样就导致有时候一旦客户端出现了的异常问题,为了快速地定位对应服务端出现的位置却极其的繁琐和不方便,就需要找到当时的客户端出现异常问题的日志快照记录。 所以说为了解决实时日志监控问题,ELK提供的一套的解决方案就应运而生了 。然而真实的现状往往比你现实的想象中的还有更糟糕,很有可能在我们的项目团队中会遇到一些下面的问题:

1)、 我们公司都是Windows服务器,没有专门 Linux 运维人员!

2)、. NET项目技术成员目前对Windows系统比较熟悉,对Linux系统不太熟悉。

3)、考虑时间成本短时间内不可能开发出来一套成熟的实时日志监控系统。

那么作为.NET技术的我们该如何快速的搭建中小型企业级日志实时监控系统,解决我们的日志实时监控痛点问题!

一位伟大的领袖说过这么一句话:自己动手,丰衣足食!那么新时代的赋予了我们年轻人的使命:撸起袖子加油干!

1.2、一句话总结今天我们要解决的问题是什么?

作为.NET技术的我们如何在Windows平台上快速的搭建中小型企业级日志实时监控系统!

ps:日志主要包括系统日志、应用程序日志和安全日志。本课程所说的“日志”,如果没有特别说明,即默认指的是应用程序日志!

废话不多说,直接上干货,我们不生产干货,我们只是干货的搬运工。

二、概念名称含义和解释

2.1、ELK介绍

2.2、ELK原理

2.3、为什么使用 ELK ?

三、实战项目在线演练和解读

3.1、在Windows上安装Elasticsearch和kibana

3.2、在Windows上安装Elasticsearch—Head插件。

3.3、在Windows上搭建Elasticsearch集群

3.4、如何将应用程序日志通过log4net推送到Eleasticsearch

3.5、如何将应用程序日志通过Nlog推送到Eleasticsearch

3.5、如何将应用程序日志通过NEST SKD推送到Eleasticsearch

3.6、聊一聊基于Eleasticsearch日志系统分布式架构的那点事

1)、两层日志平台架构设计

2)、三层日志平台架构设计

3)、WebApi服务应用程序如何接入实时日志监控平台系统。

四、总结

传统&新型的日志架构特点对比

3、结束语

五、源码在线解读和演示

原文地址:https://www.cnblogs.com/51net/p/9385273.html

时间: 2024-10-30 14:22:12

.NET基于Eleasticsearch搭建日志系统实战演练(公开版)的相关文章

利用Asio搭建日志系统

Asio(http://think-async.com)官方示例中给出了一个比较初步的日志服务,主要代码在basic_logger.hpp.logger_service.hpp.logger_service.cpp这3个文件.稍作改进(比如创建单独目录存放Log文件.格式化Log文件名以及每一行日志.定时创建新的日志文件)就可以搭建起一个可用的日志系统. 新增一个logger类继承自basic_logger<logger_service>,在logger中创建定时器和定时事件,每隔规定时间发出

基于Log4Net的日志系统

阅读目录 日志系统应具备的特性 Log4Net 配置文件:log4net.config 初始化 输出信息 对Log4Net的封装 log4net.config复杂配置 不管是Web应用程序还是WinForm应用程序,Visual Studio所带的调试功能都是足够强大,足以应付开发中的各种调试需求.但是,对于已经发布的应用,要记录错误.记载运行中的各种状态信息,就需要依靠日志系统了. 回到顶部 日志系统应具备的特性 一个好的日志系统,应该具备以下的特性: 1.运行稳定.因为日志的作用就是要在系统

.NET开源分布式日志框架ExceptionLess实战演练(公开版)

一.课程介绍 在以前,我们做日志收集大多使用 Log4net,Nlog 等框架,在应用程序变得复杂并且集群的时候,可能传统的方式已经不是很好的适用了,因为收集各个日志并且分析他们将变得麻烦而且浪费时间.相信大家的项目中日志功能已经做为基础设施里必不可少的一部分了,日志记录不仅可以更好的记录用户行为,还可以记录系统运行日志,从而看到判断系统运行的健壮性.了解决实时日志监控问题,ELK提供的一套的解决方案就应运而生了 ,作为NET技术的我们,开源的轻量级分布式ExceptionLess 日志框架或许

【Linux】基于VMware搭建Linux系统

本篇文章侧重于操作,主要内容大致包括: 两大类操作系统简要介绍 VMware Workstation Pro 15简要介绍及安装 CentOS简要介绍及基于Wi'n'dows 操作系统的安装 一 关于操作系统的介绍 1.Windows 系统 Window操作系统,是我们再熟悉不过的系统了. 客户端操作系统:windows xp(已过时),win7,win8,win10 服务器操作系统:windows server 2008(R2),windows server 2012(R2),windows

基于flume的日志系统

思路 日志统一输出至kafka flume agent充当kafka消费者,将日志输出至elasticsearch kibana负责展示日志信息 准备工作 flume 1.8 kafka 1.1.0 elasticsearch&kibana 6.5.4 项目中一般使用log4j等日志框架,需自定义JsonLayout flume支持的elasticsearch较低,需自定义flume es sink elasticsearch默认使用utc时间,日志时间需保持一致 JsonLayout 只需要在

分布式框架-日志系统思路及实现

转自:https://www.jianshu.com/p/ce30c31111ca 背景 随着互联网时代数据规模的爆发式增长,传统的单机系统在性能和可用性上已经无法胜任,分布式应用和服务化应用开始走进大家的视野,但是分布式的部署也会带来另外的问题,日志分散在各个应用服务节点中,出现问题不方便及时排查,尤其是服务化的应用中,分析问题时可能需要查看多个日志文件才能定位问题,如果相关项目不是一个团队维护时沟通成本更是直线上升,怎么将日志文件归集,怎么将日志文件呈现成了很多公司需要面对的问题,因此日志系

一步步搭建物联网系统——GNU/Linux 强大且Free

GNU/Linux 强大且Free 什么是Linux Linux是一种自由和开放源码的类UNIX操作系统内核.目前存在着许多不同的Linux发行版,可安装在各种各样的电脑硬件设备,从手机.平 板电脑.路由器和影音游戏控制台,到桌上型电脑,大型电脑和超级电脑.Linux是一个领先的操作系统内核,世界上运算最快的10台超级电脑运行的都是基 于Linux内核的操作系统. Linux操作系统也是自由软件和开放源代码发展中最著名的例子.只要遵循GNU通用公共许可证,任何人和机构都可以自由地使用Linux的

十九,基于helm搭建EFK日志收集系统

目录 EFK日志系统 一,EFK日志系统简介: 二,EFK系统部署 1,EFK系统部署方式 2,基于Helm方式部署EFK EFK日志系统 一,EFK日志系统简介: 关于系统日志收集处理方案,其实有很多种,因为之前使用ES比较多,所以也认为ELK是一个不错的解决方案,ELK(Elasticsearch + Logstash + Kibana)来管理日志. Kubernetes 也要实现在整个集群级别收集和聚合日志,以便用户可以从单个仪表板监控整个集群,其常用的架构形式之一 一种流行的开源解决方案

分布式实时日志系统(一)环境搭建之 Jstorm 集群搭建过程/Jstorm集群一键安装部署

最近公司业务数据量越来越大,以前的基于消息队列的日志系统越来越难以满足目前的业务量,表现为消息积压,日志延迟,日志存储日期过短,所以,我们开始着手要重新设计这块,业界已经有了比较成熟的流程,即基于流式处理,采用 flume 收集日志,发送到 kafka 队列做缓冲,storm 分布式实时框架进行消费处理,短期数据落地到 hbase.mongo中,长期数据进入 hadoop 中存储. 接下来打算将这其间所遇到的问题.学习到的知识记录整理下,作为备忘,作为分享,带给需要的人. 淘宝开源了许多产品组件