NET Core 实战:使用 NLog 将日志信息记录到 MongoDB

NET Core 实战:使用 NLog 将日志信息记录到 MongoDB

https://www.cnblogs.com/danvic712/p/10226557.html

ASP.NET Core 实战:使用 NLog 将日志信息记录到 MongoDB
一、前言
  在项目开发中,日志系统是系统的一个重要组成模块,通过在程序中记录运行日志、错误日志,可以让我们对于系统的运行情况做到很好的掌控。同时,收集日志不仅仅可以用于诊断排查错误,由于日志同样也是大量的数据,通过对这些数据进行集中分析,可以产生极大的价值。
  在微服务的系统架构中,由于一个系统会被拆成很多个功能模块,每个模块负责不同的功能,对于日志系统的要求也会更高,比较常见的有 EFLK(ElasticSearch + Filebeat + LogStash + Kibana) 方案,而对于我们这种单体应用来说,由于程序的代码比较集中,所以我们主要采用手写日志帮助类或是使用第三方组件的形式进行日志信息的记录。

  系列目录地址:ASP.NET Core 项目实战
  仓储地址:https://github.com/Lanesra712/Grapefruit.VuCore

二、Step by Step
  1、为什么选择 NLog 和 MongoDB
  在 ASP.NET Core 中,巨硬为我们提供了一个 ILogger 接口,通过 ILogger 接口,我们可以很方便的将日志信息输出到控制台中,不过,在控制台中查看日志信息会显得不太方便,因此,我们可以通过实现该接口或是直接使用第三方的框架来实现将日志信息记录到别的存储介质中。

  在 .NET Framework 时代,对于第三方的日志框架的选择,绝大多数童鞋首选的都会是 log4net 这一根据 Log4j 移植的日志框架,不过,由于 log4net 目前已经接近有3年的时间没更新了,所以就不在考虑范围内。综合比较下官方文档中推荐的几款第三方日志框架,最终还是选择 NLog 这一目前使用人数相对来说比较多的框架,毕竟用户多的话,遇到什么问题也好找资料。

  通常,我们会将日志信息记录到 txt or log 文件中,虽然你可以通过修改日志布局让日志信息具有良好的可读性,不过在信息多的情况下查阅时还是会显得不太方便。因为不仅做到对于错误信息做到记录,还需要记录程序在运行时的访问日志,所以将日志信息写入到关系型数据库中就不是特别合适了。

  而 MongoDB 作为一个文档型的 NoSQL 数据库,相比于传统的关系型数据库,NoSQL 数据库具有更好的扩展性、以及能提供更出色的性能,因此,我最终选择将日志信息记录到 MongoDB 中。当然,最主要的原因还是目前在工作中有开始尝试用 MongoDB 存储用户上传的文件,在找资料的过程中看到有使用 MongoDB 存储日志的案例,Grapefruit.VuCore 既然作为一个学习项目,所以就要多尝试尝试啊。

  2、安装 MongoDB(Windows)
  因为是第一次使用 MongoDB,所以我们需要提前安装 MongoDB Server,我是直接安装到我的开发机上(Windows 10),所以这里只是演示如何在 Windows 上进行 MongoDB 的安装与配置,如何在 Linux or Docker 中进行安装配置,我将在后面的文章中进行演示。毕竟,这个项目的最终准备通过 Docker 部署到 Linux 上的,总在 Windows 上玩是不合适滴。

  首先,打开 MongoDB 官网获取到我们的安装包下载地址(MongoDB Community Download),选择 Server tab 后按照我们的操作系统选择安装包下载即可。

  双击下载好的 msi 文件,开始安装,这里我选择 Complete(完整)安装,如果你想要指定安装的组件和安装的位置,你可以选择 Custom(自定义安装)。

  在 MongoDB 之前的版本中,如果我们需要将 MongoDB Server 作为 Windows 服务,需要我们在安装完成之后进行配置,但是从 MongoDB 4.0 开始,我们就可以在安装期间直接配置和启动我们的 MongoDB 作为 Windows 服务了,当我们安装成功后就会自动启动 MongoDB 服务。嗯,相信我,如果你上网搜索 Windows 下的 MongoDB 安装,你会发现 90% 的文章因为是针对 MongoDB 之前版本的,都会在安装完成之后需要你指定日志地址、指定存储地址,配置 Windows 服务啊,而如果你和我一样,安装的是 MongoDB 4.0 以上的版本,这些统统都不要,是不是很超值。

  这里勾选上 Install MongoD as a Service,当我们安装完成后就会自动启动 MongoDB 服务,同时,对于这里的配置项,我们不做任何的改动。

  Service Name:创建的 Windows 服务名称,如果已经存在了,则需要更换名称

  Data Directory:存储数据的目录

  Log Directory:存储 MongoDB Log 日志的目录

  点击 Next 之后,安装程序会询问你是否需要安装 MongoDB Compass,MongoDB Compass 是官方的一个可视化管理工具,毕竟总是用黑乎乎的 shell 还是不太方便的,这里看你自己的需求,决定是否安装这个工具。

  当我们安装完成后,MongoDB 的服务也就已经启动了,此时,你就可以连接上你的 MongoDB Server 了,这里我是使用 Navicat 进行连接。对于这个服务,你同样可以在计算机管理中对这个服务进行管理。

  在默认情况下,当我们安装好 MongoDB 后是不允许远程访问以及不存在任何的用户权限的。而这些,在我们正式使用中都是需要考虑的。

  首先,配置我们的 MongoDB Server 以允许用户进行远程访问。找到程序安装路径下面的 mongod.cfg 文件(如果你使用的是默认配置,则该文件位于 C:\Program Files\MongoDB\Server\4.0\bin),修改 bindIp 属性值为 0.0.0.0,重启 MongoDB 服务,确保 27017 端口外界可以访问后,则可以远程访问我们的 MongoDB 服务。

  当我们允许远程访问我们的 MongoDB 服务后,我们更应该为 MongoDB 配置权限。与我们经常使用的 SQL Server 或是 MySQL 不同,MongoDB 中的权限是针对每一个数据库的,也就是说我们需要为使用到的数据库创建用户并配置权限。

  打开 Navicat,连接安装好的 MongoDB 服务。

  第一步将默认数据库切换到 admin 数据库,创建一个管理员用户,这里我就将管理员用户的角色设置为 root 用户。

复制代码
//切换到 admin 数据库
use admin

//创建一个管理员用户
db.createUser(
{
user: "user name",
pwd: "user password",
roles: [ { role: "root", db: "admin" } ]
}
)
复制代码
  当我们创建好管理员用户后,我们就可以为数据库配置用户与权限了。右击连接名称,新建一个数据库 GrapefruitVuCore,切换到 GrapefruitVuCore 数据库后,新建一个可以读写的用户 grapefruit。用户都创建完成后,关闭我们的 MongoDB 连接。

复制代码
//切换到 admin 数据库
use GrapefruitVuCore

//创建一个管理员用户
db.createUser(
{
user: "grapefruit",
pwd: "grapefruit",
roles: [ { role: "readWrite", db: "GrapefruitVuCore" } ]
}
)
复制代码
  当用户已经创建完成之后,我们就可以修改配置文件,启用权限控制。还是在 mongod.cfg 中,取消 security 节点的注释,添加授权配置,修改完成后,重启服务,此时,MongoDB 就必须通过账户密码登录了。

  当服务重启之后,如果你还是按照之前的方式连接,则会提示你权限不足,你需要修改 Navicat 的连接配置。将验证方式修改成 Password,输入账户、密码,并指定需要登录的数据库,重新连接即可。

  PS:这里,我使用账户、密码登录进入 GrapefruitVuCore 后,右侧的连接下面是没有显示这个数据库的,但这个数据库是真实存在的,不晓得这是个啥问题。

  MongoDB 内置的用户角色权限:

  read:允许用户读取授权的数据库

  readWrite:允许用户读写授权的数据库

  dbAdmin:允许用户在授权的数据库中执行管理操作,如索引创建、删除,查看统计或访问system.profile

  userAdmin:允许用户向 system.users 集合写入,可以在指定数据库里创建、删除和管理用户

  clusterAdmin:只在 admin 数据库中可用,赋予用户所有分片和复制集相关函数的管理权限。

  readAnyDatabase:只在 admin 数据库中可用,赋予用户所有数据库的读权限

  readWriteAnyDatabase:只在 admin 数据库中可用,赋予用户所有数据库的读写权限

  userAdminAnyDatabase:只在 admin 数据库中可用,赋予用户所有数据库的 userAdmin 权限

  dbAdminAnyDatabase:只在 admin 数据库中可用,赋予用户所有数据库的 dbAdmin 权限。

  root:只在admin数据库中可用。超级账号,超级权限

  3、使用 NLog 记录日志信息
  当我们安装配置好 MongoDB 后,有了存储日志信息的介质,我们就可以使用 NLog 来记录我们的程序日志信息了。首先,我们需要为项目中添加对于 NLog 的引用,右击 Grapefruit.WebApi 打开管理 Nuget 程序包页面或是使用程序包管理器控制台选中默认项目为 Grapefruit.WebApi,添加 NLog、NLog.Web.AspNetCore、NLog.Mongo。

Install-Package NLog
Install-Package NLog.Web.AspNetCore
Install-Package NLog.Mongo

  NLog 和 NLog.Web.AspNetCore 为 ASP.NET Core 添加了对于 NLog 的平台支持,在 NLog 中,我们可以通过继承 NLog.Targets.TargetWithLayout 来为 NLog 添加更多的输出介质支持,而 NLog.Mongo 就是为 NLog 添加输出日志信息到 MongoDB 的支持。嗯,尝试了自己写,一直有问题,最后还是用的别人写好的,哈哈哈,水平太菜。

  当我们添加好引用后,在 Grapefruit.WebApi 下添加一个 NLog 的配置文件 nlog.config(文件名全部需要小写),右键 nlog.config,打开属性窗口,将复制到输出目录修改成较新才复制或是总是复制都可以。

  在配置文件中,nlog 节点必须是 xml 文件的根节点,同时包含三个主要的子节点:extensions、targets、rules。

  extensions:当你不仅仅只使用 NLog 这一个基础的 dll ,并使用了一些基于 NLog 扩展的工具时,你就需要在 extensions 节点下面添加引用的程序集名称。例如,这里,我添加了 NLog.Web.AspNetCore 这个程序集从而达到 NLog 对于 ASP.NET Core 的支持,以及添加了 NLog.Mongo 这个程序集用来将日志信息输出到 MongoDB 中。

  targets:targets 节点下包含了我们需要输出的日志的信息内容以及日志信息的布局,例如,这里我按照日期输出两个文件 nlog-all-date.log 和 nlog-own-date.log,分别记录所有的日志信息以及我们自定义记录的信息。因为我们是需要将日志信息写入 MongoDB 中的,这里我也添加了一个子节点用来设置写入 MongoDB 数据库中的数据字段。

  rules:rules 节点是将需要记录的日志级别关联到记录日志的方式上。这里,我是将只要是 Trace 以上的都进行日志记录。

复制代码

<!-- another file log, only own logs. Uses some ASP.NET core renderers -->
<target xsi:type="File" name="ownFile-web" fileName="c:\Temp\GrapefruitVuCore\nlog-own-${shortdate}.log"
        layout="日志记录时间:${longdate}${newline}日志级别:${uppercase:${level}}${newline}日志来源:${logger}${newline}日志信息:${message}${newline}错误信息:${exception:format=tostring}${newline}url: ${aspnet-request-url}${newline}action: ${aspnet-mvc-action}${newline}==============================================================${newline}" />

<!-- write log to mongodb-->
<target xsi:type="Mongo"
        name="mongo" databaseName="GrapefruitVuCore"
        collectionName="Logs"
        connectionString="mongodb://grapefruit:[email protected]:27017/GrapefruitVuCore"
        cappedCollectionSize="26214400">
  <property name="LongDate" layout="${longdate}" bsonType="DateTime" />
  <property name="Level" layout="${level}" />
  <property name="Logger" layout="${logger}"/>
  <property name="Message" layout="${message}" />
  <property name="Exception" layout="${exception:format=tostring}" />
  <property name="Url" layout="${aspnet-request-url}" />
  <property name="Action" layout="${aspnet-mvc-action}" />
  <property name="UserName" layout="${windows-identity}" />
</target>
<!--Skip non-critical Microsoft logs and so log only own logs-->
<logger name="Microsoft.*" maxLevel="Info" final="true" />
<!-- BlackHole without writeTo -->
<logger name="*" minlevel="Trace" writeTo="ownFile-web" />

<!--Add logs to mongodb-->
<logger name="*" minlevel="Trace" writeTo="mongo"/>

复制代码

  当我们设置好配置文件后就可以在 Program.cs 中启用 NLog 去记录日志。运行我们的项目后,就可以查看记录的日志信息了,这里我在 txt 文件中和 MongoDB 中都有记录日志信息,具体看你自己的需求了。

复制代码
public class Program
{
public static void Main(string[] args)
{
//加载日志配置信息文件后去捕获所有的错误
var logger = NLogBuilder.ConfigureNLog("nlog.config").GetCurrentClassLogger();
try
{
logger.Info("Init Log API Information");
CreateWebHostBuilder(args).Build().Run();
}
catch (Exception ex)
{
logger.Error(ex, "Stop Log Information Because Of Exception");
}
finally
{
LogManager.Shutdown();
}
}

public static IWebHostBuilder CreateWebHostBuilder(string[] args) =>
    WebHost.CreateDefaultBuilder(args)
        .UseStartup<Startup>()
        .ConfigureLogging(logging =>
        {
            logging.ClearProviders();//移除其它已经注册的日志处理程序
            logging.SetMinimumLevel(Microsoft.Extensions.Logging.LogLevel.Trace);//记录最小日志级别
        })
        .UseNLog();//注入 NLog 服务

}
复制代码
  另外,在 appsettings.json 中指定的 Logging 配置会覆盖任何对于 SetMinimumLevel 方法的调用。因此,你可以删除配置文件中的 default 属性,或是根据你自己的需要进行调整。

复制代码
{
"Logging": {
"LogLevel": {
"Default": "Trace",
"Microsoft": "Information"
}
}
}
复制代码
三、总结
  本章主要是演示如何在 Windows 上安装 MongoDB Server 以及在 ASP.NET Core 项目中使用 NLog 将日志信息记录到 MongoDB 中。在我们使用这些这些第三方开源框架时,可能会遇到很多问题,当你无法解决的时候,项目的 Issue 是个好地方,多搜搜,很大可能你就会得到解决方案。

原文地址:https://www.cnblogs.com/Leo_wl/p/10232312.html

时间: 2024-08-27 10:13:51

NET Core 实战:使用 NLog 将日志信息记录到 MongoDB的相关文章

ASP.NET Core 实战:使用 NLog 将日志信息记录到 MongoDB

在项目开发中,日志系统是系统的一个重要组成模块,通过在程序中记录运行日志.错误日志,可以让我们对于系统的运行情况做到很好的掌控.同时,收集日志不仅仅可以用于诊断排查错误,由于日志同样也是大量的数据,通过对这些数据进行集中分析,可以产生极大的价值. 在微服务的系统架构中,由于一个系统会被拆成很多个功能模块,每个模块负责不同的功能,对于日志系统的要求也会更高,比较常见的有 EFLK(ElasticSearch + Filebeat + LogStash + Kibana) 方案,而对于我们这种单体应

ASP.NET MVC中错误日志信息记录

MVC中有一个处理异常的过滤器 HandleErrorAttribute 1.新建一个类继承自 HandleErrorAttribute,然后重写OnException这个方法 public class MyExceptionAttribute:HandleErrorAttribute { /// <summary> /// 可捕获异常数据 /// </summary> /// <param name="filterContext"></par

【转】ASP.NET MVC中错误日志信息记录

MVC中有一个处理异常的过滤器 HandleErrorAttribute 1.新建一个类继承自 HandleErrorAttribute,然后重写OnException这个方法 public class MyExceptionAttribute:HandleErrorAttribute { /// <summary> /// 可捕获异常数据 /// </summary> /// <param name="filterContext"></par

Java日志信息存库(logback篇)

一.Logback简介 Logback是由log4j创始人设计的又一个开源日志组件.logback当前分成三个模块:logback-core,logback- classic和logback-access.logback-core是其它两个模块的基础模块.logback-classic是log4j的一个 改良版本.此外logback-classic完整实现SLF4J API使你可以很方便地更换成其它日志系统如log4j或JDK14 Logging.logback-access访问模块与Servl

Java日志信息存库(log4j篇)

一.Log4j简介 在一个完整的J2EE项目开发中,日志是一个非常重要的功能组成部分.它可以记录下系统所产生的所有行为,并按照某种规范表达出来.我们可以通过日志信息为系统进行排错,优化系统的性能,或者根据这些信息调整系统等行为.Log4j是Apache针对于日志信息处理的一个开源项目,其最大特点是通过一个配置文件就可以灵活地控制日志信息的输出方式(控制台.文件和数据库等).日志输出格式及日志信息打印级别等,而不需要修改应用的代码. 二.编写背景 作为一名程序猿在开发中总能遇到一些比较奇葩的需求,

ASP.NET Core 开发-Logging 使用NLog 写日志文件

ASP.NET Core 开发-Logging 使用NLog 写日志文件. NLog 可以适用于 .NET Core 和 ASP.NET Core . ASP.NET Core已经内置了日志支持,可以轻松输出到控制台. 学习Logging 组件的相关使用,使用NLog 将日志写入到文件记录. Logging 使用 新建一个 ASP.NET Core 项目,为了方便,我选择Web 应用程序,改身份验证 改为 不进行身份验证. 新建好以后,会自动引用好对应的 类库.这样我们就可以直接使用 Logge

ASP.NET Core 2.1 : 十二.内置日志、使用Nlog将日志输出到文件

应用离不开日志,虽然现在使用VS有强大的调试功能,开发过程中不复杂的情况懒得输出日志了(想起print和echo的有木有),但在一些复杂的过程中以及应用日常运行中的日志还是非常有用. ASP.NET Core提供了内置的日志,但没弄明白这么把它输出到文件, 只能在VS的输出中查看, 谁知道怎么弄告诉我一下.(ASP.NET Core 系列目录) 本例 GitHub 一.内置日志的使用 上一篇:如何在后台运行一个任务  中使用到了内置的日志,直接在构造中注入一下,然后直接使用即可, 非常方便 pu

Net Core平台灵活简单的日志记录框架NLog初体验

Net Core平台灵活简单的日志记录框架NLog初体验 前几天分享的"[Net Core集成Exceptionless分布式日志功能以及全局异常过滤][https://www.cnblogs.com/yilezhu/p/9339017.html]" 有人说比较重量,生产环境部署也比较麻烦.因此就有了今天的这篇文章.如果你的项目(网站或者中小型项目)不是很大,日志量也不多的话可以考虑NLog+Mysql的组合.因为NLog具有高性能,易于使用,易于扩展和灵活配置的特点能够让你快速集成日

Swing应用开发实战系列之五:后台日志信息前台监控器

作为一个程序设计人员,我们深知日志的重要性,对于日志的监控,我们通常不外乎采用以下两种方式:日志文件方式和后台打印方式,常规情况下,这两种日志监控方式完全可以满足我们对日志监控的需要.但是,当我们用Swing进行前台开发时,常常想能不能把后台服务运行日志实时地显示在前台窗口中,或者只是将某类我们比较关心的日志信息(譬如异常日志等)实时动态地显示在前台窗口中,这样方便我们及时监控和处理.这个设想我们称之为“后台日志信息前台监控器”. 设计这样一个“后台日志信息前台监控器”,有两个难点,第一个是,当