go-gin-api 路由中间件 - 日志记录

概述

首先同步下项目概况:

上篇文章分享了,规划项目目录和参数验证,其中参数验证使用的是 validator.v8 版本,现已更新到 validator.v9 版本,最新代码查看 github 即可。

这篇文章咱们分享:路由中间件 - 日志记录。

日志是特别重要的一个东西,方便我们对问题进行排查,这篇文章我们实现将日志记录到文本文件中。

这是我规划的,需要记录的参数:

 - request 请求数据
        - request_time
        - request_method
        - request_uri
        - request_proto
        - request_ua
        - request_referer
        - request_post_data
        - request_client_ip
    - response 返回数据
        - response_time
        - response_code
        - response_msg
        - response_data
    - cost_time 花费时间

Gin 框架中自带 Logger 中间件,我们了解下框架中自带的 Logger 中间件是否满足我们的需求?

gin.Logger()

我们先使用 gin.Logger() 看看效果。

在 route.go SetupRouter 方法中增加代码:

engine.Use(gin.Logger())

运行后多请求几次,日志输出在命令行中:

   [GIN] 2019/08/30 - 21:24:16 | 200 |     178.072µs |             ::1 | GET      /ping
    [GIN] 2019/08/30 - 21:24:27 | 200 |     367.997µs |             ::1 | POST     /product
    [GIN] 2019/08/30 - 21:24:28 | 200 |    2.521592ms |             ::1 | POST     /product

先解决第一个问题,怎么将日志输出到文本中?

在 route.go SetupRouter 方法中增加代码:

    f, _ := os.Create(config.AppAccessLogName)
    gin.DefaultWriter = io.MultiWriter(f)
    engine.Use(gin.Logger())

运行后多请求几次,日志输出在文件中:

    [GIN] 2019/08/30 - 21:36:07 | 200 |     369.023µs |             ::1 | GET      /ping
    [GIN] 2019/08/30 - 21:36:08 | 200 |      27.585µs |             ::1 | GET      /ping
    [GIN] 2019/08/30 - 21:36:10 | 200 |      14.302µs |             ::1 | POST     /product

虽然记录到文件成功了,但是记录的参数不是我们想要的样子。

怎么办呢?

我们需要自定义一个日志中间件,按照我们需要的参数进行记录。

自定义 Logger()

middleware/logger/logger.go

    package logger
    import (
        "bytes"
        "encoding/json"
        "fmt"
        "github.com/gin-gonic/gin"
        "go-gin-api/app/config"
        "go-gin-api/app/util"
        "log"
        "os"
    )
    type bodyLogWriter struct {
        gin.ResponseWriter
        body *bytes.Buffer
    }
    func (w bodyLogWriter) Write(b []byte) (int, error) {
        w.body.Write(b)
        return w.ResponseWriter.Write(b)
    }
    func (w bodyLogWriter) WriteString(s string) (int, error) {
        w.body.WriteString(s)
        return w.ResponseWriter.WriteString(s)
    }
    func SetUp() gin.HandlerFunc {
        return func(c *gin.Context) {
            bodyLogWriter := &bodyLogWriter{body: bytes.NewBufferString(""), ResponseWriter: c.Writer}
            c.Writer = bodyLogWriter
            //开始时间
            startTime := util.GetCurrentMilliTime()
            //处理请求
            c.Next()
            responseBody := bodyLogWriter.body.String()
            var responseCode int
            var responseMsg  string
            var responseData interface{}
            if responseBody != "" {
                response := util.Response{}
                err := json.Unmarshal([]byte(responseBody), &response)
                if err == nil {
                    responseCode = response.Code
                    responseMsg  = response.Message
                    responseData = response.Data
                }
            }
            //结束时间
            endTime := util.GetCurrentMilliTime()
            if c.Request.Method == "POST" {
                c.Request.ParseForm()
            }
            //日志格式
            accessLogMap := make(map[string]interface{})
            accessLogMap["request_time"]      = startTime
            accessLogMap["request_method"]    = c.Request.Method
            accessLogMap["request_uri"]       = c.Request.RequestURI
            accessLogMap["request_proto"]     = c.Request.Proto
            accessLogMap["request_ua"]        = c.Request.UserAgent()
            accessLogMap["request_referer"]   = c.Request.Referer()
            accessLogMap["request_post_data"] = c.Request.PostForm.Encode()
            accessLogMap["request_client_ip"] = c.ClientIP()
            accessLogMap["response_time"] = endTime
            accessLogMap["response_code"] = responseCode
            accessLogMap["response_msg"]  = responseMsg
            accessLogMap["response_data"] = responseData
            accessLogMap["cost_time"] = fmt.Sprintf("%vms", endTime - startTime)
            accessLogJson, _ := util.JsonEncode(accessLogMap)
            if f, err := os.OpenFile(config.AppAccessLogName, os.O_WRONLY|os.O_APPEND|os.O_CREATE, 0666); err != nil {
                log.Println(err)
            } else {
                f.WriteString(accessLogJson + "\n")
            }
        }
    }

运行后多请求几次,日志输出在文件中:

   {"cost_time":"0ms","request_client_ip":"::1","request_method":"GET","request_post_data":"","request_proto":"HTTP/1.1","request_referer":"","request_time":1567172568233,"request_ua":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36","request_uri":"/ping","response_code":1,"response_data":null,"response_msg":"pong","response_time":1567172568233}
    {"cost_time":"0ms","request_client_ip":"::1","request_method":"GET","request_post_data":"","request_proto":"HTTP/1.1","request_referer":"","request_time":1567172569158,"request_ua":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36","request_uri":"/ping","response_code":1,"response_data":null,"response_msg":"pong","response_time":1567172569158}
    {"cost_time":"0ms","request_client_ip":"::1","request_method":"POST","request_post_data":"name=admin","request_proto":"HTTP/1.1","request_referer":"","request_time":1567172629565,"request_ua":"PostmanRuntime/7.6.0","request_uri":"/product","response_code":-1,"response_data":null,"response_msg":"Key: ‘ProductAdd.Name‘ Error:Field validation for ‘Name‘ failed on the ‘NameValid‘ tag","response_time":1567172629565}

OK,咱们想要的所有参数全都记录了!

抛出几个问题吧:

1、有没有开源的日志记录工具?

当然有,其中 logrus 是用的最多的,这个工具功能强大,原来我也分享过,可以看下原来的文章《使用 logrus 进行日志收集》。

2、为什么将日志记录到文本中?

因为,日志平台可以使用的是 ELK。

使用 Logstash 进行收集文本文件,使用 Elasticsearch 引擎进行搜索分析,最终在 Kibana 平台展示出来。

3、当大量请求过来时,写入文件会不会出问题?

可能会,这块可以使用异步,咱们可以用下 go 的 chan,具体实现看代码吧,我就不贴了。

原文地址:https://www.cnblogs.com/it-3327/p/11828293.html

时间: 2024-10-30 19:13:54

go-gin-api 路由中间件 - 日志记录的相关文章

金笛web中间件日志记录如何清空

web中间件日志记录过大会造成卡顿现象,所以需要手动清理下日志记录,只需一步即可完成. 清除路径:找到数据库表smssever_out,删除即可,如图 清理完之后,重启web中间件,很明显的感觉顺畅了很多!

[系列] go-gin-api 路由中间件 - Jaeger 链路追踪(五)

概述 首先同步下项目概况: 上篇文章分享了,路由中间件 - 捕获异常,这篇文章咱们分享:路由中间件 - Jaeger 链路追踪. 啥是链路追踪? 我理解链路追踪其实是为微服务架构提供服务的,当一个请求中,请求了多个服务单元,如果请求出现了错误或异常,很难去定位是哪个服务出了问题,这时就需要链路追踪. 咱们先看一张图: 这张图的调用链还比较清晰,咱们想象一下,随着服务的越来越多,服务与服务之间调用关系也越来越多,可能就会发展成下图的情况. 这调用关系真的是... 看到这,我的内心是崩溃的. 那么问

[系列] go-gin-api 路由中间件 - 捕获异常(四)

目录 概述 什么是异常? 怎么捕获异常? 封装发邮件方法 自定义邮件模板 封装一个中间件 备注 源码地址 go-gin-api 系列文章 概述 首先同步下项目概况: 上篇文章分享了,路由中间件 - 日志记录,这篇文章咱们分享:路由中间件 - 捕获异常.当系统发生异常时,提示 "系统异常,请联系管理员!",同时并发送 panic 告警邮件. 什么是异常? 在 Go 中异常就是 panic,它是在程序运行的时候抛出的,当 panic 抛出之后,如果在程序里没有添加任何保护措施的话,控制台就

go-gin-api 路由中间件 - 捕获异常

概述 首先同步下项目概况: 上篇文章分享了,路由中间件 - 日志记录,这篇文章咱们分享:路由中间件 - 捕获异常. 当系统发生异常时,提示 “系统异常,请联系管理员!”,并发送 panic 告警邮件.什么是异常? 在 Go 中异常就是 panic,它是在程序运行的时候抛出的,当 panic 抛出之后,如果在程序里没有添加任何保护措施的话,控制台就会在打印出 panic 的详细情况,然后终止运行. 我们可以将 panic 分为两种: 一种是有意抛出的,比如, panic("自定义的 panic 信

.Net Core中间件和过滤器实现错误日志记录

1.中间件的概念 ASP.NET Core的处理流程是一个管道,中间件是组装到应用程序管道中用来处理请求和响应的组件. 每个中间件可以: 选择是否将请求传递给管道中的下一个组件. 可以在调用管道中的下一个组件之前和之后执行业务逻辑. 中间件是一个请求委托( public delegate Task RequestDelegate(HttpContext context) )的实例,所以中间件的本质就是一个方法,方法的参数是HttpContext,返回Task.传入的HttpContext参数包含

SLF4J - 一个允许你统一日志记录API的抽象层

一.什么是SLF4J 我们在做Java开发时,如果需要记录日志,有很多日志API可供选择,如: java.util.logging Apache log4j logback SLF4J又是个什么东东呢?为什么使用SLF4J比使用log4j或者java.util.logging更好呢?这是因为与所有提到的这些日志记录库相比,SLF4J没有真正地实现日志记录,相反它只是一个允许你使用任何处于后端的日志记录库的 抽象层 . 如果你正在编写内部或者外部使用的API或者应用库的话,那么你真的不需要让使用你

中间件怎样记录SQL日志

中间件调试的时候,往往需要记录所执行SQL的日志,便于排除程序的BUG. 其实,有一种最简单的办法来实现. 像FIREDAC.UNIDAC还有ADO等数据库引擎,本身提供了SQL日志记录功能. 在程序里面直接开启它们的日志记录功能即可.既方便又省事. 另外,这些数据库引擎,还提供了记录异常日志的功能. 原文地址:https://www.cnblogs.com/hnxxcxg/p/12336314.html

Asp.NetCore依赖注入和管道方式的异常处理及日志记录

原文:Asp.NetCore依赖注入和管道方式的异常处理及日志记录 前言 ????在业务系统,异常处理是所有开发人员必须面对的问题,在一定程度上,异常处理的能力反映出开发者对业务的驾驭水平:本章将着重介绍如何在 WebApi 程序中对异常进行捕获,然后利用 Nlog 组件进行记录:同时,还将介绍两种不同的 异常捕获方式:管道捕获/服务过滤:通过本练习,将学习到如何捕获异常.处理异常跳转.记录异常信息. 1. 搭建框架 ????首先,创建一个 WebApi 项目,选择 Asp.Net Core W

Net Core平台灵活简单的日志记录框架NLog初体验

Net Core平台灵活简单的日志记录框架NLog初体验 前几天分享的"[Net Core集成Exceptionless分布式日志功能以及全局异常过滤][https://www.cnblogs.com/yilezhu/p/9339017.html]" 有人说比较重量,生产环境部署也比较麻烦.因此就有了今天的这篇文章.如果你的项目(网站或者中小型项目)不是很大,日志量也不多的话可以考虑NLog+Mysql的组合.因为NLog具有高性能,易于使用,易于扩展和灵活配置的特点能够让你快速集成日