Python自建logging模块

本章将介绍Python内建模块:日志模块,更多内容请从参考:Python学习指南

简单使用

最开始,我们用最短的代码体验一下logging的基本功能。

import logging

logger = logging.getLogger()
logging.basicConfig()
logger.setLevel(‘DEBUG‘)
logger.debug(‘logsomething‘)
#输出
out>>DEBG:root:logsomething
  • 第一步,通过logging.getLogger函数,获取一个loger对象,但这个对象暂时是无法使用的。
  • 第二步,logging.basicConfig函数,进行一系列默认的配置,包括format、handler等。
  • 第三步,logger调用setLevel函数定义日志级别为DEBUG
  • 最后,调用debug函数,输出一条debug级别的message,显示在了标准输出上。

logging中的日志级别

logging在生成日志的时候,有一个日志级别的机制,默认有以下几个日志级别:

CRITICAL = 50
ERROR = 40
WARNING = 30
INFO  20
DEBUG = 10
NOTEST = 0

每一个logger对象,都有一个日志级别,它只会输出高于它level的日志。如果一个logger的level是INFO,那么调用logger.debug()是无法输出日志的,而logger.warning()能够输出。

一般来说,以上的6个日志级别完全满足我们日常使用了。

logging中的基础类

logging是python的一个基础模块,它在python中的源码位置如下:

#主干代码
/usr/lib/python2.7/logging/__init__.py
#扩展的handler和config
/usr/lib/pyhon2.7/logging/config.py
/usr/lib/python2.7/loging/handlers.py

组成logging的主干的几个基础类都在__init__.py中:

第一个基础类LogRecord

一个LogRecord对象,对应了日志中的一行数据。通常包含:时间、日志级别、message信息、当前执行的模块、行号、函数名...这些信息都包含在一个LogRecord对象里。

LogRecord对象可以想象成一个大字典:

class LogRecord(object):
    #代表一条日志的类
    def getMessage(self):
        #获取self.msg

    def markLogRecord(dict):
    #这个方法很重要,生成一个空的LogRecord,然后通过一个字典,直接更新LogReocrd中的成员变量
    rv = LogRecord(None, None, "", 0, "", (), None, None)
    rv.__dict__.update(dict)
    return rv

第二个基础类Formatter

Formatter对象是用来定义日志格式的,LogRecord保存了很多信息,但是打印日志的时候我们只需要其中几个,Formatter就提供了这样的功能,它依赖于python的一个功能:

#通过字典的方式,输出格式化字符串
print(‘%(name)s:%(num)d‘%{‘name‘:‘my_name‘, ‘num‘ : 100})
out >>>my_name:100

如果说LogRecord是后面的那个字典,那么Formatter就是前面的那个格式字符串...的抽象

重要的代码如下:

class Formatter(object):
    def __init__(self, fmt=None, datefmt = None):
        if fmt:
            self._fmt = fmt
        else:
            #默认的format
            self._fmt = "%(message)s"
    def format(self, record)
        #使用self._fmt进行格式化
        s = self._fmt %record.__dict__
        return s

第三个基础类Filter和Filterer

Filter类,功能很简单。Filter.filter()函数传入一个LogRecord对象,通过筛选返回1,否则返回0.从代码中可以看到,其实是对LogRecord.name的筛选。

Filterer类中有一个Filter对象的列表,它是一组Filter的抽象。

重要的代码如下:

class Filter(object):
    def __init__(self, name=‘‘):
        self.name = name
        self.nlen = len(name)
    def filter(self, record):
        #返回1表示record通过,0表示record不通过
        if self.nlen == 0:
            return 1
        elif self.name == record.name:
            return 1
        #record.name不是以filter开头
        elif record.name.find(self.name, 0, self.nlen) != 0:
            return 0
        #最后一位是否为
        return (record.name[self.nlen] == ‘.‘)

class Filterer(object):
    #这个类其实是定义了一个self.filters = []的列表管理多个filter
    def addFilter(self, filter):
    def removefilter(self, filter):
    def filter(self, record):
    #使用列表中所有的filter进行筛选,任何一个失败都会返回0
    #例如:
        #filter.name = ‘A‘, filter2.name=‘A.B‘, filter2.name = ‘A, B, C‘
        #此时record.name = ‘A,B,C,D‘这样的record才能通过所有filter的筛选

logging中的高级类

有了以上三个基础的类,就可以拼凑一些更重要的高级类了,高级类可以实现logging的重要功能。

Handler——抽象了log的输出过程

  • Handler类继承自Filterer。Handler类时log输出这个过程的抽象。
  • 同时Handler类具有一个成员变量self.level,在第二节讨论的日志级别的机制,就是在Handler中实现的。
  • Handler有一个emit(record)函数,这个函数负责输出log,必须在Handler的子类中实现。

重要代码如下:

class Handler(Filterer):
    def __init__(self, level = NOTEST)
        #handler必须有level属性
        self.level = _checkLevel(level)
    def format(self, record):
        #使用self.formatter, formattercord
    def handler(self, record):
        #如果通过filter的筛选,则emit这条log
        rv = self.filter(record)
        self.emit(record)
    def emit(self, record):
        #等待子类去实现

接下来看两个简单的handler的子类,其中在logging源码中,有一个handler.py专门定义了很多复杂的handler,有的可以将log缓存在内存中,有的可以将log做rotation等。

StreamHandler

最简单的handler实现,将log写入一个流,默认的stream是sys.stderr

重要的代码如下:

class StreamHandler(Handler):
    def __init__(self, stream = None):
        if stream is None:
            stream = sys.stderr
        self.stream = stream
    def emit(self, record):
        #将record的信息写入流
        #处理一些编码的异常
        fs = ‘%s\n‘ #每条日志都有换行
        stream = self.stream
        stream.write(fs%msg)

FileHandler

将log输出到文件的handler,继承StreamHandler

重要代码如下:

class FileHandler(StreamHandler):
    def __init__(self, filename, mode=‘a‘)
        #append方式打开一个文件
        StreamHandler.__init__(self, self._open())

    def emit(self, record):
        #和streamhandler保持一致
        StreamHandler.emit(self, record)

Logger——一个独立的log管道

什么是logger?

+ logger类继承自Filterer,

+ logger对象有logger.level日志级别

+ logger对象控制多个handler:logger.handlers = []

+ logger对象之间存在福字关系

简单的来说,logger这个类,集中了我们以上所有的LogRecord、Filter类、Formatter类、handler类。首先,logger根据输入生成一个LogRecord读写,经过Filter和Formatter之后,再通过self.handlers列表中的所有handler,把log发送出去。一个logger中可能有多个handler,可以实现把一份log放到任意的位置。

class Logger(Filterer):
    def __init__(self, name, level=NOTEST)
        #handler列表
        self.handlers = []
        self.level = _checklevel(level)
    def addHandler(self, hdlr):
    def removeHandler(self, hdlr):
    def _log(self, level, msg, args, exc_info=None, extra=None):
        #在_log函数中创建了一个LogRecord对象
        record = self.makeRecord(self.name, level, fn, lno, msg, args, exc_info, func, extra)
        #交给handle函数
        self.handle(record)
    def handle(self, reord):
        #进行filter,然后调用callHandlers
        if(not self.disabled) and self.filter(record):
            self.callHandlers(record)

    def callHandlers(self, record):
        #从当前logger到所有的父logger,递归的handl传入的record
        c = self
        while c:
            for hdlr in c.handlers:
                hdlr.handle(record)  #进入handler的emit函数发送log
            ....
            c = c.parent

LoggerAdapter——对标准logger的一个扩展

LogRecord这个大字典中提供的成员变量已经很多,但是,如果在输出log时候仍然希望能够夹带一些自己想要看到的更多信息,例如产生这个log的时候,调用某些函数去获得其他信息,那么就可以把这些添加到Logger中,LoggerAdapter这个类就起到这个作用。

LoggerAdapter这个类很有意思,如果不做什么改动,那么LoggerAdapter类和Logger并没有什么区别。LoggerAdapter只是对Logger类进行了一下包装。

LoggerAdapter的用法其实是在它的成员函数process()的注释中已经说明了:

def process(self, msg, kwargs):
    ‘‘‘
    Normally,you‘ll only need to overwrite this one method in a LoggerAdapter subclass for your specific needs.
    ‘‘‘

也就是说重写process函数,以下是一个例子:

import logging
import random
L=logging.getLogger(‘name‘)

#定义一个函数,生成0~1000的随机数
def func():
    return random.randint(1,1000)

class myLogger(logging.LoggerAdapter):
    #继承LoggerAdapter,重写process,生成随机数添加到msg前面
    def process(self,msg,kwargs):
        return ‘(%d),%s‘ % (self.extra[‘name‘](),msg)  ,kwargs

#函数对象放入字典中传入
LA=myLogger(L,{‘name‘:func})

#now,do some logging
LA.debug(‘some_loging_messsage‘)

out>>DEBUG:name:(167),some_loging_messsage

原文地址:https://www.cnblogs.com/moying-wq/p/10134632.html

时间: 2024-11-14 13:11:27

Python自建logging模块的相关文章

python 的日志logging模块介绍

最近在写使用python生成App的程序,发现直接用print打印信息不太方便和规范,所以使用了logging日志模块,简单记录下用法,正式项目中应该使用logging.config配置日志,可以实现类似log4j的日志文件大小限制,格式控制,输出位置等. 1.简单的将日志打印到屏幕 import logging logging.debug('This is debug message') logging.info('This is info message') logging.warning(

在python中使用logging模块

import logging logging.basicConfig(level=logging.INFO, filename='mylog.log') logging.info('Starting program') logging.info('Trying to divide 1 by 0') print 1 / 0 logging.info('The division succeeded') logging.info('Ending program') 在python中使用logging模

python os,sys,logging模块的使用

os模块 os.getcwd() 获取当前工作目录,即当前python脚本工作的目录路径 os.chdir("dirname") 改变当前脚本工作目录:相当于shell下cd os.curdir 返回当前目录: ('.') os.pardir 获取当前目录的父目录字符串名:('..') os.makedirs('dirname1/dirname2') 可生成多层递归目录 os.removedirs('dirname1') 若目录为空,则删除,并递归到上一级目录,如若也为空,则删除,依此

python 的日志logging模块学习

最近修改了项目里的logging相关功能,用到了python标准库里的logging模块,在此做一些记录.主要是从官方文档和stackoverflow上查询到的一些内容. 官方文档 技术博客 基本用法 下面的代码展示了logging最基本的用法. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 # -*- cod

Python time和logging模块

import time print (time.time()) #1468639205.841486 print (time.ctime()) #Sat Jul 16 11:20:05 2016 print (time.ctime(time.time()-86400)) #Fri Jul 15 11:20:05 2016 print (time.gmtime()) #time.struct_time(tm_year=2016, tm_mon=7, tm_mday=16, tm_hour=3, t

python 的日志logging模块

1.简单的将日志打印到屏幕 import logging logging.debug('This is debug message') logging.info('This is info message') logging.warning('This is warning message') <strong>屏幕上打印:</strong><br /> WARNING:root:This is warning message 默认情况下,logging将日志打印到屏幕,

Python日志输出——logging模块

1. logging介绍 Python的logging模块提供了通用的日志系统,可以方便第三方模块或者是应用使用.这个模块提供不同的日志级别,并可以采用不同的方式记录日志,比如文件,HTTP GET/POST,SMTP,Socket等,甚至可以自己实现具体的日志记录方式. logging模块与log4j的机制是一样的,只是具体的实现细节不同.模块提供logger,handler,filter,formatter. logger:提供日志接口,供应用代码使用.logger最长用的操作有两类:配置和

python学习:logging模块

很多程序都有记录日志的需求,并且日志中包含的信息即有正常的程序访问日志,还可能有错误.警告等信息输出,python的logging模块提供了标准的日志接口,你可以通过它存储各种格式的日志,logging的日志可以分为 debug(), info(), warning(), error() and critical() 5个级别,下面我们看一下怎么用. 最简单用法 1 2 3 4 5 6 7 8 import logging logging.warning("user [alex] attempt

Python自学笔记-logging模块详解

简单将日志打印到屏幕: import logging logging.debug('debug message') logging.info('info message') logging.warning('warning message') logging.error('error message') logging.critical('critical message') 输出结果为: WARNING:root:warning message ERROR:root:error message