【Python学习笔记】with语句与上下文管理器

  • with语句
  • 上下文管理器
  • contextlib模块
  • 参考引用

  with语句



    with语句时在Python2.6中出现的新语句。在Python2.6以前,要正确的处理涉及到异常的资源管理时,需要使用try/finally代码结构。如要实现文件在操作出现异常时也能正确关闭,则需要像如下实现:

f = open("test.txt")
try:
    for line in f.readlines():
        print(line)
finally:
    f.close()

  不管文件操作有没有出现异常,try/finally中的finnally语句都会执行,从而保证文件的正确关闭。但是很显然Python的设计者们并没有满足于此,他们以希望更简洁更优美的形式来实现资源的清理,而且希望这种清理工作不需要暴露给使用者,所以便出现了with语句。

    with语句的基本语法结构如下:   

with expression [as variable]:
    with-block

  先看下如果用with语句代替上面的try/finally的例子,然后再讨论它的更多细节,如下

with open("text.txt") as f:
    for line in f.readlines()    print(line)

  是不是发现使用with语句相对try/finally来说简洁了很多,而且也不需要每一个用户都去写f.close()来关闭文件了,这是因为with语句在背后做了大量的工作。with语句的expression是上下文管理器,这个我们下文会说。with语句中的[as variable]是可选的,如果指定了as variable说明符,则variable是上下文管理器expression调用__enter__()函数返回的对象。所以,f并不一定就是expression,而是expression.__enter__()的返回值,至于expression.__enter__()返回什么就由这个函数来决定了。with-block是执行语句,with-block执行完毕时,with语句会自动进行资源清理,对应上面例子就是with语句会自动关闭文件。

  下面我们来具体说下with语句在背后默默无闻地到底做了哪些事情。刚才我们说了expression是一个上下文管理器,其实现了__enter__和__exit__两个函数。当我们调用一个with语句时,执行过程如下:

1.首先生成一个上下文管理器expression,在上面例子中with语句首先以“test.txt”作为参数生成一个上下文管理器open("test.txt")。

2.然后执行expression.__enter__()。如果指定了[as variable]说明符,将__enter__()的返回值赋给variable。上例中open("test.txt").__enter__()返回的是一个文件对象给f。

3.执行with-block语句块。上例中执行读取文件。

4.执行expression.__exit__(),在__exit__()函数中可以进行资源清理工作。上面例子中就是执行文件的关闭操作。

 with语句不仅可以管理文件,还可以管理锁、连接等等,如下面的例子:

#管理锁
import  threading
lock = threading.lock()
with lock:
    #执行一些操作
    pass

上下文管理器



  在上文中我们提到with语句中的上下文管理器。with语句可以如此简单但强大,主要依赖于上下文管理器。那么什么是上下文管理器?上下文管理器就是实现了上下文协议的类,而上下文协议就是一个类要实现__enter__()和__exit__()两个方法。一个类只要实现了__enter__()和__exit__(),我们就称之为上下文管理器下面我们具体说下这两个方法。

  __enter__():主要执行一些环境准备工作,同时返回一资源对象。如果上下文管理器open("test.txt")的__enter__()函数返回一个文件对象。

  __exit__():完整形式为__exit__(type, value, traceback),这三个参数和调用sys.exec_info()函数返回值是一样的,分别为异常类型、异常信息和堆栈。如果执行体语句没有引发异常,则这三个参数均被设为None。否则,它们将包含上下文的异常信息。__exit_()方法返回True或False,分别指示被引发的异常有没有被处理,如果返回False,引发的异常将会被传递出上下文。如果__exit__()函数内部引发了异常,则会覆盖掉执行体的中引发的异常。处理异常时,不需要重新抛出异常,只需要返回False,with语句会检测__exit__()返回False来处理异常。

  如果我们要自定义一个上下文管理器,只需要定义一个类并且是实现__enter__()和__exit__()即可。下面通过一个简单的例子是演示如果新建自定义的上下文管理器,我们以数据库的连接为例。在使用数据库时,有时要涉及到事务操作。数据库的事务操作当调用commit()执行sql命令时,如果在这个过程中执行失败,则需要执行rollback()回滚数据库,通常实现方式可能如下:

def test_write():
    con = MySQLdb.connection()
    cursor = con.cursor()
    sql = """      #具体的sql语句
    """
    try:
        cursor.execute(sql)
        cursor.execute(sql)
        cursor.execute(sql)
        con.commit()      #提交事务
    except Exception as ex:
        con.rollback()    #事务执行失败,回滚数据库

  如果想通过with语句来实现数据库执行失败的回滚操作,则我们需要自定义一个数据库连接的上下文管理器,假设为DBConnection,则我们将上面例子用with语句来实现的话,应该是这样子的,如下:

def test_write():
    sql = """      #具体的sql语句
    """
    con = DBConnection()
    with con as cursor:
        cursor.execute(sql)
        cursor.execute(sql)
        cursor.execute(sql)

  要实现上面with语句的功能,则我们的DBConnection数据库上下文管理器则需要提供一下功能:__enter__()要返回一个连接的cursor; 当没有异常发生是,__exit__()函数commit所有的数据库操作。如果有异常发生则_exit__()会回滚数据库,调用rollback()。所以我们可以实现DBConnection如下:

 1 def DBConnection(object):
 2     def __init__(self):
 3         pass
 4
 5     def cursor(self):
 6         #返回一个游标并且启动一个事务
 7         pass
 8
 9     def commit(self):
10         #提交当前事务
11         pass
12
13     def rollback(self):
14         #回滚当前事务
15         pass
16
17     def __enter__(self):
18         #返回一个cursor
19         cursor = self.cursor()
20         return cursor
21
22     def __exit__(self, type, value, tb):
23         if tb is None:
24             #没有异常则提交事务
25             self.commit()
26         else:
27             #有异常则回滚数据库
28             self.rollback()

  

  

时间: 2024-11-05 15:52:53

【Python学习笔记】with语句与上下文管理器的相关文章

python2.7高级编程 笔记一(Python中的with语句与上下文管理器学习总结)

0.关于上下文管理器上下文管理器是可以在with语句中使用,拥有__enter__和__exit__方法的对象. with manager as var: do_something(var) 相当于以下情况的简化: var = manager.__enter__() try: do_something(var) finally: manager.__exit__() 换言之,PEP 343中定义的上下文管理器协议允许将无聊的try...except...finally结构抽象到一个单独的类中,仅

Python菜鸟晋级05----with....as....(上下文管理器)

介绍 上下文管理器(context manager)是Python2.5开始支持的一种语法,用于规定某个对象的使用范围.一旦进入或者离开该使用范围,会有特殊操作被调用 (比如为对象分配或者释放内存).它的语法形式是with...as... 应用 比较一下两段代码: 没有使用上下文管理器: writer = open("test.txt", "w") try: writer.write('Hello ') writer.write('World') finally:

Python高级语法-私有属性-with上下文管理器(4.7.3)

目录 1.说明 2.代码 关于作者 @ 1.说明 上下文管理器 这里使用with open操作文件,让文件对象实现了自动释放资源.我们也能自定义上下文管理器,通过__enter__()和__exit__()这两个魔术方法来自定义的操作文件 当有上下文使用的场景的时候,如打开一个东西要关闭,像等文件等资源,就可以使用这种方式去定义一个上下文管理器 2.代码 class File(): def __init__(self,filename,mode): self.filename = filenam

【Node.js学习笔记四】Node包管理器(Node Packaged Manager,NPM)

Node包管理器是一个命令行应用程序.可以查找.安装.删除.发布以及做与Node封装模块相关的其他很多东西. Node包管理器提供了Node包的注册表和开发之间的联系. Node包管理器的命令

JAVA学习笔记(四十五) - 布局管理器

FlowLayout流式布局管理器 /* * FlowLayout流式布局管理器 */ public class Test03 { public static void main(String[] args) { Frame frame=new Frame("My Frame"); Button btn1=new Button("按钮1"); Button btn2=new Button("按钮2"); Button btn3=new Butto

Python学习笔记8—语句

条件语句 有的程序里写的是 /usr/bin Python,表示 Python 解释器在/usr/bin 里面.但是,如果写成 /usr/bin/env,则表示要通过系统搜索路径寻找 Python 解释器.不同系统,可能解释器的位置不同,所以这种方式能够让代码更将拥有可移植性. #/usr/bin/env python #coding=utf-8 number = int(raw_input("请输入任意一个整数:")) if number == 10: print "您输入

Python学习笔记——基本语句

1.程序输出——print语句 >>> myString = 'Hello World!' >>> print myString Hello World! >>> myString 'Hello World!' 注意:在仅用变量名的时候,输出的字符串是用单引号括起来的 2.程序输入——raw_input()内建函数 >>> user = raw_input('Enter your name:') Enter your name:roo

Python学习笔记(语句)

print和import的更多信息 使用逗号输出 >>> print 'age:', 42age: 42 >>> 1,2,3(1, 2, 3)>>> print 1,2,31 2 3>>> print (1,2,3)(1, 2, 3) >>> name='Gumby'>>> salutation='Mr.'>>> greeting='Hello,' >>> pri

python学习笔记-Day04-第四部分(装饰器)

这周学到了python的装饰器,以前没有接触过,问了一个搞php开发的同事什么是装饰器,他说就好像构造函数一样,可惜我已经把构造函数忘得光光了,想不起来是啥了.现在就找资料了解了解.毕竟装饰器是一个不用也能实现程序的功能,但是用了装饰器以后会显得你的技术特NB,但是不太好理解 学装饰器之前,需要先了解一下函数,前面的笔记里,有写过函数相关的笔记,可以先去参考一下前面的文章,这里只简单说一下. 在python中,函数由  def 关键字,函数名,可选的参数列表和函数体 来组成,通过return语句