深入浅出学习Python的yield和generator

背景

之前走马观花接触过Python协程的概念,这两天和一个同事聊到了协程,死活想不起来曾经看过的东西,就记得一个yield,概念不清;

所以想捋一捋相关的东西,此篇作为学习的记录。

Generator

generator(生成器)保存的是算法,可以理解为一个特殊的函数,有迭代(可迭代的对象都有一个__next()__成员方法)的属性
可以被用作控制循环的迭代行为,做到一边循环一边计算;特点是只有被调用的的时候才会生成,能做到不多占用系统的资源。

在我们日常工作过程中接触最多的generator可能就是Python3.X中的range函数,我们来看一下它和Python2.x中range的用法区别:

# python2
>>> range(10)
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> type(range(10))
<type 'list'>

# python3
>>> range(10)
range(0, 10)
>>> type(range(10))
<class 'range'>

>>> list(range(10))
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

如示例,Python2 是直接生成的列表list,而Python3中调用range(10)实际上是生成了一个range类,需要转换才能生成list。

Python2这样直接生成列表的机制,在实际使用中容量可能会受到内存的限制。而且如果创建一个包含100万个元素的列表,而我们又仅仅只需要访问前面几个元素,那绝大多数的内存占用就会白白浪费。所以Python3的开发者们才会在这一个小小的函数上下这么大的功夫。

Generator的使用

创建generator:列表生成式

创建generator方法有很多,最直接最简单的方法就是使用 列表生成式

>>> L = [x * 2 for x in range(5)]
>>> L
[0, 2, 4, 6, 8]
>>> G = (x * 2 for x in range(5))
>>> G
<generator object <genexpr> at 0x000000000309DD58>

如上例,只要把一个列表生成式的[]改成(),就创建了一个generator

我们可以通过next()函数获得generator的返回值

>>> next(G)
0
>>> next(G)
2
>>> next(G)
4
>>> next(G)
6
>>> next(G)
8
>>> next(G)
Traceback (most recent call last):
  File "<pyshell#16>", line 1, in <module>
    next(G)
StopIteration

每次调用next(g),就计算出g的下一个元素的值,直到计算到最后一个元素,没有更多的元素时,抛出StopIteration的错误。

当然,这个只是测试,正确的使用方式是使用for循环,在for循环中,会自动遵循迭代规则,每次调用next()函数,而且不需要关心StopIteration的错误。

>>> for i in G:
    print(i)
0
2
4
6
8

创建generator: 直接定义生成器函数

# 普通函数
def commom_func(max):
    print("create counter")
    counter = 0
    while counter < max:
        print(counter)
        print('counter increase')
        counter += 1

# 生成器函数
def yield_func(max):
    print("create counter")
    counter = 0
    while counter < max:
        yield counter
        print('counter increase')
        counter += 1

# 生成器函数调用
if __name__ == '__main__':
    num = yield_func(5)
    print(next(num))
    print(next(num))
    print(next(num))
---
# 生成器函数调用输出
create counter
0
counter increase
1
counter increase
2

从上面这个例子可以看出以下几点:

  1. 在yield_func函数中出现了关键字yield,这个函数返回一个生成器(通过第一行输出可以看出来),用来产生连续的n值,生成器每次只产生一个结果值
  2. 在创造生成器实例的时候,只需要像普通函数一样调用就可以,但是这个调用却不会执行这个函数
  3. next()函数将生成器对象作为自己的参数,在第一次调用的时候,他执行了yield_func函数到yield语句,返回产生的值0
  4. 我们重复的调用next()函数,每次他都会从上次被挂起的地方开始执行,直到再次遇到了yield关键字
  5. 这就是定义generator的另一种方法。如果一个函数定义中包含yield关键字,那么这个函数就不再是一个普通函数,而是一个generator

下面是一个更直观的例子

def step_test():
    print('step 1')
    yield 1
    print('step 2')
    yield 2
    print('step 3')
    yield 3

调用该generator时,首先要生成一个generator对象,然后用next()函数不断获得下一个返回值:

>>> test = step_test()
>>> next(test)
step 1
1
>>> next(test)
step 2
2
>>> next(test)
step 3
3

总结

  • generator是非常强大的工具,在Python中,可以简单地把列表生成式改成generator
  • 对于函数改成的generator来说,遇到return语句或者执行到函数体最后一行语句,就是结束generator的指令,for循环随之结束。
  • 普通函数调用直接返回结果,generator函数的“调用”实际返回一个generator对象:
>>> step_test()
<generator object step_test at 0x0000000001DE5B48>

原文地址:https://www.cnblogs.com/Detector/p/8605441.html

时间: 2024-11-25 14:40:02

深入浅出学习Python的yield和generator的相关文章

Python学习之路 - yield生成器,迭代器

生成器 把结果保存成生成器的状态,普通的函数中出现yield,就变成生成器. 1.Python 3.3 中 xrange已合并到range. 1 i = range(10) 2 print (i) 3 4 =>range(0, 10) 2. yield 生成器. 1 def func(): 2 print(111) 3 yield 1 4 print(222) 5 yield 2 6 print(333) 7 yield 3 8 return "done" 9 10 k = fu

【Python 学习】通过yield 构建迭代生成器

带有 yield 的函数在 Python 中被称之为 generator(生成器),何谓 generator ? 我们先抛开 generator,以一个常见的编程题目来展示 yield 的概念. 如何生成斐波那契數列 斐波那契(Fibonacci)數列是一个非常简单的递归数列,除第一个和第二个数外,任意一个数都可由前两个数相加得到.用计算机程序输出斐波那契數列的前 N 个数是一个非常简单的问题,许多初学者都可以轻易写出如下函数: 清单 1. 简单输出斐波那契數列前 N 个数  def fab(m

python学习之生成器yield

python学习之生成器yield **yield的作用是使函数生成一个结果序列而不是一个值,任何使用yield的函数都称为生成器,调用生成器会创建一个对象,该对象通过连续调用next()或者__next__()方法生成结果序列** 一般情况 >>> def count(n,m): >>> print('这是一个循环外部测试') >>> while n>0: >>> print('这是一个循环内部测试') >>>

重新学习python系列(一)? WTF?

重新学习python:两年前学了点python之后就一直没做做过啥项目, 基本上全忘光了,复习一下搞点事情 or |and & ord() ascii转16进制 chr()  16进制转ascii >>> u'ABC'.encode('utf-8') 'ABC' >>> u'中文'.encode('utf-8') '\xe4\xb8\xad\xe6\x96\x87' >>> 'abc'.decode('utf-8') u'abc' >&g

Python错误:AttributeError: &#39;generator&#39; object has no attribute &#39;next&#39;解决办法

今天在学习生成器对象(generation object)运行以下代码时,遇到了一个错误: #定义生成器函数def liebiao(): for x in range(10): yield x#函数调用g = liebiao() #打印元素print(g.next())D:\>python test.pyTraceback (most recent call last): File "test.py", line 10, in <module> print(g.nex

学习Python基础--------4

python装饰器 定义:本质是函数,(装饰其他函数)就是为其他函数添加附加功能 原则:1.不能修改被装饰的函数源代码 2.不能修改被装饰的函数的调用 def test1(): pass def test2(): pass 这是两个函数想为两个函数添加打印功能,那就在写一个打印函数然后再调用 def logger(): print('logging') def test1(): pass logger() def test2(): pass logger()test1()test2() 装饰器通

学习python:day4

1.装饰器 定义:本质是函数,(装饰其他函数)就是为其他函数添加附加功能原则:1.不能修改被装饰的函数的源代码 2.不能修改被装饰的函数的调用方式实现装饰器知识储备:1,函数即变量2,高阶函数:a.吧一个函数名当做实参传给另一个函数 b.返回值中包含函数名 import timedef timer(func): def deco(*args,**kwargs): star_time = time.time() func(*args,**kwargs) stop_time = time.time(

(转载-学习)python wsgi 简介

基础知识 Python 知识 iterator 和 generator 函数的高级用法:嵌套函数,作为参数传递等等 了解 decorator 会对理解 wsgi 有很大的帮助 python 的 callable 概念 classmethod 和 staticmethod 的概念 web 编程的基础 HTTP 基础 对于 web 应用程序来说,最基本的概念就是客户端发送请求(request),收到服务器端的响应(response). 下面是简单的 HTTP 请求: GET /Index.html

Python关键字yield的解释(stackoverflow)

3.1. 提问者的问题 Python关键字yield的作用是什么?用来干什么的? 比如,我正在试图理解下面的代码: def node._get_child_candidates(self, distance, min_dist, max_dist): if self._leftchild and distance - max_dist < self._median: yield self._leftchild if self._rightchild and distance + max_dist