啊哈,yield

文章出处:http://www.cnblogs.com/winstic/,请保留此连接

在python编程中,我们经常会看到函数中带有yield关键字,但请注意,此时的函数不再是我们熟知的一般函数,而是所谓的generator(生成器)



生成器

  对于生成器,可以对比于列表来看,我们在循环代码中经常会使用range()产生一个list对象,继而在for循环下依次遍历,

for i in range(1000):
    print i

  或者是使用列表生成式生成一个list对象:

[x * x for x in range(1000)]

  这么做确实很方便,但这有个很大的缺点,我们所生产的list对象在程序运行过程中是存放在内存中的,占用内存大小与list规模有关,若要在编程时控制内存的占用,最好不要使用list。

  相比于list对象对内存的占用,generator有很大的优势,generator保存的是算法,不会生成所有的元素,而只是在调用next()时产生一个元素,很好的优化了内存占用的问题,可以通过next方法访问数据,当没有数据时会自动抛出StopIteration异常

>>> gener = (x * x for x in [1, 2, 3])
>>> g = (x * x for x in [1, 2, 3])
>>> g
<generator object <genexpr> at 0x02534968>
>>> g.next()
1
>>> g.next()
4
>>> g.next()
9
>>> g.next()

Traceback (most recent call last):
  File "<pyshell#16>", line 1, in <module>
    g.next()
StopIteration
>>> 

  这么做的话难免有些繁琐,还好在for循环中会帮我们实现next方法的调用也可以这么实现

>>> for i in g:
    print i


yield 初体验

  以上所实现的generator只是规律十分简单的,这很好实现,只需要类似于列表生成式的简单语法即可,那么对于其他的数列计算如何实现呢,例如斐波那契数列,它的定义虽然简单:除第一、二个数据外,所有的数据均是其前两个数据之和;如果我们通过一般函数实现,无疑当数列规模很大时,占用大量内存

>>> def fib(N):
    n, a, b = 0, 0, 1
    while n < N:
        print b
        a, b = b, a + b
        n = n + 1

  那么如何将上述方法转换为generator加以实现呢,很简单,只需要将print b 替换为yield b即可,我们可以试一下:

>>> def fib(N):
    n, a, b = 0, 0, 1
    while n < N:
        yield b
        a, b = b, a + b
        n = n + 1

>>> fib(5)
<generator object fib at 0x02530F80>
>>> for i in fib(5):
    print i

1
1
2
3
5

  加了yield关键字后的函数是如何执行的呢,不应该说是函数,这时应该称为generator;我们调用fib(5)并不会执行函数,而是返回一个generator对象,真正的执行是在调用next方法(for循环中自动调用next()),每次循环都会执行fib内的代码,遇到yield则返回一个迭代值(类似于中断);在下次循环时执行yield的下一语句,直至遇到下一个yield。



yield 协程

  协程(coroutine)也叫微线程,相比于多线程更为高效,因为协程是多个程序在一个线程中执行,没有线程间切换的开销;同时在协程中不需要加锁机制,因为在一个线程中不存在变量冲突问题。

  例如经典问题(生产者-消费者问题)就可以使用协程机制实现,相比于多线程更为高效

def consumer():
    r = ‘‘
    while True:
        n = yield r
        if not n:
            return
        print ‘consumer %s‘ % n
        r = ‘OK‘

def produce(c):
    c.next()
    n = 0
    while n < 5:
        n = n + 1
        print ‘produce %s‘ % n
        r = c.send(n)
        print ‘consumer return %s‘ % r
    c.close()

if __name__ == ‘__main__‘:
    c = consumer()
    produce(c)

produce 1
consumer 1
consumer return OK
produce 2
consumer 2
consumer return OK
produce 3
consumer 3
consumer return OK
produce 4
consumer 4
consumer return OK
produce 5
consumer 5
consumer return OK

执行结果

  在上述代码中,consumer是一个生成器,执行过程中首先通过consumer产生generator对象c,

  我们在执行到produce(c)的next方法时,才切换到生成器函数consumer中执行,

  在consumer中遇到yield中断,又切回到produce中

  在produce中的c.send(n):主要干两件事:1.将n添加到生成器中,2.返回下一个yield值(return next());所以当我们运行到send方法时,内含next机制进而切换到consumer函数中执行(传入参数n),得到返回值‘OK‘(在下一个yield中返回)

  。。。。。

  最后在produce中关闭迭代器c.close()

参考:         http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/0013868328689835ecd883d910145dfa8227b539725e5ed000



总结:

  1. 在generator中不同于一般函数,调用方法名不会执行,只会返回一个generator对象,只有在调用next方法时才会执行
  2. 一个函数中加入yield则变为generator,函数执行到yield时中断,下次迭代时定位到yield的下一条语句;yield还常用于文件的读取,用read()会造成不可预测的内存占用问题,而使用yield可以实现内存只存储每次迭代过程中固定的size
时间: 2024-10-17 09:13:16

啊哈,yield的相关文章

关于Python中的yield

关于Python中的yield http://www.cnblogs.com/tqsummer/archive/2010/12/27/1917927.html http://www.ibm.com/developerworks/cn/opensource/os-cn-python-yield/ 一.迭代器(iterator) 在Python中,for循环可以用于Python中的任何类型,包括列表.元祖等等,实际上,for循环可用于任何“可迭代对象”,这其实就是迭代器 迭代器是一个实现了迭代器协议

ruby yield 关键字用法实例

yield关键字我是这样理解,用它来占一个位置,先标记下这个地方将来要写代码的,等到调用的时候,再来编写具体的代码.有点像函数指针,或者C#里的委托,但其实并不太一样. 写测试接口的时候,每次的assert返回值不一样,但函数体大部分是相同的,只有参数不同.正好最近看到了yield,就熟悉一下用法,可以把assert这部分code写在yield 的位置. 例子主要就是test_nodes这个函数的定义 和 它的调用. Code: 1 def generate_nodes(n=3) 2 retur

lua协程一则报错解决“attempt to yield across metamethod/C-call boundary”

问题 attempt to yield across metamethod/C-call boundary 需求跟如下帖子中描述一致: http://bbs.chinaunix.net/forum.php?mod=viewthread&action=printable&tid=4065715 模拟一个场景,在C中创建出coroutine来执行Lua脚本,并且提供C API给Lua使用,当某些操作可能会阻塞时(如网络I/O),C函数中执行yield将协程切换出去,然后未来的某个时刻,如果条件

yield生成器及字符串的格式化

一.生成器 1 def ran(): 2 print('Hello world') 3 yield 'F1' 4 5 print('Hey there!') 6 yield 'F2' 7 8 print('goodbye') 9 yield 'F3' 10 11 ret = ran() # ran()称为生成器函数,ret才是生成器,仅仅具有一种生成能力,函数内部要有关键字yield 12 print(ret) 13 14 res = ret.__next__() #对生成器进行循环操作,遇到y

利用 Python yield 创建协程将异步编程同步化

在 Lua 和 Python 等脚本语言中,经常提到一个概念: 协程.也经常会有同学对协程的概念及其作用比较疑惑,本文今天就来探讨下协程的前世今生. 首先回答一个大家最关心的问题:协程的好处是什么? 通俗易懂的回答: 让原来要使用 异步 + 回调 方式写的非人类代码,可以用看似同步的方式写出来. 1.回顾同步与异步编程 同步编程即线性化编程,代码按照既定顺序执行,上一条语句执行完才会执行下一条,否则就一直等在那里. 但是许多实际操作都是CPU 密集型任务和 IO 密集型任务,比如网络请求,此时不

sleep、yield和join

(1)sleep和yield都是Thread类的静态方法,都会使当前处于运行状态的线程放弃CPU,但两者的区别在于: sleep给其它线程运行的机会,但不考虑其它线程的优先级:但yield只会让位给相同或更高优先级的线程: 当线程执行了sleep方法后,将转到阻塞状态,而执行了yield方法之后,则转到就绪状态: sleep方法有可能抛出异常,而yield则没有: 在一般情况下,我们更建议使用sleep方法. (2)join方法用于等待其它线程结束,当前运行的线程可以调用另一线程的join方法,

python yield

http://www.jb51.net/article/15717.htm  这里还不错 只是粗略的知道yield可以用来为一个函数返回值塞数据,比如下面的例子: def addlist(alist):    for i in alist:        yield i + 1 取出alist的每一项,然后把i + 1塞进去.然后通过调用取出每一项: alist = [1, 2, 3, 4]for x in addlist(alist):    print x, 这的确是yield应用的一个例子

php5.5新特性之yield理解

今天,在阅读别人代码时,其中出现了一个陌生的关键字yield,想一探究竟,于是找到:http://php.net/manual/zh/language.generators.overview.php yield生成器是php5.5之后出现的,yield提供了一种更容易的方法来实现简单的迭代对象,相比较定义类实现 Iterator 接口的方式,性能开销和复杂性大大降低. yield生成器允许你 在 foreach 代码块中写代码来迭代一组数据而不需要在内存中创建一个数组. 使用示例: /** *

C# yield return用法

本文实例讲述了C#中yield return用法,并且对比了使用yield return与不使用yield return的情况,以便读者更好的进行理解.具体如下: yield关键字用于遍历循环中,yield return用于返回IEnumerable<T>,yield break用于终止循环遍历. 有这样的一个int类型的集合: ? 1 2 3 4 static List<int> GetInitialData() {   return new List<int>(){

python学习第十节(yield表达式的应用+内置函数)

上节复习 yield表达式g.send(1)send函数是相当于next并且给yield传一个值,先传值,再next 加上装饰器 yield表达式的应用 第一个是当前目录的地址第二个是当前目录下的目录第三个是当前目录下的文件再次next(g)就可以查看当前目录下第一个目录下的信息 ##############下面是更改版本##################### 内置函数all() 所有为true才为trueany() 只要有true 就为truebin()十进制转为2进制oct()十进制转为