python生成器与迭代器

  • 生成器:
  • 用列表生成式生成一个列表

    [ i*2  for  i  in  range(10) ]

    这就是一个列表生成式。
    列表生成式使得创建列表代码变得简洁。但是,如果一个列表很大,这样创建就比较耗内存了。如果列表元素可以按照某种算法推算出来,那我们就可以在循环过程中不断推算出后续的元素,这样就不用创建一个完整的list。从而节省内存空间。在python中这种一边循环一边计算的机制,就称为生成器(generator)。

    要创建一个generator,有很多方法,第一种方法很简单,只需要把一个列表生成式的[]换成()就创建了一个generator。
    先写一个简单的生成器

    #!/usr/bin/env python
    # -- coding:utf-8 --
    # 列表生成式
    import datetime
    import time
    starttime1 = datetime.datetime.now()
    b = ( i*2 for i in  range(100000000) )
    for i in b:
        print i
        time.sleep(1)
    endtime1 = datetime.datetime.now()
    print (endtime1 - starttime1).seconds
    

    我起了一个1核1G的虚机,如果上述代码采用列表去循环程序直接OOM被killed了。但是我如果采用上述代码只会在程序启动的时候内存使用率偏高,之后几乎很少占用内存,这很明显就体现了生成器的优势。

    generator非常强大。如果推算的算法比较复杂,还可以用函数来实现。
    下面就来用生成器实现一个斐波那契数列。
    斐波那契数列:除了第一个和第二个数之外,任意一个数都是由前面两个数相加得到。在数学上,斐波纳契数列以如下被以递推的方法定义:F(1)=1,F(2)=1, F(n)=F(n-1)+F(n-2)(n>=3,n∈N*)
    1,1,2,3,5,8...

    def fibo(n):
        a,b = 0,1
        while n > 0:
            print b
            a,b = b,a+b
            n -= 1
    fibo(10)

    生成这样一个数列直接用类似列表生成式的方式就比较麻烦了,上述函数变成生成器只需要将print变成yield就可以了但是他将打印出来一个生成器而不是具体的数据,生成器是边计算边执行的它跟列表的不同之处就在于它只有一个next方法每一条数据都需要执行next方法才能得到。

    #!/usr/bin/env python
    def fibo(n):
        a,b = 0,1
        while n > 0:
            #print b
            yield b
            a,b = b,a+b
            n -= 1
    print fibo(10)
    f = fibo(10)
    print f.next()

    输出结果却跟上边的代码有所不同

    这里只打印了第一个元素,因为生成器是边计算边生成的,每调用一次next方法才会由下一个值。要遍历所有数据只要一个for循环即可:

    #!/usr/bin/env python
    def fibo(n):
        a,b = 0,1
        while n > 0:
            #print b
            yield b
            a,b = b,a+b
            n -= 1
    print fibo(10)
    f = fibo(10)
    for i in f:
        print i

    这个yield关键字,改变了原有的函数执行流程,函数是顺序执行,遇到return语句或者最后一行函数语句就返回。而变成generator的函数,在每次调用next()的时候执行,遇到yield语句返回,再次执行时从上次返回的yield语句处继续执行。

    2.迭代器:
    可以直接用于for循环的对象统称为可迭代对象:Iterable。
    一类是集合数据类型,如list、tuple、dict、set、str等;
    一类是generator,包括生成器和带yield的generator function。
    可以使用isinstance()判断一个对象是否是Iterable对象。

    >>> from collections import Iterable
    >>> isinstance([],Iterable)
    True
    >>>
    >>> isinstance({},Iterable)
    True
    >>> isinstance(‘abc‘, Iterable)
    True
    >>> isinstance((x for x in range(10)), Iterable)
    True
    >>> isinstance(10, Iterable)
    False
    >>>
    

    生成器不但可以作用于for循环,还可以被next()函数不断调用并返回下一个值,直到最后抛出StopIteration错误表示无法继续返回下一个值了。

    可以被next()函数调用并不断返回下一个值的对象称为迭代器:Iterator。

    可以使用isinstance()判断一个对象是否是Iterator对象:

    >>> from collections import Iterator
    >>>
    >>> isinstance((x for x in range(10)),Iterator)
    True
    >>> isinstance([],Iterator)
    False
    >>> isinstance({},Iterator)
    False
    >>> isinstance(‘abc‘, Iterator)
    False
    >>>
    

    生成器都是Iterator对象,但list、dict、str虽然是Iterable,却不是Iterator。

    把list、dict、str等Iterable变成Iterator可以使用iter()函数:

    >>> isinstance(iter([]), Iterator)
    True
    >>> isinstance(iter(‘abc‘), Iterator)
    True

    为什么list、dict、str等数据类型不是Iterator?
    这是因为Python的Iterator对象表示的是一个数据流,Iterator对象可以被next()函数调用并不断返回下一个数据,直到没有数据时抛出StopIteration错误。可以把这个数据流看做是一个有序序列,但我们却不能提前知道序列的长度,只能不断通过next()函数实现按需计算下一个数据,所以Iterator的计算是惰性的,只有在需要返回下一个数据时它才会计算。
    参考链接:https://www.liaoxuefeng.com/wiki/1016959663602400/1017323698112640

    原文地址:https://blog.51cto.com/14244213/2412461

    时间: 2024-10-10 13:59:48

    python生成器与迭代器的相关文章

    Python生成器、迭代器、装饰器

    Python迭代器 迭代器是访问集合内元素的一种方式.迭代器对象从集合的第一个元素开始访问,直到所有的元素都被访问一遍后结束. 迭代器不能回退,只能往前进行迭代.这并不是什么很大的缺点,因为人们几乎不需要在迭代途中进行回退操作. 常用的迭代方法有 .next()方法 for..in..方法 迭代器通俗的理解就是遍历集合内的所有元素 python生成器 这里先说简单的使用,然后再说自己创建生成器 range:生成一个list range(1,5)结果为:[1,2,3,4] xrange:生成一个x

    python 生成器和迭代器有这篇就够了

    本节主要记录一下列表生成式,生成器和迭代器的知识点 列表生成器 首先举个例子 现在有个需求,看列表 [0,1,2,3,4,5,6,7,8,9],要求你把列表里面的每个值加1,你怎么实现呢? 方法一(简单): info = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] b = [] # for index,i in enumerate(info): # print(i+1) # b.append(i+1) # print(b) for index,i in enumerate(in

    python生成器和迭代器

    本节主要记录一下列表生成式,生成器和迭代器的知识点 列表生成器 首先举个例子 现在有个需求,看列表 [0,1,2,3,4,5,6,7,8,9],要求你把列表里面的每个值加1,你怎么实现呢? 方法一(简单): info = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] b = [] # for index,i in enumerate(info): # print(i+1) # b.append(i+1) # print(b) for index,i in enumerate(in

    python 生成器和迭代器

    迭代器协议 1.迭代器协议是指:对象必须提供一个next方法,执行该方法要么返回迭代中的下一项,要么就引起一个Stoplteration异常,以终止迭代(只能往后走不能往前退) 2.可迭代对象:实现了迭代器协议的对象(如何实现:对象内部定义一个__iter__()方法) 3.协议是一种约定,可迭代对象实现了迭代器协议,python的内部工具(如for循环,sum,min,max函数等)使用迭代器协议访问对象. 迭代:重复做一件事 iterable(可迭代)对象 支持每次返回自己所包含的一个成员的

    python 生成器和迭代器介绍

    在正式接触生成器之前,我们先来了解一些概念 容器(container) 容器是一种把多个元素组织在一起的数据结构,容器中的元素可以逐个迭代获取,可以用in.not in关键字判断元素是否包含在容器中.通常这类数据结构把所有的元素存储在内存中(也有一些特殊的存在). Python中常见的容器对象: list ,deque, ... set, frozensets, ... dict, defaultdict, OrderedDict, Counter, ... tuple, nametuple,

    Python生成器、迭代器、可迭代对象

    把一个列表[]改成()就创建了一个生成器:generator,generator保存的是算法. 可以用于for循环的数据类型:1.集合类型:list tuple dict set str2.generator 可以直接作用于for循环的对象统称为:可迭代对象(Iterable) from collections import Iterable print(isinstance([],Iterable)) print(isinstance({},Iterable)) print(isinstanc

    python生成器及迭代器

    一.迭代器 迭代器是访问集合元素的一种方式 迭代器是一个可以记住遍历的位置的对象. 迭代器对象从集合的第一个元素开始访问,直到所有的元素被访问完结束.迭代器只能往前不会后退. 迭代器有两个基本的方法:iter() 和 next() 字符串,列表或元组对象都可用于创建迭代器 特点: 访问者不需要关心迭代器内部的结构,仅需通过next()方法不断去取下一个内容 不能随机访问集合中的某个值 ,只能从头到尾依次访问 访问到一半时不能往回退 便于循环比较大的数据集合,节省内存 >>> li = [

    Python 生成器&迭代器

    Python 生成器 带有 yield 的函数在 Python 中被称之为 generator(生成器),用斐波那契数列: def fab(max):     n, a, b = 0, 0, 1     while n < max:         yield b         a, b = b, a + b         n = n + 1 执行: 1 2 3 4 5 6 7 8 9 >>> for n in fab(5):     print n 1 1 2 3 5 简单地

    Python之路【第六篇】:Python基础(22)——生成器和迭代器

    迭代器 迭 代器是访问集合元素的一种方式.迭代器对象从集合的第一个元素开始访问,直到所有的元素被访问完结束.迭代器只能往前不会后退,不过这也没什么,因为人们 很少在迭代途中往后退.另外,迭代器的一大优点是不要求事先准备好整个迭代过程中所有的元素.迭代器仅仅在迭代到某个元素时才计算该元素,而在这之前或之 后,元素可以不存在或者被销毁.这个特点使得它特别适合用于遍历一些巨大的或是无限的集合,比如几个G的文件. 特点: 访问者不需要关心迭代器内部的结构,仅需通过__next()__(Python2.x