一 生成器初探
什么是生成器?
可以理解为一种数据类型,这种数据类型自动实现了迭代器协议(其他的数据类型需要调用自己内置的__iter__方法),所以生成器就是可迭代对象
生成器分类及在python中的表现形式:(Python有两种不同的方式提供生成器)
1.生成器函数:常规函数定义,但是,使用yield语句而不是return语句返回结果。yield语句一次返回一个结果,在每个结果中间,挂起函数的状态,以便下次重它离开的地方继续执行
2.生成器表达式:类似于列表推导,但是,生成器返回按需产生结果的一个对象,而不是一次构建一个结果列表
为何使用生成器之生成器的优点
Python使用生成器对延迟操作提供了支持。所谓延迟操作,是指在需要的时候才产生结果,而不是立即产生结果。这也是生成器的主要好处。
生成器小结:
1.是可迭代对象
2.实现了延迟计算,省内存啊
3.生成器本质和其他的数据类型一样,都是实现了迭代器协议,只不过生成器附加了一个延迟计算省内存的好处,其余的可迭代对象可没有这点好处!
二 生成器表达式和列表解析
#三元表达式 name=‘alex‘ name=‘linhaifeng‘ res=‘SB‘ if name == ‘alex‘ else ‘shuai‘ print(res)
总结:
1.把列表解析的[]换成()得到的就是生成器表达式
2.列表解析与生成器表达式都是一种便利的编程方式,只不过生成器表达式更节省内存
3.Python不但使用迭代器协议,让for循环变得更加通用。大部分内置函数,也是使用迭代器协议访问对象的。例如, sum函数是Python的内置函数,该函数使用迭代器协议访问对象,而生成器实现了迭代器协议,所以,我们可以直接这样计算一系列值的和:
1 sum(x ** 2 for x in xrange(4))
而不用多此一举的先构造一个列表:
1 sum([x ** 2 for x in xrange(4)]
三 生成器总结
综上已经对生成器有了一定的认识,下面我们以生成器函数为例进行总结
- 语法上和函数类似:生成器函数和常规函数几乎是一样的。它们都是使用def语句进行定义,差别在于,生成器使用yield语句返回一个值,而常规函数使用return语句返回一个值
- 自动实现迭代器协议:对于生成器,Python会自动实现迭代器协议,以便应用到迭代背景中(如for循环,sum函数)。由于生成器自动实现了迭代器协议,所以,我们可以调用它的next方法,并且,在没有值可以返回的时候,生成器自动产生StopIteration异常
- 状态挂起:生成器使用yield语句返回一个值。yield语句挂起该生成器函数的状态,保留足够的信息,以便之后从它离开的地方继续执行
优点一:生成器的好处是延迟计算,一次返回一个结果。也就是说,它不会一次生成所有的结果,这对于大数据量处理,将会非常有用。
1 #列表解析 2 sum([i for i in range(100000000)])#内存占用大,机器容易卡死 3 4 #生成器表达式 5 sum(i for i in range(100000000))#几乎不占内存
优点二:生成器还能有效提高代码可读性
1 #求一段文字中,每个单词出现的位置 2 def index_words(text): 3 result = [] 4 if text: 5 result.append(0) 6 for index, letter in enumerate(text, 1): 7 if letter == ‘ ‘: 8 result.append(index) 9 return result 10 11 print(index_words(‘hello alex da sb‘))
#求一段文字中每个单词出现的位置 def index_words(text): if text: yield 0 for index, letter in enumerate(text, 1): if letter == ‘ ‘: yield index g=index_words(‘hello alex da sb‘) print(g) print(g.__next__()) print(g.__next__()) print(g.__next__()) print(g.__next__()) print(g.__next__())#报错
这里,至少有两个充分的理由说明 ,使用生成器比不使用生成器代码更加清晰:
- 使用生成器以后,代码行数更少。大家要记住,如果想把代码写的Pythonic,在保证代码可读性的前提下,代码行数越少越好
- 不使用生成器的时候,对于每次结果,我们首先看到的是result.append(index),其次,才是index。也就是说,我们每次看到的是一个列表的append操作,只是append的是我们想要的结果。使用生成器的时候,直接yield index,少了列表append操作的干扰,我们一眼就能够看出,代码是要返回index。
这个例子充分说明了,合理使用生成器,能够有效提高代码可读性。只要大家完全接受了生成器的概念,理解了yield语句和return语句一样,也是返回一个值。那么,就能够理解为什么使用生成器比不使用生成器要好,能够理解使用生成器真的可以让代码变得清晰易懂。
注意事项:生成器只能遍历一次(母鸡一生只能下一定数量的蛋,下完了就死掉了)
1 人口信息.txt文件内容 2 {‘name‘:‘北京‘,‘population‘:10} 3 {‘name‘:‘南京‘,‘population‘:100000} 4 {‘name‘:‘山东‘,‘population‘:10000} 5 {‘name‘:‘山西‘,‘population‘:19999} 6 7 def get_provice_population(filename): 8 with open(filename) as f: 9 for line in f: 10 p=eval(line) 11 yield p[‘population‘] 12 gen=get_provice_population(‘人口信息.txt‘) 13 14 all_population=sum(gen) 15 for p in gen: 16 print(p/all_population) 17 执行上面这段代码,将不会有任何输出,这是因为,生成器只能遍历一次。在我们执行sum语句的时候,就遍历了我们的生成器,当我们再次遍历我们的生成器的时候,将不会有任何记录。所以,上面的代码不会有任何输出。 18 19 因此,生成器的唯一注意事项就是:生成器只能遍历一次。