核心知识点：
（1）当输入的数据量较大时，列表推导可能会因为占用太多内存而出问题。
（2）由生成器表达式所返回的迭代器，可以逐次产生输出值，从而避免内存用量问题。
（3）把某个生成器表达式所返回的迭代器，放在另一个生成器表达式的for子表达式中，即可将二者结合起来。
（4）串在一起的生成器表达式执行速度很快。
列表推导式的缺点是：在推导过程中，对于输入序列中的每个值来说，可能都要创建仅含一项元素的全新列表。
当输入的数据比较少时，不会出任何问题，但如果输入的数据非常多，那么可能会消耗大量内存，并导致程序崩溃。
所有的for循环都是将文件的内容依次读入到内存中。
例如，要读取一份文件并返回每行的字符数。若是采用列表推导来做，则需要把文件每一行的长度都保存在内存中。
如果这个文件特别大，或是通过无休止的network socket（网络套接字）来读取，那么这种列表推导就会出问题。
下面的这段列表推导代码，只适合处理少量的输入值。
[[email protected] tmp]# cat /tmp/my_file.txt systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin dbus:x:81:81:System message bus:/:/sbin/nologin polkitd:x:998:996:User for polkitd:/:/sbin/nologin tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin postfix:x:89:89::/var/spool/postfix:/sbin/nologin sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin chrony:x:997:995::/var/lib/chrony:/sbin/nologin cx:x:1000:1000:cx:/home/cx:/bin/bash mysql:x:1001:1001::/home/mysql:/sbin/nologin
原文件比较小还好
>>> value = [len(x) for x in open(‘/tmp/my_file.txt‘)] >>> print(value) [62, 69, 48, 51, 100, 50, 67, 48, 37, 45]
为了解决此问题，python提供了生成器表达式，它是对列表推导和生成器的一种泛化。
生成器表达式在运行的时候，并不会把整个输出序列都呈现出来，而是会估值为迭代器，这个迭代器每次可以根据生成器表达式产生一项数据。
把实现列表推导所用的那种写法放在一对圆括号中，就构成了生成器表达式。
下面给出的生成器表达式与刚才的代码等效，二者的区别在于，生成器表达式求值的时候，它会立刻返回一个迭代器，而不会深入处理文件中的内容。
>>> it = (len(x) for x in open(‘/tmp/my_file.txt‘)) >>> print(it) <generator object <genexpr> at 0x7f53a13fee60>
以刚才返回的那个迭代器为参数，逐次调用内置的next函数，即可使其按照生成器表达式来输出下一个值。
可以根据自己的需要，多次命令迭代器根据生成器表达式来生成新的值，而不用担心内存用量激增。
>>> print(next(it)) 62 >>> print(next(it)) 69
使用生成器表达式还有个好处，就是可以互相结合。
下面这行代码会把刚才那个生成器表达式所返回的迭代器用作另外一个生成器表达式的输入值。
>>> roots = ((x,x**0.5) for x in it)
外围的迭代器每次前进时，都会推动内部那个迭代器，这就产生了连锁效应，使得执行循环、评估条件表达式、对接输入和输出等逻辑都组合在了一起。
>>> print(next(roots)) (48, 6.928203230275509)
上面这种连锁生成器表达式，可以迅速在python中执行。
如果要把多种手法组合起来，以操作大批量的输入数据，那最好是用生成器表达式来实现。
只是要注意：由生成器表达式所返回的那个迭代器是有状态的，用过一轮之后，就不要反复使用了。
文章摘抄于Brett Slatkin的《编写高质量Python代码的59个有效方法》，仅作为个人学习使用，如有侵权请告知，将及时删除，如果觉得有益，请购买原版书籍，知识需要传递和支持，谢谢。