当谈论迭代器时,我谈些什么?

花下猫语:之前说过,我对于编程语言跟其它学科的融合非常感兴趣,但我还说漏了一点,就是我对于 Python 跟其它编程语言的对比学习,也很感兴趣。所以,我一直希望能聚集一些有其它语言基础的同学,一起讨论共通的语言特性间的话题。不同语言的碰撞,常常能带给人更高维的视角,也能触及到语言的根基,这个过程是极有益的。

这篇文章是群内 樱雨楼 小姐姐的投稿,她是我们学习群里的真·大佬,说到对 Python 的研究以及高阶知识的水平,无人能出其右(群里很多同学都被她实力圈粉啦)。除了 Python,她对 C++、Perl、Go 与 Fortran 等语言都有涉猎,本文主要是对比了 Python 与 C++,来深入谈谈迭代器。话不多说,请看正文。

樱雨楼 | 原创作者

豌豆花下猫 | 编辑润色

本文原创并首发于公众号【Python猫】,未经授权,请勿转载。

原文地址:https://mp.weixin.qq.com/s/Be4tHnR0BY-C__xoPPBjhQ

0 前言

迭代器(Iterator)是 Python 以及其他各种编程语言中的一个非常常见且重要,但又充满着神秘感的概念。无论是 Python 的基础内置函数,还是各类高级话题,都处处可见迭代器的身影。

那么,迭代器究竟是怎样的一个概念?其又为什么会广泛存在于各种编程语言中?本文将基于 C++ 与 Python,深入讨论这一系列问题。

1 什么是迭代器?我们为什么要使用迭代器?

什么是迭代器?当我初学 Python 的时候,我将迭代器理解为一种能够放在“for xxx in ...”的“...”位置的东西;后来随着学习的深入,我了解到迭代器就是一种实现了迭代器协议的对象;学习 C++ 时,我了解到迭代器是一种行为和指针类似的对象...

事实上,迭代器是一个伴随着迭代器模式(Iterator Pattern)而生的抽象概念,其目的是分离并统一不同的数据结构访问其中数据的方式,从而使得各种需要访问数据结构的函数,对于不同的数据结构可以保持相同的接口。

在很多讨论 Python 迭代器的书籍与文章中,我看到这样两种观点:1. 迭代器是为了节约数据结构所产生的内存;2. 遍历迭代器效率更高。

这两点论断都是很不准确的:首先,除了某些不定义在数据结构上的迭代器(如文件句柄,itertools 模块的 count、cycle 等无限迭代器等),其他迭代器都定义在某种数据结构上,所以不存在节约内存的优势;其次,由于迭代器是一种高度泛化的实现,其需要在每一次迭代器移动时都做一些额外工作(如 Python 需要不断检测迭代器是否耗尽,并进行异常监测;C++ 的 deque 容器需要对其在堆上用于存储的多段不连续内存进行衔接等),故遍历迭代器的效率一定低于或几乎接近于直接遍历容器,而不太可能高于直接遍历原容器。

综上所述,迭代器存在的意义,不是为了空间换时间,也不是为了时间换空间,而是一种适配器(Adapter)。迭代器的存在,使得我们可以使用同样的 for 语句去遍历各种容器,或是像 C++ 的 algorithm 模块所示的那样,使用同样的接口去处理各种容器。

这些容器可以是一个连续内存的数组或列表,或是一个多段连续内存的 deque,甚至是一个完全不连续内存的链表或是哈希表等等,我们完全不需要关注迭代器对于不同的容器究竟是怎么取得数据的。

2 C++中的迭代器

2.1 泛化指针

在 C++ 中,迭代器通过泛化指针(Generalized Pointer)的形式呈现。泛化指针与仿函数(Functor)的定义类似,其包含以下两种情况:

  1. 是一个真正的指针
  2. 不是指针,但重载了某些指针运算符(如“*,++,--,!=” 等),使得其行为和指针相似

根据泛化指针为了将其“伪装”成一个真正的指针从而重载的运算符的数量,迭代器被分为五种,如下文所示。

2.2 C++的迭代器分类

C++ 中,迭代器按照其所支持的行为被分为五类:

  1. 输入迭代器(Input Iterator):仅可作为右值(rvalue),不可作为左值(lvalue)。可以进行比较(“== 与 !=”)
  2. 输出迭代器(Output Iterator):仅可作为左值,不可作为右值
  3. 前向迭代器(Forward Iterator):支持一切输入迭代器的操作,以及单步前进操作(++)
  4. 双向迭代器(Bidirectional Iterator):支持一切前向迭代器的操作,以及单步后退操作(--)
  5. 随机访问迭代器(Random Access Iterator):支持一切双向迭代器操作,以及非单步双向移动操作

对于前向迭代器,双向迭代器,以及随机访问迭代器,如果其不存在底层 const(Low-Level Const)限定,则同时也支持一切输出迭代器操作。

2.3 迭代器适配器

C++ 中还存在一系列迭代器适配器,用于使得一些非迭代器对象的行为类似于迭代器,或修改迭代器的一些默认行为,大致包含如下几个类别:

  1. 插入迭代器(Insert Iterator):使得对迭代器左值的写入操作变为向容器中插入数据的操作,按插入位置的不同,可分为 front_insert_iterator,back_insert_iterator 和 insert_iterator
  2. 反向迭代器(Reverse Iterator):对调迭代器的移动方向。使得“+”操作变为向左移动,同时“-”操作变为向右移动(类似于 Python 的 reversed 函数)
  3. 移动迭代器(Move Iterator):使得对迭代器的取值变为右值引用(Rvalue Reference)
  4. 流迭代器(Stream Iterator):使流对象的行为适配迭代器(类似于 Python 的文件句柄)

3 Python中的迭代器

3.1 迭代器协议

在 Python 中,迭代器基于鸭子类型(Duck Type)下的迭代器协议(Iterator Protocol)实现。迭代器协议规定:如果一个类想要成为可迭代对象(Iterable Object),则其必须实现__iter__方法,且其返回值需要是一个实现了__next__方法的对象。即:实现了__iter__方法的类将成为可迭代对象,而实现了__next__方法的类将成为迭代器。

显然,__iter__方法是iter函数所对应的魔法方法,__next__方法是 next 函数所对应的魔法方法。

对于一个可迭代对象,针对“谁实现了__next__方法?”这一问题进行讨论,可将可迭代对象的实现分为两种情况:

  1. self 未实现__next__:如果__iter__方法的返回值就是一个 Iterator,则此时 self 即为一个可迭代对象。此时,self 将迭代操作“委托”到了另一个数据结构上。示例代码如下:
class SampleIterator:
    def __iter__(self):
        return iter(...)
  1. self 实现了__next__:如果__iter__方法返回 self,则说明 self 本身将作为迭代器,此时 self 本身需要继续实现__next__方法,以实现完整的迭代器协议。示例代码如下:
class SampleIterator:
    def __iter__(self):
        return self

    def __next__(self):
        # Not The End
        if ...:
            return ...
        # Reach The End
        else:
            raise StopIteration

此示例中可以看出,当迭代器终止时,通过抛出 StopIteration 异常告知 Python 迭代器已耗尽。

3.2 生成器

生成器(Generator)是 Python 特有的一组特殊语法,其主要目的为提供一个基于函数而不是类的迭代器定义方式。同时,Python 也具有生成器推导式,其基于推导式语法快速建立迭代器。生成器一般适用于需要创建简单逻辑的迭代器的场合。

只要一个函数的定义中出现了 yield 关键词,则此函数将不再是一个函数,而成为一个“生成器构造函数”,调用此构造函数即可产生一个生成器对象。

由此可见,如果仅讨论该语法本身,而不关心实现的话:生成器只是“借用”了函数定义的语法,实际上与函数并无关系(并不代表生成器的底层实现也与函数无关)。示例代码如下:

def SampleGenerator():
    yield ...
    yield ...
    yield ...

生成器推导式则更为简单,只需要将列表推导式的中括号换为小括号即可:

(... for ... in ...)

综上所述,生成器是 Python 独有的一类迭代器的特殊构造方式。生成器一旦被构造,其会自动实现完整的迭代器协议。

3.3 无限迭代器

itertools 模块中实现了三个特殊的无限迭代器(Infinite Iterator):count,cycle 以及 repeat,其有别于普通的表示范围的迭代器。如果对无限迭代器进行迭代将导致无限循环,故无限迭代器通常只可使用 next 函数进行取值。

关于无限迭代器的详细内容,可参阅 Python 文档。(注:旧文 Python进阶:设计模式之迭代器模式 也介绍过)

3.4 与C++迭代器的比较

经过上文的讨论可以发现,Python 只有一种迭代器,此种迭代器只能进行单向,单步前进操作,且不可作为左值。故 Python 的迭代器在 C++ 中应属于单向只读迭代器,这是一种很低级的迭代器。

此外,由于迭代器只支持单向移动,故一旦向前移动便不可回头,如果遍历一个已耗尽迭代器,则 for 循环将直接退出,且无任何错误产生,此种行为往往会产生一些难以察觉的 bug,实际使用时请务必注意。

综上所述,Python 对于迭代器的实现其实是高度匮乏的,应谨慎使用。

4 迭代器有效性

4.1 什么是迭代器有效性?

由于迭代器本身并不是独立的数据结构,而是指向其他数据结构中的值的泛化指针,故和普通指针一样,一旦指针指向的内存发生变动,则迭代器也将随之失效。

如果迭代器指向的数据结构是只读的,则显然,直到析构函数被调用,迭代器都不会失效。但如果迭代器所指向的数据结构在其存在时发生了插入或删除操作,则迭代器将可能失效。故讨论某个操作是否会导致指向容器的迭代器失效,是一个很重要的话题。

4.2 C++的迭代器有效性

由于 Python 中没有 C++ 的 list、deque 等数据结构实现,故本文只简单地讨论 vector 与 unordered_map 这两种数据结构的迭代器有效性。

对于 vector,由于其存在内存扩容与转移操作,故任何会潜在导致内存扩容的方法都将损坏迭代器,包括 push_back、emplace_back、insert、emplace 等。

unordered_map 与 vector 的情形类似,对 unordered_map 进行任何插入操作也将损坏迭代器。

4.3 Python的迭代器有效性

注:本节所讨论全部内容均基于实际行为进行猜想和推论,并没有经过对 Python 源代码的考察和验证,仅供读者参考。

4.3.1 尾插入操作不会损坏指向当前元素的List迭代器

考察如下代码:

numList = [1, 2, 3]
numListIter = iter(numList)
next(numListIter)

for i in range(1000000):
    numList.append(i)

# print 2
print(next(numListIter))

如果在 C++ 中对一个 vector 执行这么多次的 push_back,则指向第二个元素的迭代器一定早已失效。但在 Python 中可以看到,指向 List 的迭代器并未失效,其仍然返回了 2。

故可猜想:Python 对于 List 所产生的迭代器并不跟踪指向 List 元素的指针,而仅仅跟踪的是容器的索引值。

4.3.2 尾插入操作会损坏List尾迭代器

numList = [1,2]
numListIter = iter(numList)

# 1
next(numList)
numList.append(3)

# 2
next(numListIter)

# 3
print(next(numListIter))

首先,Python 不存在尾迭代器这一概念。但由上述代码可知,当迭代器所指向的 List 变长后,迭代器的终止点也随之变化,即:原先的尾迭代器将不再适用。

按照“迭代器仅跟踪元素索引值”这一推断,也能解释这一行为。

4.3.3 迭代器一旦耗尽,则将永久损坏

考察如下代码:

numList = [1,2]
numListIter = iter(numList)
for _ in numListIter:
    pass

numList.append(3)

# StopIteration
print(next(numListIter))

当完整的 for 一个迭代器后,迭代器将耗尽,在 C++ 中,这将导致头尾迭代器相等,但由上述代码可知, Python 的迭代器一旦耗尽,便不再可以使用,即使继续往容器中增加元素也不行。

由此可见, Python 的迭代器中可能存在某种用于指示迭代器是否被耗尽的标记,一旦迭代器被标记为耗尽状态,便永远不可继续使用了。

4.3.4 任何插入操作都将损坏Dict迭代器

考察如下代码:

numDict = {1:2}
numDictIter = iter(numDict)
numDict[3] = 4

# RuntimeError
next(numDictIter)

当对一个 Dict 进行插入操作后,原 Dict 迭代器将立即失效,并抛出 RuntimeError。这与 C++ 中的行为是一致的,且更为安全。

Set 与 Dict 具有相同的迭代器失效性质,不再重复讨论。

5 后记

迭代器的故事到这里就结束了。总的看来,Python 中的迭代器虽应用广泛,但并不是一种高级的,灵活的实现,且存在着一些黑魔法。 故唯有深入的去理解,才能真正的用好迭代器。祝编程愉快~

(花下猫注:鉴于有同学看完本文,可能想要加群交流,我补充两句。我们群虽然是免费群,但一直想走高质量的技术交流路线,因此既限制人数,也严审核。公众号菜单栏有我联系方式,感兴趣的同学欢迎查看了解。)

公众号【Python猫】, 本号连载优质的系列文章,有喵星哲学猫系列、Python进阶系列、好书推荐系列、技术写作、优质英文推荐与翻译等等,欢迎关注哦。

原文地址:https://www.cnblogs.com/pythonista/p/11094501.html

时间: 2024-10-29 03:10:20

当谈论迭代器时,我谈些什么?的相关文章

当我谈《王者荣耀》时我谈些什么

序言 2016/09/09是我入职xxx公司的第一天,进入xx项目组,6名成员,项目需求调研已结束-开发初期... 一.资源 一场游戏大多时候开始就能预测出来输赢了,怎么看的?选人啊!!做项目也是如此,成员元素的配置是项目能否长期持续顺利开展的重要因素之一.上图中诸葛亮输出爆发很高,但是5个诸葛亮在游戏中就很强了吗?这个吃技能及cd,皮脆的英雄对面一波卡技能间隙冲脸轻松干掉你...项目组中也是,在专业技能之外,性格因素,持续学习能力.沟通能力等也是资源配置中的重要指标. 二.规则.样板.复查 2

当我谈跑步时我谈些什么

经典语录 1.不管全世界所有人怎么说,我都认为自己的感受才是正确的.无论别人怎么看,我绝不打乱自己的节奏.喜欢的事自然可以坚持,不喜欢怎么也长久不了. 2.违背了自己定下的原则,哪怕只有一次,以后就将违背更多的原则. 3.我这个人是那种喜爱独处的性情,或说是那种不太以独处为苦的性情.每天有一两个小时跟谁都不交谈,独自跑步也罢,写文章也罢,我都不感到无聊.和与人一起做事相比,我更喜欢一个人默不作声地读书或全神贯注地听音乐.只需一个人做的事情,我可以想出许多来. 4.Pain is inevitab

狂想成真时,谈Silverlight 2.0

在几年前,我们刚接触网页开发时,曾经因为网页上操作的不便性,兴起了一个疯狂的念头,既然网页的不方便是来自于浏览器及网页标准,那我们何不自行开发一个浏览器,除了支持网页标准外,也支持执行我们自己写的程序呢? 狂想成真时,谈Silverlight 2.0 ? ?? 在几年前,我们刚接触网页开发时,曾经因为网页上操作的不便性,兴起了一个疯狂的念头,既然网页的不方便是来自于浏览器及网页标准,那我们何不自行开发一个浏览器,除了支持网页标准外,也支持执行我们自己写的程序呢? 当然,当时这只是几个工程师闲暇之

多研究些架构,少谈些框架

论微服务架构的核心概念 微服务架构和SOA区别 微服务现在辣么火,业界流行的对比的却都是所谓的Monolithic单体应用,而大量的系统在十几年前都是已经是分布式系统了,那么微服务作为新的理念和原来的分布式系统,或者说SOA(面向服务架构)是什么区别呢? 我们先看相同点: 需要Registry,实现动态的服务注册发现机制: 需要考虑分布式下面的事务一致性,CAP原则下,两段式提交不能保证性能,事务补偿机制需要考虑: 同步调用还是异步消息传递,如何保证消息可靠性?SOA由ESB来集成所有的消息:

【融云分析】当我们在谈通讯安全时,我们在谈些什么

当谈论通讯安全的时候,通常我们关心的是下面四个问题: 1)防止消息窃听 当传送的消息是机密内容的时,人们希望给消息加密.这样即使消息在传送过程中被截获,窃听者也无法确切的知道消息内容,从而达到保密的效果. 2)防止消息篡改 消息在传送过程中,有可能被***者篡改内容,这样接收者接到的就是错误的信息,通讯过程中应该提供某种方案防止篡改. 3)防止消息伪造 ***者假冒发送者的名义,给接收者发送消息,这种行为称为消息伪造. 4)防止否认 发送者事后否认自己发送过消息,需要有一种机制来防止这种情况发生

当我们在谈论技术时,技术的本质和价值究竟是什么?

过去几年,硅谷最喜欢的口号悄悄地从"不创新,毋宁死!"换成了"不改良,毋宁死!". 湾区文化中,改良意味着全套的技术解决方案,它兜售着一种人类理想主义,从而让这里的极客们更有抱负.更愿意相信一己之力可以推动经验创新.社会发展.这就好比鉴赏者和艺术家,二者对"结构性颠覆和改革"有着截然不同的认知感及行动力. 如今这种对"改革"的认知变化,也发生在最近一年的中国互联网公司身上.这篇文章,要讲的就是"改革背后的力量&quo

当我们谈论跳槽时在谈论什么

3月9号时,微信上突然收到一条消息: 公司给涨了几K工资,且答应让我自己完成公司的DLP的网络驱动--终于能锻炼了. 我一看,是原来在微信上向我咨询过职业选择问题的一个朋友. 当时他在微信里说,他喜欢做底层开发,可所在公司安排他做应用开发,他觉得没意思,学不到什么东西,担心将来没竞争力,想要跳槽去做自己喜欢的事情. 当时我考虑到他学历较差,劝他先工作几年涨涨经验,用经验和能力洗掉学历对自己的影响之后再跳槽.我的建议出于现实情况,是比较保守的.他犹豫着,觉得非离职不可. 后来他提到可以跟公司谈一下

微信产品经理教你做产品:少谈些主义,多做些需求

微信产品经理邹剑波围绕"需求",谈如何做好产品,他做产品经理的态度:做产品,要自己开心.以下是他的演讲要点提炼. 一.思考需求 1.需求的本质是动机,而不是需要. 如果有人提出,"我想要付钱,出现在附近的人的最顶部",其实他是寂寞了,想要获取关注.你给他一个功能"10块钱置顶",结果他花了10块钱置顶之后,他还是寂寞,因为他真正的问题是丑,所以他真正的需求是一款滤镜或者一个面具.置顶是他的需求么?不是,这是他的需要,他太丑,没有人找他,他本质的需

【拿来主义】当我们谈WEB缓存的时候,我们在谈些什么?

第一部分 Web缓存是什么 场景1:测试妹子测功能时会说为什么我的浏览器的显示乱七八糟,我的界面怎么跟别人浏览器上不一致?旁边的人会提醒说:清下缓存试试. 场景2:开发改了代码,上了环境,发现不生效,这时候首先就是清缓存,清了浏览器缓存发现还是不行,再检查,发现是反向代理缓存. 那么,当我们谈WEB缓存的时候,我们说的是什么?什么地方可以缓存?什么时候用什么缓存?使用不当会带来什么问题,我们怎么避免? 会不会傻傻分不清楚,那我们就来理一理,看看web缓存究竟是什么? 缓存:缓存就是把数据或者我们