理解 Python 的执行方式,与字节码 bytecode 玩耍 (下)

上次写到,Python 的执行方式是把代码编译成bytecode(字节码)指令,然后由虚拟机来执行这些 bytecode

而 bytecode 长成这个样子:  b‘|\x00\x00d\x01\x00\x14S‘ 。显然这个样子适合机器看,不适合人类看。

虽然你可以通过查字典的方式,手动把这段 bytecode 编写成人类可以看得懂的样子,

但是这么劳累的事情,为什么要自己亲手来做呢,让你的男仆机器来做不就好了吗。

Python 的反汇编工具 dis 就可以办到这件事。下面用绚丽的紫色来对dis.dis 的输出结果进行分列解释。

>>> def double(a):
    return a*2  # 并不知道为什么贴在这里缩进会是这样

>>> import dis
>>> dis.dis(double)
  2           0 LOAD_FAST                0 (a)
              3 LOAD_CONST               1 (2)
              6 BINARY_MULTIPLY
              7 RETURN_VALUE

上一篇文章的末尾已经解释过了,第2列的数字 0 3 6 7 是 bytecode 的偏移量。

第3列很好理解,都是opcode。注意这些 opcode 是给弱弱的人类看的,不是给机器看的,机器只要看b‘|\x00\x00d\x01\x00\x14S‘ 这种东西就行了),

比如第一个opcode, 大名叫做叫LOAD_FAST,查一下资料,发现它的意思是 Pushes a reference to the local co_varnames[var_num] onto the stack.

中文意思:把本地某个东西的引用压到栈里。

什么东西呢?那就是 co_varnames[var_num] 啦。

(内心OS: 看这形象似乎是列表或者字典,字符串不太可能,自定义对象更不可能……)

>>> double.__code__.co_varnames[0] # 第4列里的下标 0
‘a‘
>>> double.__code__.co_consts[1] # 第4列里的下标 1
2

上次讲过了:double 是函数对象 function object

double.__code__是这个函数对象的代码对象 code object

看看返回值,a 和2, 也就是第5列

那么第1列的2是什么?看起来好像很神秘的样子,其实不过是源代码中的行号。本例中表示是在double 代码的第2行。

上次详细解释过,b‘|\x00\x00d\x01\x00\x14S‘ 其实是8个整数

>>> double.__code__.co_code
b‘|\x00\x00d\x01\x00\x14S‘
>>> for i in  double.__code__.co_code:
    print (i, end="    ")

124    0    0    100    1    0    20    83    

通过查字典或者另一个更加巧妙正常的办法,你可以找出124代表的opcode是 LOAD_FAST,  100代表 LOAD_CONST

这类opcode 后面各带两个字节的参数,分别是0  0   和 1  0

但有些opcode后面是没有参数的,比如 83 代表的 RETURN_VALUE

不了解的人可能会觉得有点奇怪,为什么RETURN_VALUE不带参数呢,不带参数怎么返回结果呢?

查一查资料,RETURN_VALUE的意思是 Returns with TOS to the caller of the function. 即把TOS返回给这个函数的调用者。TOS= top of stack, 。咱出栈了。

现在问题来了:为什么要与字节码 bytecode 玩耍? 直接写Python代码方便多了,为什么要去写字节码?

因为可以节省编译时间,这里有一篇非常详细的文章,作者在遗传编程领域工作,发现他们Python 程序的总运算时间中,有50%都被编译过程吃掉。于是作者深入到 bytecode 层次进行了小小改动,大幅削减了编译时间,把总的运算时间降至不足原先的一半。

可惜没有找到这篇文章的中文翻译。不知道有没有人肯出钱让我翻译。

文中写道:

bytecode 写好之后,我们必须让Python 明白它要执行这些bytecode。这时就需要创建一个完整的 code object。

bytecode 是 code object 的主要成分,但是还需要其他东西才能构成完整的 code object。就像鸡丁是宫保鸡丁中的主要食材,但它也不能没有花生。

这个过程中要用到types.CodeType()

有了code object 之后,接下来可以调用Types.FunctionType,利用这些代码创建一个函数对象( function object)。

上一篇写了怎么抽丝剥茧,顺着function object 找 code object,再找 bytecode,这里就完全倒过来,添枝加叶,逆流而上了。

时间: 2024-08-26 11:28:53

理解 Python 的执行方式,与字节码 bytecode 玩耍 (下)的相关文章

Python 的执行方式,字节码 bytecode

这里有个博客讲 Python 内部机制,已经有一些中文翻译. 可能因为我用的Python 3.5,例子跑起来有些不一样. 此外,我又查了其他一些参考资料,总结如下: Python 的执行方式 先看一个比较详细的步骤分解: >>> a = "hello" 输入这行代码之后,你一按回车,Python就会执行四步操作: 1  lexing: 词法分析,就是把一个句子分解成 token.大致来说,就是用str.split()可以实现的功能. 2  parsing:解析,就是把

从底层理解Python的执行

摘要:是否想在Python解释器的内部晃悠一圈?是不是想实现一个Python代码执行的追踪器?没有基础?不要怕,这篇文章让你初窥Python底层的奥妙. [编者按]下面博文将带你创建一个字节码级别的追踪API以追踪Python的一些内部机制,比如类似YIELDVALUE.YIELDFROM操作码的实现,推式构造列表(List Comprehensions).生成器表达式(generator expressions)以及其他一些有趣Python的编译. 关于译者:赵斌, OneAPM工程师,常年使

Python 字节码bytecode

字节码bytecode dis模块是Python字节码反汇编器.通过反汇编支持Cpython的字节码分析. 前置知识 在看字节码之前,先要了解一下code object和frame object,它们在datamodel.html中有介绍 例子: >>> import dis >>> def hello(): ... print('Hello World!') ... >>> hello.__code__ <code object hello a

深入理解JVM虚拟机5:虚拟机字节码执行引擎

虚拟机字节码执行引擎 微信公众号[Java技术江湖]一位阿里 Java 工程师的技术小站.作者黄小斜,专注 Java 相关技术:SSM.SpringBoot.MySQL.分布式.中间件.集群.Linux.网络.多线程,偶尔讲点Docker.ELK,同时也分享技术干货和学习经验,致力于Java全栈开发!(关注公众号后回复”Java“即可领取 Java基础.进阶.项目和架构师等免费学习资料,更有数据库.分布式.微服务等热门技术学习视频,内容丰富,兼顾原理和实践,另外也将赠送作者原创的Java学习指南

深入理解java虚拟机(六)字节码指令简介

Java虚拟机指令是由(占用一个字节长度.代表某种特定操作含义的数字)操作码Opcode,以及跟随在其后的零至多个代表此操作所需参数的称为操作数 Operands 构成的.由于Java虚拟机是面向操作数栈而不是寄存器的架构,所以大多数指令都只有操作码,而没有操作数. 字节码指令集是一种具有鲜明特点.优劣势都很突出的指令集架构: 由于限定了Java虚拟机操作码的长度为1个字节,指令集的操作码不能超过256条.Class文件格式放弃了编译后代码中操作数长度对齐,这就意味者虚拟机处理那些超过一个字节数

java的字节码bytecode

字节码名字的由来 字节码以一个字节即8bit为最小单位储存:字节码是java程序编译后的结果:字节码是一组8位字节为基础单位的二进制流 Java从源文件到执行的过程. 如何阅读JAVA字节码 原文地址:https://www.cnblogs.com/shengulong/p/11711423.html

字节码执行方式--解释执行和JIT

此文已由作者赵计刚薪授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 1.两种执行方式: 解释执行(运行期解释字节码并执行) 强制使用该模式:-Xint 编译为机器码执行(将字节码编译为机器码并执行,这个编译过程发生在运行期,称为JIT编译) 强制使用该模式:-Xcomp,下面是两种编译模式 client(即C1):只做少量性能开销比高的优化,占用内存少,适用于桌面程序. server(即C2):进行了大量优化,占用内存多,适用于服务端程序.会收集大量的运行时信息. 注意

python字节码(转)

了解 Python 字节码是什么,Python 如何使用它来执行你的代码,以及知道它是如何帮到你的. 如果你曾经编写过 Python,或者只是使用过 Python,你或许经常会看到 Python 源代码文件--它们的名字以 .py 结尾.你可能还看到过其它类型的文件,比如以 .pyc 结尾的文件,或许你可能听说过它们就是 Python 的 "字节码bytecode" 文件.(在 Python 3 上这些可能不容易看到 -- 因为它们与你的 .py 文件不在同一个目录下,它们在一个叫 _

通过字节码分析JDK8中Lambda表达式编译及执行机制

关于Lambda字节码相关的文章,很早之前就想写了,[蜂潮运动]APP 产品的后端技术,能快速迭代,除了得益于整体微服架构之外,语言层面上,也是通过Java8的lambda表达式的运用以及rxJava响应式编程框架,使代码更加简洁易维护,调用方式更加便捷.本文将介绍JVM中的方法调用相关的字节码指令,重点解析JDK7(JSR-292)之后新增的invokedynamic指令给lambda表达式的动态调用特性提供的实现机制,最后再探讨一下lambda性能方面的话题. 方法调用的字节码指令 在介绍i