Python 字节码bytecode

字节码bytecode

python把源码文件编译成字节码文件，存放在__pycahe子目录内，用.pyc结尾。之后如果不再修改源码文件，运行时则使用*.pyc文件编译成机器码，这样不但运行速度快，而且支持多个操作系统。

字节码，其实就是一种中间代码。

前置知识

在看字节码之前，先要了解一下code object。它们在datamodel.html中有介绍

例子：

>>> import dis
>>> def hello():
...     print('Hello World!')
...
>>> hello.__code__
<code object hello at 0x1066683a0, file "<stdin>", line 1>

__code__属性显示了编译后的函数体the compiled function body, 它是一个code object。

code object 代码对象

code模块中的code类产生code对象。

>>> type(hello.__code__)
<class 'code'> 

code object一个python的内部类型。即解释器内部使用的类型。也称为bytecode。

它是python把源码编译成字节码时，创建的代码对象。

code类有多个个data attributes（实例变量），其中：

• co_consts  为一个包含字节码所使用的字面值的元组。如果code object代表一个函数，这个属性的第一项是函数的文档字符串。
• co_varnames 为一个包含局部变量名称的元组。
• 'co_names': <member 'co_names' of 'code' objects> 在函数体内引用的非本地name的tuple

详细介绍见：https://docs.python.org/3/reference/datamodel.html#object.__repr__

例子：

>>> hello.__code__.co_consts
(None, 'Hello World!')
 
>>> hello.__code__.co_varnames
()
>>> hello.__code__.co_names
('print',)

dis模块

使用上面的hello()函数。用dis.dis()方法, 它返回字节码操作的格式化试图。

>>> dis.dis("hello()")
  1           0 LOAD_NAME                0 (hello)
              2 CALL_FUNCTION            0
              4 RETURN_VALUE
>>>

>>> dis.dis(hello)
  2           0 LOAD_GLOBAL              0 (print)
              2 LOAD_CONST               1 ('Hello World!')
              4 CALL_FUNCTION            1
              6 POP_TOP
              8 LOAD_CONST               0 (None)
             10 RETURN_VALUE

解释：

dis 模块为 Python 字节码提供了一个 “反汇编”，它可以让你更容易地得到一个人类可读的版本，以及查找各种字节码指令。

这是因为字节码是--非人类可读格式的字节。通过dis模块，就可以理解字节码。

dis.dis(hello)会在函数hello被编译之前，返汇编它：

• 例子中，做左边的数字2代表编译该字节码的源代码中的行号。
• 左边列中的数字是字节码中指令的偏移量（）/也称为索引，即指令xxx所在位置。⚠️见本文底部例子的解释。
• 右边的数字是字节码指令的参数，数字后面实际的参数，⚠️见本文底部例子。

本例子：

• LOAD_GLOBAL(namei)加载名称为 co_names[namei] 的全局对象推入栈顶。
  • 本例子：因为hello.__code__.co_names是（'print', ），所以就是把print函数对象推入栈顶。
• LOAD_CONST(consti) 将co_consts[consti]推入栈顶。
  • 本例子：将'Hello World!'这个字符串常量推入栈顶。
• CALL_FUNCTION(argc)  Calls a callable object with positional arguments.
  • “计算栈”的顶端就包括所有的位置参数。从栈中弹出所有的参数和可调用对象，
  • 然后把参数传入对象并调用对象，最后把返回的值推入栈。
    • ⚠️具体涉及到frame的生命周期和call stack的知识（尚未理解）
• POP_TOP  移除栈顶（Top-of-Stack）的项目
• LOAD_CONST(consti) 本例子是将None推入栈。因为没有指定函数的返回值，所以默认返回None。
• RETURN_VALUE  把栈顶的值返回到the caller of the function。

了解字节码的用处

1. 了解字节码，可以帮助理解python的运行模型。通过python字节码，可以知道如何更好的写和优化源码。
2. 理解字节码可以帮助你更好回答一些疑惑：比如，为什么 {} 比 dict() 快？ 这是因为执行代码的过程有区别，通过dis.dis("{}")和dis.dis("dict()")就明白了。
3. 理解字节码和Python如何运行它，就会理解面向栈的编程。有助开拓视野。

延伸：

• Python 虚拟机内幕，它是 Obi Ike-Nwosu 写的一本免费在线电子书，它深入 Python 解析器，解释了 Python 如何工作的细节。
• 一个用 Python 编写的 Python 解析器，它是由 Allison Kaptur 写的一个教程，它是用 Python 构建的 Python 字节码解析器，并且它实现了运行 Python 字节码的全部构件。
• 最后，CPython 解析器是一个开源软件，你可以在 GitHub 上阅读它。它在文件 Python/ceval.c 中实现了字节码解析器。这是 Python 3.6.4 发行版中那个文件的链接；字节码指令是由第 1266 行开始的 switch 语句来处理的。

本文摘录：https://zhuanlan.zhihu.com/p/39259061

知识点补充

例子1

>>> dis.opname[0x65]
'LOAD_NAME'
>>> dis.opname[101]
'LOAD_NAME' 

解释:

dis.opname会获得一个list，索引101对应的是一个字符串"LOAD_NAME"。

>>> dis.opmap['LOAD_NAME']
101

dis.opmap得到一个dict, 映射操作名称到字节码mapping operation names to bytecodes， 索引'LOAD_NAME'的值是十进制数字101。

101是一个十进制的字节码，对应的是"LOAD_NAME"

例子2

>>> x = dis.Bytecode(hello)
>>> x
Bytecode(<function hello at 0x106594b80>)
>>> for instr in x:
...     print(instr.opname)
...
LOAD_GLOBAL
LOAD_CONST
CALL_FUNCTION
POP_TOP
LOAD_CONST
RETURN_VALUE

解释：

把函数hello分析为一个Bytecode对象。然后打印它内部的所有字节码的对应的人类可读的operation name。

其实就是dis.dis(hello)中的第3列。

>>> for instr in x:
...     print(instr.opcode)
...
116
100
131
1
100
83

使用opcode打印出对应的字节码。116(这是十进制)对应LOAD_GLOBAL。

>>> hello.__code__
<code object hello at 0x1066683a0, file "<stdin>", line 1>
>>> hello.__code__.co_code
b't\x00d\x01\x83\x01\x01\x00d\x00S\x00'
>>> list(hello.__code__.co_code)
[116, 0, 100, 1, 131, 1, 1, 0, 100, 0, 83, 0]
>>> dis.opname[116]
'LOAD_GLOBAL'
>>> dis.dis(hello)
  2           0 LOAD_GLOBAL              0 (print)
              2 LOAD_CONST               1 ('Hello World!')
              4 CALL_FUNCTION            1
              6 POP_TOP
              8 LOAD_CONST               0 (None)
             10 RETURN_VALUE
>>> dis.opname[1]
'POP_TOP'

由此可知dis.dis的第2列数字其实是把字节码list化后的索引。最右边那一列的数字其实就是字节码的参数。

小结：

dis.opname：得到字节码的含义的list表。

dis.map： 一个dict，key是字节码的含义，value是十进制的字节码。

使用xx.__code__得到一个Code Object，用属性co_code可以得到字节码。