Python逆向（二）—— pyc文件结构分析

一、前言

上一节我们知道了pyc文件是python在编译过程中出现的主要中间过程文件。pyc文件是二进制的，可以由python虚拟机直接执行的程序。分析pyc文件的文件结构对于实现python编译与反编译就显得十分重要。

Python代码的编译结果就是PyCodeObject对象。PyCodeObject对象可以由虚拟机加载后直接运行，而pyc文件就是PyCodeObject对象在硬盘上的保存形式。因此我们先分析PyCodeObject对象的结构，随后再涉及pyc文件的二进制结构。

二、PyCodeObject对象结构分析

typedef struct {
    PyObject_HEAD
    int co_argcount;        /* 位置参数个数 */
    int co_nlocals;         /* 局部变量个数 */
    int co_stacksize;       /* 栈大小 */
    int co_flags;
    PyObject *co_code;      /* 字节码指令序列 */
    PyObject *co_consts;    /* 所有常量集合 */
    PyObject *co_names;     /* 所有符号名称集合 */
    PyObject *co_varnames;  /* 局部变量名称集合 */
    PyObject *co_freevars;  /* 闭包用的的变量名集合 */
    PyObject *co_cellvars;  /* 内部嵌套函数引用的变量名集合 */
    /* The rest doesn’t count for hash/cmp */
    PyObject *co_filename;  /* 代码所在文件名 */
    PyObject *co_name;      /* 模块名|函数名|类名 */
    int co_firstlineno;     /* 代码块在文件中的起始行号 */
    PyObject *co_lnotab;    /* 字节码指令和行号的对应关系 */
    void *co_zombieframe;   /* for optimization only (see frameobject.c) */
} PyCodeObject;

上面就是PyCodeObject对象一般情况下包含的属性名称及数据类型，每个属性在虚拟机执行pyc文件时都有其作用，随后在编译与反编译的过程中我们会对上述出现的属性一一分析。

三、pyc文件生成

python中使用marshal.dump的方法将PyCodeObject对象转化为对应的二进制文件结构。每个字段在二进制文件中的结构如下图：

byte表示占用1个字节，long表示占用4个字节，bytes表示该字段可能占用1到多个字节。需要说明的是，PyCodeObject对象中的每一个属性及值都会按照一定的顺序表示在二进制文件里。

pyc文件结构主要包括两部分：pyc文件头部表示和PyCodeObject对象部分。上面对PyCodeObject对象的二进制部分已经有了了解，pyc文件头部比较简单，在python2中只占用4个字节包含两个字段magic和mtime，完整的pyc文件结构见下图：

四、实例分析

上面我们对pyc文件结构已经有了理论上的了解，接下来通过一个实例对实际的二进制文件进行分析。

源文件test.py

s = "hello"
def func():
    a = 3
    print s
func()

通过执行python2 -m py_compile test.py 可以生成编译好的pyc文件test.pyc。

我们使用二进制编辑器打开test.pyc

• pyc文件头部：
  • 前4个字节：03f3 0d0a，表示python版本
  • 5-8个字节：0e6b 905d，表示pyc文件修改时间
• PyCodeObject对象二进制编译结果：
  • 第9字节：63，TYPE_CODE字段，也就是字符c，值为99，即0x63，表示接下为是一个PyCodeObject对象
• PyCodeObject对象----全局参数:
  • 然后4个字节是0x00 0000 00，code block的位置参数个数co_argument，这里是0；
  • 再接着4个字节是0x00 0000 00， code block中的局部变量个数co_nlocals，这里是0；
  • 再接着4个字节是0x01 0000 00， code block需要的栈空间co_stacksize，这里是1；
  • 再接着4个字节是0x40 0000 00， co_flags，这里是64；
• PyCodeObject对象----code block:
  • 1个字节0x73为TYPE_CODE字段， 表示该字段为string格式；
  • 4个字节0x1a00 0000表示code block段的数据部分占用0x1a个字节，即长度为26；
  • 接下来26个字节6400 ...... 6402 0053为该TYPE_CODE字段（数据类型string）部分，也就是pyc文件中包含的字节码指令
• 再往下的逐个TYPE_CODE字段都是重复结构的，用来表示PyCodeObject对象中的一些其他参数