[译]Python编写虚拟解释器

使用Python编写虚拟机解释器

一、实验说明

1. 环境登录

无需密码自动登录，系统用户名shiyanlou，密码shiyanlou

2. 环境介绍

本实验环境采用带桌面的Ubuntu Linux环境，实验中会用到程序：

1. LX终端（LXTerminal）：Linux命令行终端，打开后会进入Bash环境，可以使用Linux命令
2. GVim：非常好用的编辑器，最简单的用法可以参考课程Vim编辑器

3. 环境使用

使用R语言交互式环境输入实验所需的代码及文件，使用LX终端（LXTerminal）运行所需命令进行操作。

完成实验后可以点击桌面上方的“实验截图”保存并分享实验结果到微博，向好友展示自己的学习进度。实验楼提供后台系统截图，可以真实有效证明您已经完成了实验。

实验记录页面可以在“我的主页”中查看，其中含有每次实验的截图及笔记，以及每次实验的有效学习时间（指的是在实验桌面内操作的时间，如果没有操作，系统会记录为发呆时间）。这些都是您学习的真实性证明。

二、课程介绍

众所周知，python语言作为一门超级人性化的语言越来越被受到重视。虚拟服务同样受到人们的重视，就比如实验楼的虚拟实验环境，那么本次项目的目的就是让大家学会使用python制作一个虚拟解释器，这里的虚拟解释器指的是一定意义上的堆栈机。

感谢Christian Stigen Larsen的开源项目Crianza，那么我们就跟着他一起学习如何创建一个解释器吧！

三、课程内容

>解释器是能够执行用其他计算机语言编写的程序的系统软件，它是一种翻译程序。它的执行方式是一边翻译一边执行，因此其执行效率一般偏低，但是解释器的实现较为简单，而且编写源程序的高级语言可以使用更加灵活和富于表现力的语法。

1、构建堆栈机

堆栈机本身并不拥有寄存器，它的执行原理非常简单：将需要处理的值放入栈中，然后执行它们。尽管堆栈机的原理就是这么简单，但是不能不说它确实很强大，不然Python、Java等高级语言也不会将它作为它们的虚拟机。

无论如何，先来深入了解一下堆栈的原理。首先，我们需要一个指令指针栈，它能够储存返回地址。这个返回地址是当我们执行一个子例程（比如函数）的时候，需要用它跳回到开始调用该函数的地方。

那么有了这个神奇的堆栈，很多复杂难以理解的程序就变得非常简单。比如说，有这么一个数学表达式：(2+3)*4。在堆栈机中，这个数学表达式等价于2 3 + 4 * ——将'2'和'3'依次推入栈中，接下来要推入的指令是'+'，将前面两个数字弹出，令他们执行加法运算后再将它们的和入栈。然后依次将'2'与'3'的和与4相乘的结果推入栈中。运算结束，so easy！

那么，让我们开始建立一个栈，由于Python这个语言拥有类似于C语言中数据结构的一个类collections.deque，因此可以在这个类的基础上定义出属于我们的栈。

 from collections import deque

 class Stack(deque):
 """定义一个栈类"""
     # 添加元素
     push = deque.append

     # 返回最后一个元素
     def top(self):
         return self[-1]    

那么这里面既然定义了'push'、'top'方法，为什么没有定义'pop'？因为'deque'这个类本身就拥有方法'pop'，除了'pop'还有'popleft'呢，有兴趣的同学可以研究一下这个类与'list'对象的区别和联系。

接下来，让我们建立一个虚拟机类——'Machine'。综上所述，我们需要两个栈和一段存储代码的内存空间。得益于Python的动态类型，因此我们可以往列表里面存储任何东西，但是我们不能区分列表里面的内置函数和字符串，正确的做法是将Python内置函数单独存放于一个列表，关于这个问题大家可以思考一下。在这个项目中用的是字典)方法，键值分别对应字符串和函数。另外，我们还需要一个指令指针，用来指向代码中下一个需要被执行的模块。

 class Machine:
     def __init__(self, code):
     """预先定义一个初始化函数"""

         self.data_stack = Stack()
         self.return_addr_stack = Stack()
         self.code = code
         self.instruction_pointer = 0        

再创建一些栈结构中必备的函数：

 def pop(self):
     return self.data_stack.pop()

 def push(self, value):
     self.data_stack.push(value)

 def top(self):
     return self.data_stack.top()

为了执行我们“操作码”（实际上，并不是真正意义上的操作码，只是一种动态类型，但是你懂得~）我们需要建立一个'dispatch'函数。但是在这之前，我们需要创建一个解释器的循环：

 def run(self):
 """代码运行的条件"""

     while self.instruction_pointer < len(self.code):
     opcode = self.code[self.instruction_pointer]
     self.instruction_pointer += 1
     self.dispatch(opcode)

上面的代码原理很简单：获取下一个指令，指令指针自增1个然后基于操作码执行'dispatch'函数，下面是'dispatch'函数的定义（函数定义有点长，你们可以尝试改进一下）：

 def dispatch(self, op):
     dispatch_map = {
         "%": self.mod,
         "*": self.mul,
         "+": self.plus,
         "-": self.minus,
         "/": self.div,
         "==": self.eq,
         "cast_int": self.cast_int,
         "cast_str": self.cast_str,
         "drop": self.drop,
         "dup": self.dup,
         "if": self.if_stmt,
         "jmp": self.jmp,
         "over": self.over,
         "print": self.print_,
         "println": self.println,
         "read": self.read,
         "stack": self.dump_stack,
         "swap": self.swap,
         }

     if op in dispatch_map:
         dispatch_map[op]()
     elif isinstance(op, int):
     # 如果指令是整型数据，就将数据存放到数据栈中
         self.push(op)
     elif isinstance(op, str) and op[0]==op[-1]=='"':
     # 如果是字符串类型的，就将字符串内容存放到数据栈中
         self.push(op[1:-1])
     else:
         raise RuntimeError("Unknown opcode: '%s'" % op)        

上面的代码非常浅显易懂，就是当输入一段指令，该函数就会根据这段指令在'dispatch_map'字典中找到对应的方法，比如：符号'\*'对应的是'self.mul'函数。以上过程就类似于'Forth'语言的构建过程。

当输入指令'*'，程序就会执行函数'self.mul'，所以我们还需要定义对应的函数：

 def mul(self):
     self.push(self.pop() * self.pop())

其他的函数定义也是依次类推，根据它们的功能和名称定义不同的函数。

到这里，你可以定义你想要的函数了，一个虚拟机环境基本构成就是这样！

然而并没有完，环境搭建好了，最重要的'解释'还没有完成，一个语言解释器包括两部分：
1. 解析：解析部分接受一个由字符序列表示的输入指令，然后将输入字符分解成一系列的词法单元
2. 执行：程序内部的解释器根据语义规则进一步处理词法单元，进而执行原指令的实际运算。

流程如下图所示：

下面一节中，我们将会讨论如何构建解析器。

2、为我们的指令创建一个简单的解析器

让我们使用'tokenize'模块为输入的指令构建一个解析器吧~

 import tokenize
 from StringIO import StringIO

 def parse(text):

     # 以StingIO的形式将text对象读入到内存中，并以字符串形式返回到                                                    generate_tokens()函数中
     tokens = tokenize.generate_tokens(StringIO(text).readline)

     # generate_tokens生成器生成一个5元祖：标记类型、标记字符串、标记开始位置二元组、标记结束位置二元组以及标记所在的行号
     # 下面大写的单词都属于token模块的常量
     for toknum, tokval, _, _, _ in tokens:
         if toknum == tokenize.NUMBER:
             yield int(tokval)
         elif toknum in [tokenize.OP, tokenize.STRING,         tokenize.NAME]:
             yield tokval
         elif toknum == tokenize.ENDMARKER:
             break
         else:
             raise RuntimeError("Unknown token %s: '%s'" %
     (tokenize.tok_name[toknum], tokval))                           

更多关于Python令牌器（'tokenize'）的常量查看请查阅官方文档。

3、简单优化：常量折叠

>“常量折叠”是 就是在编译器进行语法分析的时候，将常量表达式计算求值，并用求得的值来替换表达式，放入常量表。可以算作一种编译优化。

 def constant_fold(code):
 """对简单的数学表达式诸如：2 3 + 进行计算并将结果作为常数返回原指令列表中"""
     while True:
     # 在指令中找到两个连续的数字以及一个算数运算符
         for i, (a, b, op) in enumerate(zip(code, code[1:], code[2:])):
            if isinstance(a, int) and isinstance(b, int) \
             and op in {"+", "-", "*", "/"}:
                 m = Machine((a, b, op))
                 m.run()
                 code[i:i+3] = [m.top()]
                 print("Constant-folded %s%s%s to %s" % (a,op,b,m.top()))
                 break
          else:
             break
     return code

这个方法唯一的缺点是我们必须得更新跳转的地址，尤其是在遇到读取或者跳转等操作时需要不断的跳转。但是任何问题都有它对应解决的方案，有一个简单的例子就是在跳转的时候只允许调到指令的命名标签上，这样的话，在执行常量折叠之后就可以跳转到它们真正的地址上。

4、读取-求值-输出循环

我们可以通过以下代码实现一个简单的“读取-求值-输出循环”的交互式编程环境：

 def repl():
     print('Hit CTRL+D or type "exit" to quit.')

     while True:
         try:
             source = raw_input("> ")
         code = list(parse(source))
         code = constant_fold(code)
         Machine(code).run()
     except (RuntimeError, IndexError) as e:
        print("IndexError: %s" % e)
     except KeyboardInterrupt:
         print("\nKeyboardInterrupt")

5、课后作业

1. 列表项试着在不查看完整源代码的情况下制作这个虚拟解释器（可以参考Python内置函数），并尝试生成'Fibonacci'序列，将运行过程和结果截图；
2. 如果完成了第一题，恭喜你，又'get'一个技能，你可以查看下面的完整代码对比你自己的代码，把你的代码中重要的细节和你的思考写入实验报告；
3. 那么接下来请尝试给指令中的函数添加'call'和'return'功能。提示：'call'函数是先将当前地址返回到栈中，再调用'self.jmp'函数。'return'函数显然是先将栈中的地址弹出，根据该地址设置一个指令指针从'call'函数中返回到原来开始被调用的地方。

6、完整代码

代码同样可以通过github获取:

 #!/usr/bin/env python
 # coding: utf-8

 """
 A simple VM interpreter.

 Code from the post at http://csl.name/post/vm/
 This version should work on both Python 2 and 3.
 """

 from __future__ import print_function
 from collections import deque
 from io import StringIO
 import sys
 import tokenize

 def get_input(*args, **kw):
 """Read a string from standard input."""
     if sys.version[0] == "":
         return raw_input(*args, **kw)
     else:
         return input(*args, **kw)

 class Stack(deque):
     push = deque.append

     def top(self):
         return self[-1]

 class Machine:
     def __init__(self, code):
         self.data_stack = Stack()
         self.return_stack = Stack()
         self.instruction_pointer = 0
         self.code = code

     def pop(self):
         return self.data_stack.pop()

     def push(self, value):
         self.data_stack.push(value)

     def top(self):
         return self.data_stack.top()

     def run(self):
         while self.instruction_pointer < len(self.code):
             opcode = self.code[self.instruction_pointer]
             self.instruction_pointer += 1
             self.dispatch(opcode)

     def dispatch(self, op):
         dispatch_map = {
             "%": self.mod,
             "*": self.mul,
             "+": self.plus,
             "-": self.minus,
             "/": self.div,
             "==": self.eq,
             "cast_int": self.cast_int,
             "cast_str": self.cast_str,
             "drop": self.drop,
             "dup": self.dup,
             "exit": self.exit,
             "if": self.if_stmt,
             "jmp": self.jmp,
             "over": self.over,
             "print": self.print,
             "println": self.println,
             "read": self.read,
             "stack": self.dump_stack,
             "swap": self.swap,
         }

         if op in dispatch_map:
             dispatch_map[op]()
         elif isinstance(op, int):
             self.push(op) # push numbers on stack
         elif isinstance(op, str) and op[0]==op[-1]=='"':
         self.push(op[1:-1]) # push quoted strings on stack
         else:
             raise RuntimeError("Unknown opcode: '%s'" % op)

         # OPERATIONS FOLLOW:

     def plus(self):
         self.push(self.pop() + self.pop())

     def exit(self):
         sys.exit(0)

      def minus(self):
         last = self.pop()
         self.push(self.pop() - last)

     def mul(self):
         self.push(self.pop() * self.pop())

     def div(self):
         last = self.pop()
         self.push(self.pop() / last)

     def mod(self):
         last = self.pop()
         self.push(self.pop() % last)

     def dup(self):
         self.push(self.top())

     def over(self):
         b = self.pop()
         a = self.pop()
         self.push(a)
         self.push(b)
         self.push(a)

     def drop(self):
         self.pop()

     def swap(self):
         b = self.pop()
         a = self.pop()
         self.push(b)
         self.push(a)

     def print(self):
         sys.stdout.write(str(self.pop()))
         sys.stdout.flush()

     def println(self):
         sys.stdout.write("%s\n" % self.pop())
         sys.stdout.flush()

     def read(self):
         self.push(get_input())

     def cast_int(self):
         self.push(int(self.pop()))

     def cast_str(self):
         self.push(str(self.pop()))

     def eq(self):
         self.push(self.pop() == self.pop())

     def if_stmt(self):
         false_clause = self.pop()
         true_clause = self.pop()
         test = self.pop()
         self.push(true_clause if test else false_clause)

     def jmp(self):
         addr = self.pop()
         if isinstance(addr, int) and 0 <= addr < len(self.code):
             self.instruction_pointer = addr
         else:
             raise RuntimeError("JMP address must be a valid integer.")

     def dump_stack(self):
         print("Data stack (top first):")

         for v in reversed(self.data_stack):
             print(" - type %s, value '%s'" % (type(v), v))

 def parse(text):
     # Note that the tokenizer module is intended for parsing Python source
     # code, so if you're going to expand on the parser, you may have to use
     # another tokenizer.

     if sys.version[0] == "":
         stream = StringIO(unicode(text))
     else:
         stream = StringIO(text)

         tokens = tokenize.generate_tokens(stream.readline)

         for toknum, tokval, _, _, _ in tokens:
             if toknum == tokenize.NUMBER:
                 yield int(tokval)
             elif toknum in [tokenize.OP, tokenize.STRING, tokenize.NAME]:
                 yield tokval
             elif toknum == tokenize.ENDMARKER:
                 break
             else:
                 raise RuntimeError("Unknown token %s: '%s'" %
 (tokenize.tok_name[toknum], tokval))

 def constant_fold(code):
 """Constant-folds simple mathematical expressions like 2 3 + to 5."""
     while True:
     # Find two consecutive numbers and an arithmetic operator
         for i, (a, b, op) in enumerate(zip(code, code[1:], code[2:])):
             if isinstance(a, int) and isinstance(b, int) \
 and op in {"+", "-", "*", "/"}:
                 m = Machine((a, b, op))
                 m.run()
                 code[i:i+3] = [m.top()]
                 print("Constant-folded %s%s%s to %s" % (a,op,b,m.top()))
                 break
         else:
             break
     return code

 def repl():
     print('Hit CTRL+D or type "exit" to quit.')

     while True:
         try:
             source = get_input("> ")
             code = list(parse(source))
             code = constant_fold(code)
             Machine(code).run()
         except (RuntimeError, IndexError) as e:
             print("IndexError: %s" % e)
         except KeyboardInterrupt:
             print("\nKeyboardInterrupt")

 def test(code = [2, 3, "+", 5, "*", "println"]):
         print("Code before optimization: %s" % str(code))
     optimized = constant_fold(code)
     print("Code after optimization: %s" % str(optimized))

     print("Stack after running original program:")
     a = Machine(code)
     a.run()
     a.dump_stack()

     print("Stack after running optimized program:")
     b = Machine(optimized)
     b.run()
     b.dump_stack()

     result = a.data_stack == b.data_stack
     print("Result: %s" % ("OK" if result else "FAIL"))
     return result

     def examples():
     print("** Program 1: Runs the code for `print((2+3)*4)`")
     Machine([2, 3, "+", 4, "*", "println"]).run()

     print("\n** Program 2: Ask for numbers, computes sum and product.")
     Machine([
         '"Enter a number: "', "print", "read", "cast_int",
         '"Enter another number: "', "print", "read", "cast_int",
         "over", "over",
         '"Their sum is: "', "print", "+", "println",
         '"Their product is: "', "print", "*", "println"
         ]).run()

     print("\n** Program 3: Shows branching and looping (use CTRL+D to exit).")
     Machine([
         '"Enter a number: "', "print", "read", "cast_int",
         '"The number "', "print", "dup", "print", '" is "', "print",
         2, "%", 0, "==", '"even."', '"odd."', "if", "println",
         0, "jmp" # loop forever!
         ]).run()

 if __name__ == "__main__":
     try:
         if len(sys.argv) > 1:
             cmd = sys.argv[1]
             if cmd == "repl":
                 repl()
             elif cmd == "test":
                 test()
                 examples()
             else:
                 print("Commands: repl, test")
         else:
             repl()
     except EOFError:
         print("")