新手学python（3）：yield与序列化

1 Yield生成器

Yield是我在其他语言中没有见过的一个属性，算是python的一大特色，用好之后可以使代码更简洁。考虑一个简单的例子，文件的遍历。要遍历一个目录下的所有文件需要递归的操作。如果我们只是单纯的打印文件名，我们可以在递归的过程中完成，每当发现一个非目录就可以打印文件名。代码如下：

class TraverseDirectory(object):

    @staticmethod

    def traverse(dir):

        if os.path.isdir(dir):

            files=os.listdir(dir);

            for file in files[::-1]:

                full_name=os.path.join(dir,file);

                TraverseDirectory.traverse(full_name):

        else:

            print dir;

但是如果我们想保存文件名或者对每一个文件执行更复杂的操作返回一个结果，情况就稍微有些复杂。问题在于我们需要一个全局变量保存访问的结果。例如在遍历到一个文件时获取其文件大小，则我们还需要一个dictionary结构：

class TraverseDirectory(object):

    fileSize=dict();

    @staticmethod

    def traverse(dir):

        if os.path.isdir(dir):

            files=os.listdir(dir);

            for file in files[::-1]:

                full_name=os.path.join(dir,file);

                TraverseDirectory.traverse(full_name);

        else:

            TraverseDirectory.fileSize[dir]=os.path.getsize(dir);

初看代码感觉其实也不复杂，只是多了一个变量而已。在多数情况下确实如此，但是从应用角度来看上述代码稍有不足：为了访问遍历的结果，我们需要访问该类的全局变量或者一个静态变量，正如我们在其他语言中一样，为此我们还需要一个get函数。但是，这还不是最严重的问题，fileSize占用的空间才是问题！

上述递归函数只有在遍历完所有的文件之后我们才能访问fileSize结构。这就意味着如果目录很大，则fileSize也会非常大，如果要控制内存占用，上述方式会很不好。此时，就可以采用yield生成器完成遍历。

何谓生成器？其实很简单，概念和迭代器类似，都是为了遍历而存在。迭代器是为了遍历变量，例如列表、元组、字典等等。生成器不是遍历变量，而是函数。简而言之，包含yield语句的函数会被特地编译成生成器。当函数被调用时，他们返回一个生成器对象，这个对象支持迭代器接口。不像一般的函数会生成值后退出，生成器函数在生成值后会自动挂起并暂停他们的执行和状态，他的本地变量将保存状态信息，这些信息在函数恢复时将再度有效。我们可以将生成器理解成可以随时获得函数返回值的迭代器。可以将生成器与gdb调试器对比，我们在每一步单步调试的过程中，系统中总会有许多变量和其运行时值，yield就对应每一次的单步调试，并获取当前的变量值，不过其获取返回值是在每一次递归结束时。将上述遍历代码改成yield方式之后为：

class TraverseDirectory(object):

    @staticmethod

    def traverse(dir):

        if os.path.isdir(dir):

            files=os.listdir(dir);

            for file in files[::-1]:

                full_name=os.path.join(dir,file);

                for results in TraverseDirectory.traverse(full_name):

                    yield results;

        else:

           yield  {dir:os.path.getsize(dir)};

与之前的代码相比，就是少了一个变量，然后多了两个yield。通过这个微小的变化，我们去掉了函数的内存大小限制，也使代码更简洁。需要注意的一点是，调用过程也很简单，因为函数是一个生成器，具有迭代器的功能，我们就可以利用for循环去遍历函数的返回值。

Yield这种具有中断功能的设计使代码更加简洁，但是对效率会有一定影响。瑕不掩瑜，建议大家熟练应用yield。

2 序列化

在进行网络通信的过程中，我们传递的是没有含义的数据流，这就意味着我们无法直接传递list和dict之类的数据结构，而需要首先将它们序列化之后再进行传递。接收方收到数据流之后再发序列化获得原始的数据结构。序列化的应用并不局限于网络通信，在持久化存储中也需要用到序列化。

Python中有两个关于序列化的库：json和cPickle，两者用法相同，但是貌似json速度更快，因而json使用的次数更多。序列化调用dumps，反序列化调用loads，使用非常简单。

如果需要序列化的数据编码方式不是默认方式，我们还可以指定编码方式：

        result=json.dumps(data,ensure_ascii=True,encoding=’gbk’);

反序列化也需要指定编码方式：

        result=json.loads(data, encoding=’gbk’);

由于序列化操作在python中非常简单，在此不做更多介绍，更加深入的操作请参考：Json概述以及python对json的相关操作。