Python迭代和解析(1)：列表解析

解析、迭代和生成系列文章：https://www.cnblogs.com/f-ck-need-u/p/9832640.html

Python中的解析

Python支持各种解析(comprehension)操作，比如列表解析、集合解析、元组解析、字典解析。它们根据某些元素来创建(推导)出一个新的列表、集合、元组、字典等。所以有的地方也称为推导，比如列表推导、集合推导等。

下面是一个列表解析的示例：

>>> [ i*2 for i in range(10) if i % 2 == 0 ]
[0, 4, 8, 12, 16]

这里是列表解析，因为使用的中括号[ xxxx ]，它表示根据条件推导出一个新的列表。Python中几种内置类型的解析规则为：

如果使用的是中括号，表示列表解析
如果使用的是大括号，表示集合解析
如果使用的是大括号，且里面的元素是key:value模式，表示字典解析

注意：如果使用的是括号，表示的是生成器表达式，而不是解析。

例如：

# 集合解析
>>> { i*2 for i in "abcd"}
{'aa', 'cc', 'dd', 'bb'}
# 字典解析
>>> { k:v for k,v in zip(("one","two","three"),(1,2,3)) }
{'one': 1, 'two': 2, 'three': 3}
>>> { k: k*2 for k in "abcd" }
{'a': 'aa', 'b': 'bb', 'c': 'cc', 'd': 'dd'}

Python中还有其它解析模式，稍后会解释。

数学概念中的解析

参考：https://en.wikipedia.org/wiki/List_comprehension

计算机语言中的解析来自于数学概念中的集合描述(对应于集合解析)。如下图：

将此与下面的列表解析进行对应：

[ i * 2 for i in range(10) if i % 2 == 0 ]

其中：

x ∈ N表示的是装元素的容器，这个容器里的元素是解析时被迭代的对象
- 这对应于列表解析中的range(10)，对于Python来说，只要是可迭代的数据对象，都可以作为元素的提供容器
x是变量，是容器中的元素
- 对应于列表解析中的i
x² > 3表示的是谓词，是可选的条件判断式，用来筛选解析过程中的符合条件的元素
- 这对应于列表解析中的if i % 2 == 0，注意，谓词部分是可选的
2 * x表示的是外部表达式，用来生成新的列表/集合/字典/元组中的元素
- 对应于列表解析中的i * 2
{}意味着外部表达式的元素所存放的容器是集合容器
- 对应于列表解析中的[]，表示新生成的元素是列表中的元素

解析操作是如何工作的

Python中的解析操作常用来生成各种数据容器，且生成的效率非常高，它在底层完全是以C的方式运行的。

在了解了数学中集合描述和解析的对应方式后，要理解解析的工作方式很简单，以列表解析为例。

首先用迭代工具for对容器中的元素进行迭代，每个元素都经过谓词进行筛选，对符合条件的元素执行外部表达式，每个外部表达式都生成一个新的元素，然后作为新列表的一个元素，从而推导出一个新的列表。

解析是一个表达式，在后面的文章中还会看到大部分解析可以写成等价的函数map、filter等函数式，但解析的逻辑要更清晰且更简洁。

与解析操作等价的普通循环

python中的解析行为由for这个迭代工具来迭代，它和普通的for循环逻辑一样，但用法稍有不同。从前面的示例中也可以看出解析操作的外部表达式部分在for关键字的前面，而普通for循环的表达式则是在for关键字后面。

解析操作也能由普通的循环来生成。例如：

# for循环实现列表解析操作
L1 = []
for i in range(10):
  if i % 2 == 0 :
    L1.append(i * 2)
# 列表解析
L2 = [ i * 2 for i in range(10) if i % 2 == 0 ]
print(L1)
print(L2)

结果：

[0, 4, 8, 12, 16]
[0, 4, 8, 12, 16]

而且，解析操作比普通的for循环运行速度更快，解析操作在Python解释器中是完全使用C来运行的，而普通for循环则是在python VM中通过步进的方式运行的。一般来说，解析操作和map函数速度差不多(解释器中都是C的运行方式)，它们都要比普通for快上1-2倍。特别是要生成的元素较多时，解析操作往往要比等价的普通循环快上一倍多。

用解析来操作文件

对于open()打开的文件，有一个readlines()函数可以将所有行读取到一个列表中，每一行都是这个列表中的一个元素。

以下是文件a.txt的文件内容：

first line
second line
third line

通过readlines()读取a.txt：

>>> f = open('a.txt')
>>> lines = f.readlines()
>>> lines
['first line\n', 'second line\n', 'third line\n']

这里每一个元素都包含了尾随换行符\n，这在编程时是非常令人厌恶的，因为不好控制是不是要自己添加一个换行符。所以，往往会对每一行都执行一个去除尾随换行符的操作，这可以通过列表解析来执行：

>>> lines = [ line.rstrip() for line in lines ]
>>> lines
['first line', 'second line', 'third line']

实际上，open()打开的文件对象是一个可迭代对象，可以直接进行迭代，所以也可以直接用于解析操作：

>>> lines = [line.rstrip() for line in open('a.txt')]
>>> lines
['first line', 'second line', 'third line']

看上去真的很简洁，而且很简单很方便，实际上这也很高效。

嵌套的解析

解析操作可以变得更加复杂，比如可以进行for嵌套。

>>> [x + y for x in "abcd" for y in "ABCD"]
['aA', 'aB', 'aC', 'aD', 'bA', 'bB', 'bC', 'bD', 'cA', 'cB', 'cC', 'cD', 'dA', 'dB', 'dC', 'dD']

它等价于：

L = []
for x in "abcd":
  for y in "ABCD":
    L.append(x + y)

for嵌套的时候，每一个for中用于筛选元素的if语句都是可选的。

例如，下面的嵌套for解析中，使用偶数和奇数的组合：

>>> [ (x,y) for x in range(5) if x % 2 == 0 for y in range(5) if y % 2 ==1 ]
[(0, 1), (0, 3), (2, 1), (2, 3), (4, 1), (4, 3)]

这个解析表达式等价于：

>>> L = []
>>> for x in range(5):
...     if x % 2 == 0:
...         for y in range(5):
...             if y % 2 == 1:
...                 L.append((x, y))
[(0, 1), (0, 3), (2, 1), (2, 3), (4, 1), (4, 3)]