Python基础教程【读书笔记】 - 2016/8/3

希望通过博客园持续的更新，分享和记录Python基础知识到高级应用的点点滴滴！

第十一波：第11章  文件和素材

　　本章更进一步，让程序能够接触更多的领域：文件和流。接下来介绍的函数和对象可以让你在程序调用起见存储数据，并且可以处理来自其他程序的数据。

[11.1] 打开文件

　　open函数用来打开文件，语法如下：

　　open(name[,mode[,buffering]])

　　open函数使用一个文件名作为唯一的强制参数，然后返回一个文件对象。模式mode和缓冲buffering参数都是可选的。

　　假设有一个名为somefile.txt的文本文件，其存储路径是c:\text，那么可以像下面这样打开文件。

　　>>>f=open(r'C:\text\somefile.txt')

　　稍后会介绍文件对象的用处，先来看看open函数的其他两个参数。

[11.1.1] 文件模式

　　如果open函数只带一个文件名参数，那么可以获得能读取文件内容的文件对象。如果要想文件内写入内容，则必须提供一个模式参数来显式的声明。open函数中的模式参数只有几个值，如下所示：

　　r　　　　读模式

　　w　　　  写模式

　　a　　　　追加模式

　　b　　　　二进制模型（可添加到其他模式中使用）

　　+　　　　读/写模式（可添加到其他模式中使用）

　　明确地制定读模式和什么模式参数都不用的效果是一样的。使用写模式可以像文件写入内容。‘+’参数可以用到其他任何模式中，致命读和写都是允许的。比如‘r+’能在打开一个文本文件用来读写时使用。

　　‘b’模式改变处理文件的方法，一般来说，Python假定处理的是文本文件（包含字符）。但是如果处理的是一些其他类型的文件（二进制文件），比如声音剪辑或者图像，那么应该在模式参数中增加‘b’。参数‘rb’可以用来读取一个二进制文件。

　　Python对于文本文件的操作方式令人惊讶，其中唯一要用到的技巧就是标准化换行符。一般来说，Python中换行符（\n）表示结束一行并另起一行，这也是UNIX系统中的规范。但在Windows中一行结束的标识是\r\n。为了在程序中隐藏这些区别，Python在这里做了一些自动转换：在windows下用文本模式读取文件中的文本时，Python将\r\n转换成\n。相反地，当在Windows下用文本模式向文件写文本时，Python会把\n转换成\r\n。

　　在使用二进制文件时可能会产生问题，因为文件中包含能被解释或前面提到的换行符的字节，而使用文本模式，Python自动转换，但是这样会破坏二进制数据，因此为了避免这样的事情发生，要使用二进制模式。

　　注意，通过在模式参数中使用U参数能够在打开文件时使用通用的换行符支持模式，在这种模式下，所有的换行符/字符串都被转换成\n，而不用考虑运行的平台。

11.1.2 缓冲

　　open函数的地3个参数（可选）控制着文件的缓冲。如果参数是0（或者是False），I/O就是无缓冲的（所有的读写操作都直接针对硬盘）；如果是1（或者是True），I/O就是有缓冲的（意味着Python使用内存来代替硬盘，让程序更快，只有使用flush或close才会更新硬盘上的数据）。大于1的数字代表缓冲区的大小（单位是字节），-1（或者是任何负数）代表使用默认的缓冲区大小。

[11.2] 基本文件方法

　　打开文件的方法已经介绍了，下一步就是用它们做些有用的事。下面介绍文件对象（和一些类文件对象，有时称为流）的一些基本方法。类文件对象是支持一些文件的方法的对象，比如file方法，更重要的是支持read或write方法。那些有urllib.urlopen返回的对象是一个很好的例子。它们支持的方法由read、readline和readlines。

[11.2.1] 读和写

　　文件（或流）最重要的能力是提供或者接受数据，如果有一个名为f的类文件对象，那么就可以用f.write方法和f.read方法写入和读取数据。

　　每次调用f.write(string)时，所提供的参数string会被追加到文件中已存在的部分的后面。

　　>>>f=open('somefile.txt','w')

　　>>>f.write('hello.')

　　>>>f.write('world!')

　　>>>f.close()

　　在完成对一个文件的操作时，调用close。读取很简单，只要记得告诉流要读多少字符（字节）即可：

　　>>>f=open('somefile.txt','r')

　　>>>f.read(4)

　　'hell'

　　>>>f.read()

　　'o. world!'

　　首先制定了要读取的字符数4，然后（通过不提供要读取的字符串的方式）读取了剩下的文件。在调用open时可以省略模式说明，因为‘r’是默认的。

[11.2.2] 管式输出

　　在UNIX的shell中，使用管道可以在一个命令后面续写其他的多个命令，就像下面的例子：

　　$cat somefile.txt | python somescript.py | sort

　　这个管道pipeline由以下3个命令组成：

　　cat somefile.txt：只是把somefile.txt的内容写到标准输出（sys.stdout）；

　　python somescript.py：这个命令运行了Python脚本somescript.py。脚本应该是从标准输入读，把结果写入到标准输出。

　　sort：从标准输入（sys.stdin）读取所有的文本，按字母排序，然后把结果写入标准输出。

　　管道符号（|）的作用是什么？

　　管道符号将一个命令的标准输出和下一个命令的标准输入连在一起。这样，就知道somescript会从它的sys.stdin中读取数据，并把结果写入它的sys.stdout中。

　　随机访问：本章内的例子把文件都当成流来操作---也就是说只能按照从头到尾的顺序读数据。实际上，在文件中随意移动读取位置也是可以的，可以使用类文件对象seek和tell来直接访问感兴趣的部分（这种做法称为随机访问）：

　　seek(offset[.whence])：这个方法把当前位置（进行读和写的位置）移动到由offset定义的位置。whence.offset是一个字节数。whence默认是0，也就是说偏移量是从文件开头开始计算的。whence可能被设置为1（相对于当前位置的移动）或者2（相对于文件结尾的移动）。

[11.2.3] 读写行

　　通常逐个字符读取文件也是没有问题的，进行逐行的读取也可以。可以使用file.readline读取单独的一行（从当前的位置开始直到一个换行符出现，也读取这个换行符）。不使用任何参数（这样，一行就被读取和返回）或者使用一个非负的整数作为readline可以读取的字符的最大值。因此，如果someFile.readline()返回‘hello,world!\n’，someFile.readline(5)返回‘hello’。readlines方法可以读取一个文件中的所有行并将其作为列表返回。

　　writelines方法和readlines相反：传给它一个字符串的列表，它会把所有字符串写入文件。注意，程序不会增加新行，需要自己添加。

[11.2.4] 关闭文件

　　牢记使用close方法关闭文件。可以避免在某些操作系统或设置中进行无用的修改，这样做也会避免用完系统中所打开文件的配额。写入过的文件总是应该关闭的，是因为Python可能会缓存（出于效率的考虑而把数据临时地存储在某处）写入的数据。如果程序因为某些原因崩溃了，那么数据根本就不会被写入文件。为了安全起见，要在使用完文件后关闭。

　　# open your file here

　　try:

　　　　# write data to your file

　　finally:

　　　　file.close()

　　事实上，有专门为这种情况设计的语句，即with语句：

　　with open("somefile.txt") as somefile:

　　　　do_something(somefile)

　　with语句可以打开文件并且将其赋值到变量上，本例是somefile。之后可以将数据写入语句体中的文件。文件在语句结束后会被自动关闭，即使是由于异常引起的结束也是如此。

　　from __future__ import with_statement

　　在写入一些文件内容后，通常的想法是希望这些改变会立刻体现在文件中。这样一来其他读取这个文件的程序也能知道改变。难道不是这样吗？

　　不一定！数据可能被缓存了（在内存中临时性地存储），知道关闭文件才会被写入到文件。如果需要继续使用文件，又想将磁盘上的文件进行更新，以反映这些修改，那么就要调用文件对象的flush方法。

[11.2.5] 使用基本文件方法

　　假设somefile.txt包含如下内容，能对它进行什么操作？

　　首先是read(n):

　　f=open(r'c:\text\somefile.txt')

　　>>>f.read(4)

　　>>>print f.read()

　　>>>f.close()

　　接着是readline()：

　　>>>for i in range(3):

　　　　　　print str(i)+': '+f.readline()

　　以及readlines()：

　　>>>import pprint

　　>>>pprint.pprint(open(r'c:\text\somefile.txt').readlines())

　　下面是写文件，首先是write(str)：

　　>>>f=open(r'c:\text\somefile.txt','w')

　　>>>f.write('this\nis no\nhaiku')

　　>>>f.close()

　　最后是writelines(list)：

　　>>>f=open(r'c:\text\somefile.txt')

　　>>>lines=f.readlines()

　　>>>f.close()

　　>>>lines[1]="isn't a\n"

　　>>>f=open(r'c:\text\somefile.txt','w')

　　>>>f.writelines(lines)

　　>>>f.close()

[11.3] 对文件内容进行迭代

　　前面介绍了文件对象的一些文本对象提供的方法，以及如何获取这样的文件对象。对文件内容进行迭代以及重复执行一些操作，是最常见的文件操作之一。其中的一些技术是使用曾经见过的方法（如read、readline、readlines），另一些方法时即将介绍的（比如xreadlines和文件迭代器）。

　　def process(string):

　　　　print 'Processing:',string

[11.3.1] 按字节处理

　　最常见的对文件内容进行迭代的方法是在while循环中使用read方法。例如，对每个字符进行循环：

　　f=open(filename)

　　char=f.read(1)

　　while char:

　　　　process(char)

　　　　char=f.read(1)

　　f.close()

　　这个程序可以使用是因为当达到文件的末尾时，read方法返回一个空的字符串。但那之前返回的字符串会包含一个字符（这样布尔值为真）。改进版本代码如下：

　　f=open(filename)

　　while True:

　　　　char=f.read(1)

　　　　if not char:break

　　　　process(char)

　　f.close()

[11.3.2] 按行操作

　　当处理文本文件时，经常会对文件的行进行迭代而不是处理单个字符。处理行使用的方法和处理字符一样，即使用readline方法，代码如下：

　　f=open(filename)

　　while True:

　　　　line=f.readline()

　　　　if not line:break

　　　　process(line)

　　f.close()

[11.3.3] 读取所有内容

　　如果文件不是很大，那么可以使用不带参数的read方法一次读取整个文件，或者使用readlines。注意，将文件的内容读入一个字符串或者是读入列表在其他时候也很有用。如下代码：

　　f=open(filename)

　　for char in f.read():

　　　　process(char)

　　f.close()

　　for line in f.readlines():

　　　　process(line)

　　f.close()

[11.3.4] 使用fileinput实现懒惰行迭代

　　在需要对一个非常大得文件进行迭代行的操作是，readlines会占用太多的内存。可以使用for循环使用一个名为懒惰行迭代的方法，说它懒惰是因为它只是读取实际需要的文件部分。

　　import fileinput

　　for lin in fileinput.input(filename):

　　　　process(line)

　　在旧式代码中，可使用xreadlines实现懒惰行迭代。它的工作方式和readlines很类似，不同点在于，它不是讲全部的行读到列表中而是创建一个xreadlines对象。在自己的代码中最好用fileinput或文件迭代器。

[11.3.5] 文件迭代器

　　在Python的近几个版本中，文件对象是可迭代的。这就意味着可以直接在for循环中使用它们，从而对它们进行迭代。如下代码：

　　f=open(filename)

　　for line in f:

　　　　process(line)

　　f.close()

　　查看下面的例子：

　　>>>lines=list(open('somefile.txt'))

　　>>>lines

　　['first line','second line','third line']　

　　>>>first,second,third=open('somefile.txt')

　　在这个例子中，注意下面的几点很重要：

　　使用print来向文件内写入内容，这会在提供的字符串后面增加新的行；

　　使用序列来对一个打开的文件进行解包操作，把每行都放入一个单独的变量中；

　　在写文件后关闭了文件，是为了确保数据被更新到硬盘。

[11.4] 小结

　　类文件对象：类文件对象支持read和readline方法的非正式对象。

　　打开和关闭文件：通过提供一个文件名，使用open函数打开一个文件。　

　　模式和文件类型：当打开一个文件时，可以提供一个模式。

　　标准流：

　　读和写：使用read或是write方法对文件对象或类文件对象进行读写操作。

　　读写行：使用readline和readlines和xreadlines方法从文件中读取行，使用writelines可以吸入数据。

　　迭代文件内容