python之旅：文件处理

一 文件操作及理论

1、 介绍

计算机系统分为：计算机硬件、操作系统、应用程序三部分
我们用python或者其他程序，想要把数据永久的保存下来，就得写到硬盘里，但是应用程序是没有办法直接操作硬件的，这就用到了操作系统。
操作系统把复杂的硬件操作封成简单的接口给用户使用，其中文件就是操作系统提供给应用程序来操作硬盘虚拟概念，用户用程序通过系统操作文件，就可以报数据保存到硬盘中了

有了文件的概念，我们无需再去考虑操作硬盘的细节，只需要关注操作文件的流程：

#1. 打开文件，得到文件句柄并赋值给一个变量
#2. 通过句柄对文件进行操作
#3. 关闭文件

2、在python中如何操作文件

#1. 打开文件，得到文件句柄并赋值给一个变量
f=open('a.txt','r',encoding='utf-8') #默认打开模式就为rt r只读 t文本 t可以不写，默认打开文本
 
#2. 通过句柄对文件进行操作
data=f.read()
 
#3. 关闭文件
f.close()

3、f=open('a.txt','r')的过程分析

#1、由应用程序向操作系统发起系统调用open(...)
 
#2、操作系统打开该文件，并返回一个文件句柄给应用程序
 
#3、应用程序将文件句柄赋值给变量f

4、 强调！！！

#强调第一点：
打开一个文件包含两部分资源：操作系统级打开的文件+应用程序的变量。在操作完毕一个文件时，必须把与该文件的这两部分资源一个不落地回收，回收方法为：
1、f.close() #回收操作系统级打开的文件
2、del f #回收应用程序级的变量
 
其中del f一定要发生在f.close()之后，否则就会导致操作系统打开的文件还没有关闭，白白占用资源，
而python自动的垃圾回收机制决定了我们无需考虑del f，这就要求我们，在操作完毕文件后，一定要记住f.close()
 
虽然我这么说，但是很多同学还是会很不要脸地忘记f.close(),对于这些不长脑子的同学，我们推荐傻瓜式操作方式：使用with关键字来帮我们管理上下文
with open('a.txt','w') as f:
    pass
 
with open('a.txt','r') as read_f,open('b.txt','w') as write_f:
    data=read_f.read()
    write_f.write(data)

#强调第二点：
f=open(...)是由操作系统打开文件，那么如果我们没有为open指定编码，那么打开文件的默认编码很明显是操作系统说了算了，操作系统会用自己的默认编码去打开文件，在windows下是gbk，在linux下是utf-8。
这就用到了上节课讲的字符编码的知识：若要保证不乱码，文件以什么方式存的，就要以什么方式打开。
 
f=open('a.txt','r',encoding='utf-8')

5、 python2中的file与open

#首先在python3中操作文件只有一种选择，那就是open()
 
#而在python2中则有两种方式：file()与open()
两者都能够打开文件，对文件进行操作，也具有相似的用法和参数，但是，这两种文件打开方式有本质的区别，file为文件类，用file()来打开文件，相当于这是在构造文件类，而用open()打开文件，是用python的内建函数来操作，我们一般使用open()打开文件进行操作，而用file当做一个类型，比如type(f) is file

二 打开文件的模式

文件句柄 = open('文件路径', '模式')

模式可以是以下方式以及他们之间的组合：

字符	意义
‘r'	开放阅读(默认)
‘w'	打开文件，先截断文件。
‘a'	打开写，如果文件存在，附加到文件的末尾。
‘b'	二进制
‘t'	文本模式(默认)
‘+'	打开磁盘文件以进行更新(阅读和写入)
‘U'	通用换行模式(用于向后兼容;不应在新代码中使用)

#1. 打开文件的模式有(默认为文本模式)：
r ，只读模式【默认模式，文件必须存在，不存在则抛出异常】
w，只写模式【不可读；不存在则创建；存在则清空内容】
a， 之追加写模式【不可读；不存在则创建；存在则只追加内容】
 
#2. 对于非文本文件，我们只能使用b模式，"b"表示以字节的方式操作（而所有文件也都是以字节的形式存储的，使用这种模式无需考虑文本文件的字符编码、图片文件的jgp格式、视频文件的avi格式）
rb
wb
ab
注：以b方式打开时，读取到的内容是字节类型，写入时也需要提供字节类型，不能指定编码
 
#3. 了解部分
"+" 表示可以同时读写某个文件
r+， 读写【可读，可写】
w+，写读【可读，可写】
a+， 写读【可读，可写】
 
x， 只写模式【不可读；不存在则创建，存在则报错】
x+ ，写读【可读，可写】
xb

# 回车与换行的来龙去脉
http://www.cnblogs.com/linhaifeng/articles/8477592.html
 
# U模式
'U' mode is deprecated and will raise an exception in future versions
of Python.  It has no effect in Python 3.  Use newline to control
universal newlines mode.
 
# 总结：
在python3中使用默认的newline=None即可，换行符无论何种平台统一用\n即可
 
了解U模式与换行符

了解U模式与换行符

三 操作文件的方法

我们先来看看函数open()，要以任何方式使用文件———— 哪怕仅仅是打印其内容，都得先打开文件，这样才能访问他。

关键字with在不再需要访问文件后将其关闭。

你也调用open()和close()来打开和关闭文件，但这样做时，如果程序存在bug，导致close()语句未执行，文件将不会关闭（因为程序打开文件时通知系统打开的，所以关闭时也应该通知系统，档程序不告诉系统关闭文件时，系统会通过一定的周期确定文件没有被调用时，再将其关闭，系统打开文件的数量是有限制的。程序不需要访问文件时应通知系统关闭文件，减少两方资源消耗，虽然都会拉垃圾自动回收）。也许在你看起来微不足道，但未妥善的关闭文件可能会导致数据丢失或损失。如果过早的调用close()，你会发现文件已关闭，这会导致更多的错误。但是通过with，可以让pytho去确定：你只管打开文件，并在需要时使用它，python自会在何时的时候自动将其关闭。

#掌握
f.read() #读取所有内容,光标移动到文件末尾  读出的文件是字符串形式
f.readline() #读取一行内容,光标移动到第二行首部
f.readlines() #读取每一行内容,存放于列表中
 
f.write('1111\n222\n') #针对文本模式的写,需要自己写换行符
f.write('1111\n222\n'.encode('utf-8')) #针对b模式的写,需要自己写换行符
f.writelines(['333\n','444\n']) #文件模式 用于向文件中写入一序列的字符串
f.writelines([bytes('333\n',encoding='utf-8'),'444\n'.encode('utf-8')]) #b模式

f.replace('修改前的数据','修改后的数据') #方法把字符串中的 old（旧字符串） 替换成 new(新字符串)，如果指定第三个参数max，则替换不超过 max 次。
f.seek()#seek() 方法用于移动文件读取指针到指定位置。偏移量单位是字节
#了解
f.readable() #文件是否可读
f.writable() #文件是否可读
f.closed #文件是否关闭
f.encoding #如果文件打开模式为b,则没有该属性
f.flush() #立刻将文件内容从内存刷到硬盘
f.name

一 读取文件

1、 读取整个文件 read()

我们先来看看函数open()，要以任何方式使用文件————哪怕仅仅是打印其内容，都得先打开文件，这样才能访问他。

关键字with在不再需要访问文件后将其关闭。

你也跳用open()和close()来打开和关闭文件，但这样做时，如果程序存在bug，导致close()语句未执行，文件将不会关闭（因为程序打开文件时通知系统打开的，所以关闭时也应该通知系统，档程序不告诉系统关闭文件时，系统会通过一定的周期确定文件没有被调用时，再将其关闭，系统打开文件的数量是有限制的。程序不需要访问文件时应通知系统关闭文件，减少两方资源消耗，虽然都会拉垃圾自动回收）。也许在你看起来微不足道，但未妥善的关闭文件可能会导致数据丢失或损失。如果过早的调用close()，你会发现文件已关闭，这会导致更多的错误。但是通过with，可以让pytho去确定：你只管打开文件，并在需要时使用它，python自会在何时的时候自动将其关闭。

a.txt 内容如下：
饿饿饿饿饿饿饿饿1
饿饿饿饿饿饿饿饿2
饿饿饿饿饿饿饿饿3

with open('a.txt',mode='r',encoding='utf-8') as f:
    print(f.read())
结果：
饿饿饿饿饿饿饿饿1
饿饿饿饿饿饿饿饿2
饿饿饿饿饿饿饿饿

2、 逐行读取 readline()

1、通过for循环实现
with open('a.txt',mode='rt',encoding='utf-8') as f: #以上说过默认rt，r只读，t文本
    for line in f:
        print(line)
结果如下：
饿饿饿饿饿饿饿饿1
 
饿饿饿饿饿饿饿饿2
 
饿饿饿饿饿饿饿饿3
#因为print()自带换行，如果你不想让其换行，你可以print(line,end='')
 
2、通过readline()函数   f.readline() #读取一行内容,光标移动到第二行首部

with open('a.txt',mode='rt',encoding='utf-8') as f:
    print(f.readline())
    print(f.readline())
    print(f.readline())

3、创建一个包含文件各行内容的列表 readlines()

在使用关键字with时，open()返回的文件对象只在with代码块内使用。如果要在with代码块外使用，可在with代码块内将文件的各行存储在一个列表中，并在with代码块外使用该列表：你可以立即处理文件的各个部分，也可以推迟到程序后面在处理。

#文件过大时，不建议使用此方法，因为这都是要读到内存中的，你也不想内存溢出崩溃吧！
with open('a.txt',mode='r',encoding='utf-8') as f:
    lines=f.readlines()
    print(lines)   #这是故意打印出来让大家看的
for line in lines:
    print(line.rstrip())   #rstrip() 删除 string 字符串末尾的指定字符（默认为空格）
结果如下：
['饿饿饿饿饿饿饿饿1\n', '饿饿饿饿饿饿饿饿2\n', '饿饿饿饿饿饿饿饿3\n']  #这是lines的结果
饿饿饿饿饿饿饿饿1　　　　　　#这是line的结果
 
饿饿饿饿饿饿饿饿2
 
饿饿饿饿饿饿饿饿

二 写入文件 .write

保存数据最简单的方式之一是将其写入到文件中。

1、 写入空文件

　　要将文本写入文件，你在调用open()时需要提供另一个实参，告诉python你要写入打开的文件。

也就是说  注意：# 1、当文件存在时，清空   # 2、当文件不存在时，创建空文档  #3、也就是说不管怎么养都相当于创建了个空文件然后写入内容

with open('a.txt',mode='w',encoding='utf-8') as f:
    f.write('I love Python')
结果如下：
I love Python  #这是现在a.txt文件的内容，他本来是有其他内容的，看上述

2、附加到文件

　　你要给文件添加内容，而不是覆盖原有的内容，你可已附加模式打开文件。

　　你以附加模式打开文件时，Python不会在返回文件对象前清空文件，而你写入的文件内容都将追加到末尾。

　　如果指定的文件不存在时，将会创建一个空文件。

with open('a.txt',mode='a',encoding='utf-8') as f:
    f.write('\nI love Money\n')
    f.write("I love Music\n")
结果如下：

I love Python   #a.txt本就存在的内容
I love Money
I love Music

3、同时插入多个字符串 .writelines

with open('a.txt',mode='a',encoding='utf-8') as f:
    f.writelines(['qeqwe\n','qweadqe\n'])
 
结果如下：

I love Python
I love Money
I love Music
qeqwe  #追加的
qweadqe  #追加的

四 文件内光标移动

一: read(3)：

　　1. 文件打开方式为文本模式时，代表读取3个字符

　　2. 文件打开方式为b模式时，代表读取3个字节

二: 其余的文件内光标移动都是以字节为单位如seek，tell，truncate

注意：

　　1. seek有三种移动方式0，1，2，其中1和2必须在b模式下进行，但无论哪种模式，都是以bytes为单位移动的

　　2. truncate是截断文件，所以文件的打开方式必须可写，但是不能用w或w+等方式打开，因为那样直接清空文件了，所以truncate要在r+或a或a+等模式下测试效果

import time
with open('test.txt','rb') as f:
    f.seek(0,2)
    while True:
        line=f.readline()
        if line:
            print(line.decode('utf-8'))
        else:
            time.sleep(0.2)
 
练习：基于seek实现tail -f功能

基于seek实现tail -f功能

五 文件的修改

文件的数据是存放于硬盘上的，因而只存在覆盖、不存在修改这么一说，我们平时看到的修改文件，都是模拟出来的效果，具体的说有两种实现方式：

方式一：将硬盘存放的该文件的内容全部加载到内存，在内存中是可以修改的，修改完毕后，再由内存覆盖到硬盘（word，vim，nodpad++等编辑器）

#修改文件方式一：
#1、先把文件内容全部读入内存
#2、然后在内存中完成修改
#3、再把修改后的结果覆盖写入原文件
#缺点：会在文件内容过大的情况下，占用过多的内存
 
#replace() 方法把字符串中的 old（旧字符串） 替换成 new(新字符串)，如果指定第三个参数max，则替换不超过 max 次。
 
with open('user.txt',mode='rt',encoding='utf-8') as f:
    data=f.read()
    data=data.replace('修改前的数据','修改后的数据')
with open('user.txt',mode='w',encoding='utf-8') as f:
    f.write(data)

方式二：将硬盘存放的该文件的内容一行一行地读入内存，修改完毕就写入新文件，最后用新文件覆盖源文件

修改文件方式二：
1、以读的方式打开原文件，以写的方式打开一个新文件
2、不再过的耗费内存，但是执行过程中耗费硬盘，因为执行时同时时两个文件

import os
 
with open('user.txt',mode='rt',encoding='utf-8') as read_f,\
        open('user.txt.swap',mode='wt',encoding='utf-8') as write_f:
 
    for line in read_f:
        if '修改前的数据' in line:
            line=line.replace('修改前的数据','修改后的数据')
 
        write_f.write(line)
 
os.remove('user.txt')
os.rename('user.txt.swap','user.txt')

六 文件打开的模式b(bytes)模式

强调：

1、与t模式类似，不能单独使用，必须是rb，wb，ab

2、b模式下读写都是以bytes单位的

3、b模式下一定不能指定encoding参数，不指定encoding参数默认为二进制

4、b模式（二进制）可以读取文字，图片，视频，什么文件都可以（因为所有类型的数据都要以二进制形式存在硬盘中）

一、读取

#以二进制模式取读取图片文件
with open('1.jpg'mode='r') as f:
    data=f.read             print(data)
    print(type(data))
#以二进制模式读取文本文件
with open('a.txt',mode='rb')) as f:
    data=f.read()
    print(data.decode('utf-8')) #把二进制文件转换成utf-8也就是(bytes---unicode)
    print(type(data))

二、写入(简单的复制程序）

不仅可可以复制txt，图片视频都可以哦！

#已bytes打开文件，默认以bytes写入文件
with open('b.txt',mode='wb') as f:
    msg="你好啊，吴老师"
    f.write(msg.encoding('utf-8')) #默认是bytes，指定写入的编码模式utf-8
 
#ab模式
with open('b.tct',mode='ab') as f:
    f.write('你好'.encode(utf-8))
 
#拷贝 python3 copy.py src_file_path dst_file_path

三、以b模式操控文本文件

#以b模式操控文本文件
f=open(r'z\a.txt',mode='wb')
f=write('你好'.encode(utf-8))
f.close()