第十六天python3 文件IO(二)

BytesIO操作
　　io模块中的类
　　from io import BytesIO
　　内存中，开辟的一个二进制模式的buffer，可以像文件对象一样操作它；
　　当close方法被调用的时候，这个buffer会被释放

　　readable()    检查文件是否可读
　　writeable()   检查文件是否可写
　　seekable()   检查文件是否可以进行seek操作
　　readline()     读取文件一行
　　readlines()   读取文件多行
　　getvalue()    无视文件指针，输出文件全部内容

from io import BytesIO
bio = BytesIO()
print(bio.readable(),bio.writable(),bio.seekable())
bio.write(b'Hello\nBeijing')
bio.seek(0)
print(bio.readline())
print(bio.getvalue())
bio.close()
执行结果：
True True True
b'Hello\n'
[b'Hello\n', b'Beijing']
b'Hello\nBeijing'

StringIO操作
一般来说，磁盘的操作比内存的操作要慢的多，内存足够的情况下，一般的优化思路是少落地，减少磁盘IO的过程，可以大大提高程序运行效率；

from io import StringIO
sio = StringIO()
print(sio.readable(),sio.writable(),sio.seekable())
sio.write('Hello\nBeijing')
sio.seek(0)
print(sio.readline())
print(sio.getvalue())
sio.close()

执行结果：
True True True
Hello

Hello
Beijing

os操作

path模块

In [1]: from os import path
#返回绝对路径
In [2]: print(path.abspath('/etc/sysconfig/network-scripts/ifcfg-eth0'))
/etc/sysconfig/network-scripts/ifcfg-eth0
#返回文件名
In [3]: print(path.basename('/etc/sysconfig/network-scripts/ifcfg-eth0'))
ifcfg-eth0
#返回多个路径中共有的最长路径
In [4]: print(path.commonprefix(['/etc/sysconfig/network-scripts/ifcfg-eth0','/etc/passwd','/etc/redhat-release']))
/etc/
#返回文件路径
In [5]: print(path.dirname('/etc/sysconfig/network-scripts/ifcfg-eth0'))
/etc/sysconfig/network-scripts
#路径存在则返回True，路径不存在则返回False
In [6]: print(path.exists('/etc/sysconfig/network-scripts/ifcfg-eth0'))
True
#把path中包含‘~’的转换成用户目录
In [7]: print(path.expanduser('~'))
/root
#返回最近访问的时间(浮点型秒数)
In [8]: print(path.getatime('/etc/sysconfig/network-scripts/ifcfg-eth0'))
1534151273.6877685
#返回最近文件修改的时间
In [9]: print(path.getmtime('/etc/sysconfig/network-scripts/ifcfg-eth0'))
1561868750.23188
#返回文件创建的时间
In [10]: print(path.getctime('/etc/sysconfig/network-scripts/ifcfg-eth0'))
1561868750.23188
#返回文件的大小，如果文件不存在则返回错误
In [11]: print(path.getsize('/etc/sysconfig/network-scripts/ifcfg-eth0'))
200
#判断是否为绝对路径
In [12]: print(path.isabs('/etc/sysconfig/network-scripts/ifcfg-eth0'))
True
#判断是否为文件，非文件或者文件不存在则为False
In [13]: print(path.isfile('/network-scripts/ifcfg-eth0'))
False
#判断是否为文件，是文件则返回True
In [14]: print(path.isfile('/etc/sysconfig/network-scripts/ifcfg-eth0'))
True
#判断是否为目录
In [15]: print(path.isdir('/etc/sysconfig/network-scripts'))
True
#判断是否为软连接，是软连接则为True
In [16]: print(path.islink('/etc/sysconfig/network-scripts/ifup-isdn'))
True
#判断是否为挂载点
In [17]: print(path.ismount('/'))
True
#把目录和文件拼接成路径
In [18]: print(path.join('/etc','network','ifconfig'))
/etc/network/ifconfig
#返回软连接具体指向的文件路径(/usr/sbin/nginx -> /usr/local/openresty/nginx/sbin/nginx)
In [19]: print(path.realpath('/usr/sbin/nginx'))
/usr/local/openresty/nginx/sbin/nginx
#判断目录或者文件是否相同
In [20]: print(path.samefile('/etc/sysconfig/network-scripts/ifcfg-eth0','/etc/passwd'))
False
#把路径分割成dirname和basename，返回一个元组
In [21]: print(path.split('/etc/sysconfig/network-scripts/ifcfg-eth0'))
('/etc/sysconfig/network-scripts', 'ifcfg-eth0')
#遍历目录
In [23]: import os

In [24]: for root,dirs,files in os.walk('/etc/sysconfig/network-scripts',topdown=False):
    ...:     for name in files:
    ...:         print(path.join(root,name))
    ...:     for name in dirs:
    ...:         print(path.join(root,name))
    ...:
/etc/sysconfig/network-scripts/route-eth0
/etc/sysconfig/network-scripts/ifup-ippp
/etc/sysconfig/network-scripts/ifup-aliases
/etc/sysconfig/network-scripts/ifdown-ippp
/etc/sysconfig/network-scripts/ifup-TeamPort
/etc/sysconfig/network-scripts/ifdown-ppp
/etc/sysconfig/network-scripts/ifup-ipv6
/etc/sysconfig/network-scripts/ifup
/etc/sysconfig/network-scripts/init.ipv6-global
/etc/sysconfig/network-scripts/ifdown-TeamPort
/etc/sysconfig/network-scripts/ifdown-ipv6
/etc/sysconfig/network-scripts/route6-eth0
/etc/sysconfig/network-scripts/ifup-Team
/etc/sysconfig/network-scripts/ifdown-isdn
/etc/sysconfig/network-scripts/ifup-ppp

In [1]: from os import path
#path.splitdrive(path)  一般在windows下，返回驱动器名和路径组成的元组
In [2]: print(path.splitdrive(b'C:\Users\Sunjingxue\Downloads'))
(b'C:',b'\\Users\\Sunjingxue\\Downloads')

　　os.listdir('o:/temp') 返回目录内容列表
　　os也有open、read、write等方法，但是太低级，建议使用内建函数open、read、write，使用方法相似；
示例：
　　ln -s test t1 建立一个软连接
　　os.stat(path,*,dir_fd=None,follow_symlinks=True) 本质上调用Linux系统的stat；
　　path：路径的string或者bytes，或者fd文件描述符；
　　follow_symlinks True返回文本本身信息，False且如果是软连接则显示软连接本身；
　　os.chmod(path,mode,*,dir_fd=None,follow_symlinks=True)
　　os.chmod('test',0o777)
　　os.chown(path,uid,gid) 改变文件的属主、属组，但需要足够的权限；

目录操作

In [1]: from pathlib import Path
#返回当前目录下的a/b/c/d
In [3]: p = Path('a','b','c/d')  

In [4]: print(p)
a/b/c/d
#返回根下的etc目录
In [5]: p = Path('/etc')

In [6]: print(p)
/etc
#返回/etc/sys/net/ifcfg目录
In [7]: a = Path('/etc','sys','net/ifcfg')

In [8]: print(a)
/etc/sys/net/ifcfg
#返回当前目录
In [9]: print(Path())
.

路径拼接和分解

In [21]: from pathlib import Path
#初始化
In [22]: fc = Path()

In [23]: fc = fc / 'sys'

In [24]: print(fc)
sys

In [25]: fd = fc / 'network'

In [26]: print(fd)
sys/network

In [27]: fe = Path('e/f/g')

In [28]: ff = fd / fe

In [29]: print(ff)
sys/network/e/f/g
#parts属性，可以返回路径中的每一个部分
In [30]: print(ff.parts)
('sys', 'network', 'e', 'f', 'g')
#连接多个字符串到Path对象中
In [31]: print(ff.joinpath('init','httpd',Path('conf.d')))
sys/network/e/f/g/init/httpd/conf.d

In [1]: from pathlib import Path

In [2]: p = Path('/usr/local/openresty/nginx/conf/nginx.conf')
#获取目录的最后一部分
In [3]: p.name
Out[3]: 'nginx.conf'
#获取目录的最后一部分，没有扩展名
In [4]: p.stem
Out[4]: 'nginx'
#获取目录最后一部分的扩展名
In [5]: p.suffix
Out[5]: '.conf'
#替换目录中的最后一部分，并返回一个新的路径
In [6]: p.with_name('tomcat.xml')
Out[6]: PosixPath('/usr/local/openresty/nginx/conf/tomcat.xml')
#替换目录中最后一部分的扩展名，返回新的路径，扩展名存在则无效；
In [7]: p.with_suffix('.xml')
Out[7]: PosixPath('/usr/local/openresty/nginx/conf/nginx.xml')
#返回多个扩展名列表
In [8]: print(Path(str(p)+'.xml').suffixes)
['.conf', '.xml']
#给配置文件添加后缀
In [9]: print(Path(str(p)+'.xml'))
/usr/local/openresty/nginx/conf/nginx.conf.xml

In [1]: from pathlib import Path

In [2]: p = Path('/usr/local/openresty/nginx/conf/nginx.conf')

In [13]: print(p)
/usr/local/openresty/nginx/conf/nginx.conf
#返回当前工作目录
In [14]: print(p.cwd())
/root
#返回当前家目录
In [15]: print(p.home())
/root
#判断是否为目录
In [16]: print(p.is_dir())
False
#判断是否为文件
In [17]: print(p.is_file())
True
#判断是否为软链接
In [18]: print(p.is_symlink())
False
#判断是否为socket文件
In [19]: print(p.is_socket())
False
#判断是否为块设备
In [20]: print(p.is_block_device())
False
#判断是否为字符设备
In [21]: print(p.is_char_device())
False
#判断是否为绝对路径
In [22]: print(p.is_absolute())
True

In [23]: print(p.resolve())
/usr/local/openresty/nginx/conf/nginx.conf
#resolve(),返回一个新的路径，这个新路径就是当Path对象的绝对路径，如果是软链接则直接被解析
In [24]: f = Path('/usr/sbin/nginx')

In [25]: print(f.resolve())
/usr/local/openresty/nginx/sbin/nginx
#absolute() 获取绝对路径，但是推荐使用resolve()
In [26]: print(p.absolute())
/usr/local/openresty/nginx/conf/nginx.conf
#exists()判断目录或者文件是否存在
In [27]: print(p.exists())
True
#rmdir()删除空目录
In [29]: k = Path('/root/test')

In [30]: k.rmdir()

In [31]: print(k.is_dir())
False
#as_uri()将路径返回成URI
In [32]: print(p.as_uri())
file:///usr/local/openresty/nginx/conf/nginx.conf
#touch()创建一个文件
In [39]: t = Path('/root/test.txt')

In [40]: t.touch(mode=0o666,exist_ok=True)
#mkdir()创建一个目录
In [41]: m = Path('/root/testdir')

In [42]: m.mkdir(mode=0o644,parents=False,exist_ok=False)

In [43]: print(m.is_dir)
<bound method Path.is_dir of PosixPath('/root/testdir')>
#目录创建成功
In [44]: print(m.is_dir())
True
#文件创建成功
In [45]: print(t.is_file())
True
#parents,是否创建父目录，True等同于mkdir -p；False时，父目录不存在，则抛出FileNotFoundError
#exist_ok参数，在3.5版本加入，False时，路径存在，则抛出FileExistsError，True时，FileExistsError被忽略

#目录遍历示例：
In [58]: f = Path('/usr/sbin/nginx')

In [59]: print(f)
/usr/sbin/nginx

In [61]: print(f.parents[len(f.parents)-2])
/usr
#iterdir()迭代当前目录
In [65]: it = f.parents[len(f.parents)-2].iterdir()

In [66]: for i in it:
    ...:     print(i)
    ...:
/usr/java
/usr/c6x-uclinux
/usr/avr32-linux-gnu
/usr/tilegx-linux
/usr/h8300-linux-gnu
/usr/lib
/usr/hppa64-linux-gnu
/usr/games
/usr/local

通配符

　　glob(pattern) 通配给定的模式
　　rglob(pattern)通配给定的模式，递归目录
　　返回一个生成器

In [1]: from pathlib import Path

In [2]: p = Path('/etc/sysconfig/network-scripts')
#返回当前目录对象下以ifcfg开头的文件
In [3]: print(list(p.glob('ifcfg*')))
[PosixPath('/etc/sysconfig/network-scripts/ifcfg-eth0'), PosixPath('/etc/sysconfig/network-scripts/ifcfg-lo'), PosixPath('/etc/sysconfig/network-scripts/ifcfg-eth0:1')]
#在root目录下创建3级目录mkdir -pv /root/1/2/3，分别在1/2/3目录下创建1.py、2.py、3.py文件
In [6]: py = Path('/root/1')
#递归所有目录，找出以.py结尾的文件，等同于rglob
In [7]: print(list(py.glob('**/*.py')))
[PosixPath('/root/1/1.py'), PosixPath('/root/1/2/2.py'), PosixPath('/root/1/2/3/3.py')]
#rglob()递归所有目录，返回一个生成器；
In [8]: print(py.rglob('*.py'))
<generator object Path.rglob at 0x7f9fc04997d8>

In [9]: print(list(py.rglob('*.py')))
[PosixPath('/root/1/1.py'), PosixPath('/root/1/2/2.py'), PosixPath('/root/1/2/3/3.py')]

匹配
match(pattern)
模式匹配，成功返回True

In [10]: print(Path('/root/1/1.py').match('*.py'))
True

In [11]: print(Path('/root/1/2/2.py').match('2/*.py'))
True

In [12]: print(Path('/root/1/2/2.py').match('1/*.py'))
False

In [13]: print(Path('/root/1/2/2.py').match('1/*/*.py'))
True

In [14]: print(Path('/root/1/2/2.py').match('/1/*/*.py'))
False

In [15]: print(Path('/root/1/2/2.py').match('root/*/*.py'))
False

In [16]: print(Path('/root/1/2/2.py').match('root/*/*/*.py'))
True

In [17]: print(Path('/root/1/2/2.py').match('root/**/*.py'))
False

In [18]: print(Path('/root/1/2/2.py').match('root/**/*/*.py'))
True

In [19]: print(Path('/root/1/2/2.py').match('**/*.py'))
True

获取文件元数据

stat() 相当于stat命令
lstat()同stat() 但如果是符号链接，则显示符号链接本身的文件信息；

In [20]: s = Path('/etc/sysconfig/network-scripts/ifcfg-eth0')
#相当于Linux的stat命令
In [21]: print(s.stat())
os.stat_result(st_mode=33188, st_ino=276105, st_dev=64769, st_nlink=1, st_uid=0, st_gid=0, st_size=200, st_atime=1534151273, st_mtime=1561868750, st_ctime=1561868750)
#这是一个软连接
In [22]: l = Path('/usr/sbin/nginx')
#软链接追踪，显示实际链接文件的信息
In [23]: print(l.stat())
os.stat_result(st_mode=33261, st_ino=666280, st_dev=64769, st_nlink=1, st_uid=0, st_gid=0, st_size=16727928, st_atime=1620292430, st_mtime=1619687027, st_ctime=1620292578)
#显示软连接本身的文件信息
In [24]: print(l.lstat())
os.stat_result(st_mode=41471, st_ino=309800, st_dev=64769, st_nlink=1, st_uid=0, st_gid=0, st_size=37, st_atime=1612773100, st_mtime=1612773100, st_ctime=1612773100)
#/usr/sbin/nginx ---> /usr/local/openresty/nginx/sbin/nginx
In [25]: ll = Path('/usr/local/openresty/nginx/sbin/nginx')
#通过23和26就可证明，当stat()获取软链接信息时，获取的是实际文件的信息
In [26]: print(ll.stat())
os.stat_result(st_mode=33261, st_ino=666280, st_dev=64769, st_nlink=1, st_uid=0, st_gid=0, st_size=16727928, st_atime=1620292430, st_mtime=1619687027, st_ctime=1620292578)

文件操作
　　使用方法类似内建函数(open(mode='r',buffering= -1,encoding= None,errors=None,newline=None))返回一个文件对象;3.5后增加的新函数;
　　read_bytes()
　　　　以‘rb’读取路径对应文件，并返回二进制流；
　　read_text(encoding=None,errors=None)
　　　　以‘rt’方式读取路径对应文件，返回文本；
　　read_bytes 实际调用的都是open方法；

　　Path.write_bytes(data)
　　　　以'wb'方式写入数据到路径对应文件；

　　write_text(data,encoding=None,errors=None)
　　　　以'wt'方式写入字符串到路径对应文件；

In [27]: from pathlib import Path

In [28]: t = Path('/root/1/1.py')

In [29]: t.write_bytes(b'Beijing Hello')
Out[29]: 13

In [30]: t.read_bytes()
Out[30]: b'Beijing Hello'

In [31]: t1 = Path('/root/1/2/2.py')

In [32]: t1.write_text('Hello BeiJing')
Out[32]: 13

In [33]: t1.read_text()
Out[33]: 'Hello BeiJing'

In [34]: with t1.open() as f:
    ...:     print(f.read(5))
    ...:
Hello

shutil模块
该模块不仅仅可以复制文件内容，也可以复制文件的stat信息；还可以复制目录；
copy复制
　　copyfileobj(fsrc,fdist[,length])
　　　　文件对象的复制，fsrc和fdist是open打开的文件对象，复制内容，fdist要求可写；length指定了表示buffer的大小；

import shutil
with open('C:/Users/Sunjingxue/Downloads/test.txt','r+') as f:
    f.write('Hello\nBeiJing')
    f.flush()
#此时指针是在末尾，如果不seek(0)，则复制的内容是空；
    print(f.tell())
    f.seek(0)
    with open('C:/Users/Sunjingxue/Downloads/test1.txt','w') as f1:
        shutil.copyfileobj(f,f1)

　　copyfile(src,dst,*,follow_symlinks=True)
　　　　复制文件内容，不包含元数据，src、dst为文件的路径字符串，其本质上调用的就是copyfileobj，所以不带元数据内容复制；

In [1]: import shutil

In [2]: shutil.copyfile('/root/copyfile.txt','/root/copyfile01,txt')
Out[2]: '/root/copyfile01.txt'

In [4]: with open('/root/copyfile01.txt') as f:
   ...:     print(f.read())
   ...:
Hello BeiJing

In [7]: from pathlib import Path

In [8]: print(Path('/root/copyfile.txt').stat())
os.stat_result(st_mode=33188, st_ino=407296, st_dev=64769, st_nlink=1, st_uid=0, st_gid=0, st_size=14, st_atime=1620459966, st_mtime=1620459966, st_ctime=1620460023)

In [10]: print(Path('/root/copyfile01,txt').stat())
os.stat_result(st_mode=33188, st_ino=403577, st_dev=64769, st_nlink=1, st_uid=0, st_gid=0, st_size=14, st_atime=1620460037, st_mtime=1620460037, st_ctime=1620460037)

　　copymode(src,dst,*,follow_symlinks=True)
　　　　仅仅复制权限；

In [1]: from pathlib import Path
#copyfile.txt的权限是33279，转换成8进制就是777；
In [2]: print(Path('/root/copyfile.txt').stat())
os.stat_result(st_mode=33279, st_ino=407296, st_dev=64769, st_nlink=1, st_uid=0, st_gid=0, st_size=14, st_atime=1620459966, st_mtime=1620459966, st_ctime=1620461219)
#copyfile01.txt的权限是33188，转换成8进制就是644
In [3]: print(Path('/root/copyfile01.txt').stat())
os.stat_result(st_mode=33188, st_ino=403577, st_dev=64769, st_nlink=1, st_uid=0, st_gid=0, st_size=14, st_atime=1620461057, st_mtime=1620461057, st_ctime=1620461095)

In [4]: import shutil
#仅复制权限
In [5]: shutil.copymode('/root/copyfile.txt','/root/copyfile01.txt')
#执行完成后copyfile01.txt的权限也哼33279了；
In [6]: print(Path('/root/copyfile01.txt').stat())
os.stat_result(st_mode=33279, st_ino=403577, st_dev=64769, st_nlink=1, st_uid=0, st_gid=0, st_size=14, st_atime=1620461057, st_mtime=1620461057, st_ctime=1620461474)

In [7]: oct(33279)
Out[7]: '0o100777'

　　copystat(src,dst,*,follow_symlinks=True)
　　　　复制元数据，stat包含权限，不复制文件内容；

In [1]: from pathlib import Path

In [2]: print(Path('/root/copyfile.txt').stat())
os.stat_result(st_mode=33279, st_ino=407296, st_dev=64769, st_nlink=1, st_uid=0, st_gid=0, st_size=14, st_atime=1620459966, st_mtime=1620459966, st_ctime=1620461219)

In [3]: print(Path('/root/copyfile01.txt').stat())
os.stat_result(st_mode=33188, st_ino=403577, st_dev=64769, st_nlink=1, st_uid=0, st_gid=0, st_size=0, st_atime=1620461963, st_mtime=1620461963, st_ctime=1620461963)

In [4]: import shutil

In [5]: shutil.copystat('/root/copyfile.txt','/root/copyfile01.txt')

In [6]: print(Path('/root/copyfile01.txt').stat())
os.stat_result(st_mode=33279, st_ino=403577, st_dev=64769, st_nlink=1, st_uid=0, st_gid=0, st_size=0, st_atime=1620459966, st_mtime=1620459966, st_ctime=1620462075)

　　copy(src,dst,*,follow_symlinks=True)
　　　　复制文件内容，权限和部分元数据，不包括创建时间和修改时间；本质上调用的是copyfile和copymode；
　　copy2(src,dst,*,follow_symlinks=True)
　　　　copy2比copy多了复制全部元数据，但是需要平台支持；本质上调用的是copyfile和copystat；
　　copytree(src,dst,symlinks=False,ignore=None,copy_function=copy2,ignore_dangling_symlinks=False)
　　　　递归复制目录，默认使用copy2，也就是带更多的元数据复制；src、dst必须是目录，src必须存在，dst必须不存在；
　　　　ignore = func，提供一个callable(src,names)--->ignored_names。提供一个函数名，src是源目录，names是os.listdir(src)的结果，就是列出src中的文件名，返回值是要被过滤的文件名的set类型数据；

rm删除
　　shutil.rmtree(path,ignore_errors=False,onerror=None)
　　　　递归删除，如同rm -rf一样；
　　ignore_errors为True，忽略错误；当为False或者omitted时，onerror生效；
　　　　onerror为callable，接受函数function、path和execinfo；
move移动
　　move(src,dst,copy_function=copy2)
　　　　递归移动文件、目录到目标、返回目标；本身使用的是os.rename方法，默认使用copy2方法；

shutil还有打包功能，生成tar并压缩，支持zip、gz、bz、xz；但是该模块的打包功能还是调用的shell命令，所以实际使用的时候直接用shell命令会更方便；