python同步IO编程——基本概念和文件的读写
IO——Input/Output,即输入输出。对于计算机来说,程序运行时候数据是在内存中的,涉及到数据交换的地方,通常是磁盘、网络等。比如通过浏览器访问一个网站,浏览器首先把请求数据发送给网站服务器,这个动作叫外发数据,即Output,随后网站服务器把数据网页发送给浏览器,这个动作是从外面接收数据,即Input。从磁盘读取文件到内存,叫Input,反过来,吧数据写到磁盘的文件里,叫Output操作。
IO编程中,一般都是用Stream(流)的概念来描述数据的动作,Input Stream 表示数据流进内存,Output Stream表示数据从内存中流出去。
一般来说,CPU和内存的运行速度远远高于外设的速度,外设的速度往往是制约系统性能的瓶颈。比如,要把100M的数据写入磁盘,CPU输出100M的数据只需要0.01秒,可是磁盘要接收这100M数据可能需要10秒。这时有同步和异步IO的区分:
同步IO:CPU等着,也就是程序暂停执行后续代码,等100M的数据在10秒后写入磁盘,再接着往下执行
异步IO:是CPU不等待,只是告诉磁盘,“您老慢慢写,不着急,我接着干别的事去了”,于是,后续代码可以立刻接着执行
同步和异步的主要区别就是是否等待IO执行的结果。异步IO的性能往往明显高于同步IO,这里我们先介绍同步IO编程。
现代操作系统都不会允许普通的程序直接操作磁盘,读写操作都是由操作系统封装了具体的实现细节并提供接口的方式实现的——读写文件就是请求操作系统打开一个文件对象(通常我们称为文件描述符),然后操作系统提供接口从这个文件对象中读取数据,或者把数据写入到这个文件中,
读文件
python内置了open()函数用于读取文件,需要传入文件名和标识符:
f = open('err.py','r')
其中标识符'r'表示读的动作。如果文件不存在会抛出一个IOError的错误:
>>> f = open('/err.py','r')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
FileNotFoundError: [Errno 2] No such file or directory: '/err.py'
成功读取文件后,可以使用read()方法一次性读取文件中所有的内容,以str的类型表示:
>>> f.read()
"def foo(s):\n return 10 / int(s)\ndef bar(s):\n return foo(s) * 2\ndef main():\n ……
最后一步,非常重要——调用close()函数关闭文件:
>>> f.close()
>>> f.read()
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
ValueError: I/O operation on closed file.
通常,我们在读写文件的时候可能产生IOError错误,为了确保一定要执行close动作,我们可以使用try……finally来实现:
>>> try:
... f = open('err.py','r')
... print(f.read())
... finally:
... if f :
... f.close()
...
def foo(s):
return 10 / int(s)
def bar(s):
return foo(s) * 2
def main():
bar('') main()
>>> f.read()
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
ValueError: I/O operation on closed file.
如果我们多次打开文件,这个过程有点啰嗦。python提供了with语句,将会自动调用close()方法:
>>> with open('err.py','r') as f:
... print(f.read())
...
def foo(s):
return 10 / int(s)
def bar(s):
return foo(s) * 2
def main():
bar('') main()
>>> f.read()
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
ValueError: I/O operation on closed file.
另外,如果文件过大,一次性打开内存会吃不消的,而且有时候也不是一定要读取所有的内容。这时可以使用read(size)方法,每次最多读取size个字节的内容。另外readline()允许我们每次读取一行内容;readlines()允许我们一次性读取所有内容并分行返回,返回结果是个list。
>>> f = open('err.py','r')
>>> f.readline()
'def foo(s):\n'
>>> f.readline()
' return 10 / int(s)\n'
>>> f.readline()
'def bar(s):\n'
>>> f.readlines()
[' return foo(s) * 2\n', 'def main():\n', " bar('0')\n", '\n', 'main()']
>>> f.readlines()
[]
我们由此发现,每一次readline()或者readlines()方法都是在上次读取结果之后继续执行的,可以想象成有一个虚拟的光标存在。
要读取二进制文件,比如图片、视频等等,用'rb'
模式打开文件即可:
>>> f = open('C:/Users/WC/Pictures/图片/头像.jpg','rb')
>>> f.read()
b'\xff\xd8\xff\xe0\x00\x10J……
另外,open()函数还可以通过传入encoding参数,表示用指定编码打开文件;
如果有些文件中夹杂了一些非法编码的字符,open()函数还可以接受一个errors参数,表示遇到编码错误后如何处理,其中ignore表示直接忽略错误:
f = open('/Users/michael/gbk.txt', 'r', encoding='gbk', errors='ignore')
写文件
当open()函数传入的标识符为'w'或者‘wb’时,表示写文本文件或者二进制文件:
>>> f = open('/Users/wc/test.txt', 'w',encoding='gbk'
)
>>> f.write('Hello, world!')
>>> f.close()
上面的语句会把‘Hello, world!’直接覆盖原始的文件;如果想把要写入的内容追加在原始文件后面,可以添加参数'a',表示append的意思。
切记:写入文件后,一定不要忘了close()文件,否则不能保证数据全部都写入磁盘!!!
file-like Object
像open()
函数返回的这种有个read()
方法的对象,在Python中统称为file-like Object。除了file外,还可以是内存的字节流,网络流,自定义流等等。file-like Object不要求从特定类继承,只要写个read()
方法就行
python同步IO编程——基本概念和文件的读写的更多相关文章
- python同步IO编程——StringIO、BytesIO和stream position
主要介绍python两个内存读写IO:StringIO和BytesIO,使得读写文件具有一致的接口 StringIO 内存中读写str.需要导入StringIO >>> from i ...
- python异步IO编程(一)
python异步IO编程(一) 基础概念 协程:python generator与coroutine 异步IO (async IO):一种由多种语言实现的与语言无关的范例(或模型). asyncio ...
- python异步IO编程(二)
python异步IO编程(二) 目录 开门见山 Async IO设计模式 事件循环 asyncio 中的其他顶层函数 开门见山 下面我们用两个简单的例子来让你对异步IO有所了解 import asyn ...
- Python之IO编程——文件读写、StringIO/BytesIO、操作文件和目录、序列化
IO编程 IO在计算机中指Input/Output,也就是输入和输出.由于程序和运行时数据是在内存中驻留,由CPU这个超快的计算核心来执行,涉及到数据交换的地方,通常是磁盘.网络等,就需要IO接口.从 ...
- 【Python】IO编程
文件读写 StringIO和BytesIO 操作文件和目录 序列化 学习廖老师的py官网的笔记 1.stream的概念.数据交换通常需要建立两根“水管”. 2.同步IO和异步IO.异步性能高,但是编程 ...
- python 同步IO
IO在计算机中指Input/Output 由CPU这个超快的计算核心来执行,涉及到数据交换的地方,通常是磁盘.网络等,就需要IO接口.IO编程中,Stream(流)是一个很重要的概念,可以把流想象成一 ...
- Python笔记-IO编程
IO在计算机中是指input和output(数据输入与输出),涉及到数据交换(磁盘.网络)的地方就需要IO接口. 输入流input stream是指数据从外面(磁盘.网络服务器)流入内存:输出流out ...
- Python之IO编程
前言:由于程序和运行数据是在内存中驻留的,由CPU这个超快的计算核心来执行.当涉及到数据交换的地方,通常是磁盘.网络等,就需要IO接口.由于CPU和内存的速度远远高于外设的速度,那么在IO编程中就存在 ...
- Python 同步IO/异步IO了解
说明: 对于一次IO访问(以read举例),数据会先被拷贝到操作系统内核的缓冲区中,然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间.所以说,当一个read操作发生时,它会经历两个阶段: 1. ...
随机推荐
- postgresql12 b-tree v4空间上和性能上的优化
在 pg v11 和 v12 上 常见测试用例 CREATE TABLE rel ( a bigint NOT NULL, b bigint NOT NULL ); ALTER TABLE rel A ...
- 【集训Day2 哈希表】【NHOI2015】【Luogu P2421】差
LuoguP2421 原题来自NHOI2015 [解题思路] 本题的解题方法有三种,一种为枚举减数,二分查找被减数.第二种为利用数据单调性用尺取法进行查找,第三种为运用哈希表以快速查找数据. [解题反 ...
- Stream系列(五)Min Max Average方法使用
最小值,最大值,平均值 EmployeeTestCase.java package com.example.demo; import lombok.Data; import lombok.ToStri ...
- python基本文件操作
python文件操作 python的文件操作相对于java复杂的IO流简单了好多,只要关心文件的读和写就行了 基本的文件操作 要注意的是,当不存在某路径的文件时,w,a模式会自动新建此文件夹,当读模式 ...
- flex布局实现瀑布流排版
网上有很多有关js(jq)实现瀑布流和有关瀑布流的插件很多,例如:插件(Masonry,Wookmark等等).按照正常的逻辑思维,瀑布流的排版(item列表)一般都是 由左到右,上而下排序的结果,单 ...
- Hibernate注解之@Enumerated:针对枚举enum(转)
https://my.oschina.net/xinxingegeya/blog/359968 @Column(name = "store_type", nullable = fa ...
- Flink入门(二)——Flink架构介绍
1.基本组件栈 了解Spark的朋友会发现Flink的架构和Spark是非常类似的,在整个软件架构体系中,同样遵循着分层的架构设计理念,在降低系统耦合度的同时,也为上层用户构建Flink应用提供了丰富 ...
- js中的Object.assign接受两个函数为参数的时候会发生什么?
缘由 今天看到一段代码 return Object.assign(func1, func2); 心生疑惑,为什么 Object.assign 的参数可以是函数? 于是有了下面这一堆东西,其实都是老生常 ...
- STM32 GPIO口的配置和应用
STM32F103ZET6 一共有7组IO口(有FT的标识是可以识别5v的) 每组IO口有16个IO 一共16*7=112个IO 4种输入模式: (1) GPIO_Mode_AIN 模拟输入 (2) ...
- Java修炼——面向对象的三大特征_封装的使用
封装的作用含义:程序设计追求"高内聚,低耦合" 1.提高代码的安全性 2.提高代码的复用性 3."高内聚":封装细节,便于修改内部代码,提高可 维护性 4.&q ...