IO——Input/Output,即输入输出。对于计算机来说,程序运行时候数据是在内存中的,涉及到数据交换的地方,通常是磁盘、网络等。比如通过浏览器访问一个网站,浏览器首先把请求数据发送给网站服务器,这个动作叫外发数据,即Output,随后网站服务器把数据网页发送给浏览器,这个动作是从外面接收数据,即Input。从磁盘读取文件到内存,叫Input,反过来,吧数据写到磁盘的文件里,叫Output操作。

IO编程中,一般都是用Stream(流)的概念来描述数据的动作,Input Stream 表示数据流进内存,Output Stream表示数据从内存中流出去。

一般来说,CPU和内存的运行速度远远高于外设的速度,外设的速度往往是制约系统性能的瓶颈。比如,要把100M的数据写入磁盘,CPU输出100M的数据只需要0.01秒,可是磁盘要接收这100M数据可能需要10秒。这时有同步和异步IO的区分:

同步IO:CPU等着,也就是程序暂停执行后续代码,等100M的数据在10秒后写入磁盘,再接着往下执行

异步IO:是CPU不等待,只是告诉磁盘,“您老慢慢写,不着急,我接着干别的事去了”,于是,后续代码可以立刻接着执行

同步和异步的主要区别就是是否等待IO执行的结果。异步IO的性能往往明显高于同步IO,这里我们先介绍同步IO编程。

现代操作系统都不会允许普通的程序直接操作磁盘,读写操作都是由操作系统封装了具体的实现细节并提供接口的方式实现的——读写文件就是请求操作系统打开一个文件对象(通常我们称为文件描述符),然后操作系统提供接口从这个文件对象中读取数据,或者把数据写入到这个文件中,

读文件

python内置了open()函数用于读取文件,需要传入文件名和标识符:

 f = open('err.py','r')

其中标识符'r'表示读的动作。如果文件不存在会抛出一个IOError的错误:

>>> f = open('/err.py','r')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
FileNotFoundError: [Errno 2] No such file or directory: '/err.py'

成功读取文件后,可以使用read()方法一次性读取文件中所有的内容,以str的类型表示:

>>> f.read()
"def foo(s):\n return 10 / int(s)\ndef bar(s):\n return foo(s) * 2\ndef main():\n ……

最后一步,非常重要——调用close()函数关闭文件:

>>> f.close()
>>> f.read()
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
ValueError: I/O operation on closed file.

通常,我们在读写文件的时候可能产生IOError错误,为了确保一定要执行close动作,我们可以使用try……finally来实现:

>>> try:
... f = open('err.py','r')
... print(f.read())
... finally:
... if f :
... f.close()
...
def foo(s):
return 10 / int(s)
def bar(s):
return foo(s) * 2
def main():
bar('') main()
>>> f.read()
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
ValueError: I/O operation on closed file.

如果我们多次打开文件,这个过程有点啰嗦。python提供了with语句,将会自动调用close()方法:

>>> with open('err.py','r') as f:
... print(f.read())
...
def foo(s):
return 10 / int(s)
def bar(s):
return foo(s) * 2
def main():
bar('') main()
>>> f.read()
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
ValueError: I/O operation on closed file.

另外,如果文件过大,一次性打开内存会吃不消的,而且有时候也不是一定要读取所有的内容。这时可以使用read(size)方法,每次最多读取size个字节的内容。另外readline()允许我们每次读取一行内容;readlines()允许我们一次性读取所有内容并分行返回,返回结果是个list。

>>> f = open('err.py','r')
>>> f.readline()
'def foo(s):\n'
>>> f.readline()
' return 10 / int(s)\n'
>>> f.readline()
'def bar(s):\n'
>>> f.readlines()
[' return foo(s) * 2\n', 'def main():\n', " bar('0')\n", '\n', 'main()']
>>> f.readlines()
[]

我们由此发现,每一次readline()或者readlines()方法都是在上次读取结果之后继续执行的,可以想象成有一个虚拟的光标存在。

要读取二进制文件,比如图片、视频等等,用'rb'模式打开文件即可:

>>> f =  open('C:/Users/WC/Pictures/图片/头像.jpg','rb')
>>> f.read()
b'\xff\xd8\xff\xe0\x00\x10J……

另外,open()函数还可以通过传入encoding参数,表示用指定编码打开文件;

如果有些文件中夹杂了一些非法编码的字符,open()函数还可以接受一个errors参数,表示遇到编码错误后如何处理,其中ignore表示直接忽略错误:

f = open('/Users/michael/gbk.txt', 'r', encoding='gbk', errors='ignore')

写文件

当open()函数传入的标识符为'w'或者‘wb’时,表示写文本文件或者二进制文件:

>>> f = open('/Users/wc/test.txt', 'w',encoding='gbk')
>>> f.write('Hello, world!')
>>> f.close()

上面的语句会把‘Hello, world!’直接覆盖原始的文件;如果想把要写入的内容追加在原始文件后面,可以添加参数'a',表示append的意思。

切记:写入文件后,一定不要忘了close()文件,否则不能保证数据全部都写入磁盘!!!

file-like Object

open()函数返回的这种有个read()方法的对象,在Python中统称为file-like Object。除了file外,还可以是内存的字节流,网络流,自定义流等等。file-like Object不要求从特定类继承,只要写个read()方法就行

python同步IO编程——基本概念和文件的读写的更多相关文章

  1. python同步IO编程——StringIO、BytesIO和stream position

    主要介绍python两个内存读写IO:StringIO和BytesIO,使得读写文件具有一致的接口 StringIO 内存中读写str.需要导入StringIO >>> from i ...

  2. python异步IO编程(一)

    python异步IO编程(一) 基础概念 协程:python  generator与coroutine 异步IO (async IO):一种由多种语言实现的与语言无关的范例(或模型). asyncio ...

  3. python异步IO编程(二)

    python异步IO编程(二) 目录 开门见山 Async IO设计模式 事件循环 asyncio 中的其他顶层函数 开门见山 下面我们用两个简单的例子来让你对异步IO有所了解 import asyn ...

  4. Python之IO编程——文件读写、StringIO/BytesIO、操作文件和目录、序列化

    IO编程 IO在计算机中指Input/Output,也就是输入和输出.由于程序和运行时数据是在内存中驻留,由CPU这个超快的计算核心来执行,涉及到数据交换的地方,通常是磁盘.网络等,就需要IO接口.从 ...

  5. 【Python】IO编程

    文件读写 StringIO和BytesIO 操作文件和目录 序列化 学习廖老师的py官网的笔记 1.stream的概念.数据交换通常需要建立两根“水管”. 2.同步IO和异步IO.异步性能高,但是编程 ...

  6. python 同步IO

    IO在计算机中指Input/Output 由CPU这个超快的计算核心来执行,涉及到数据交换的地方,通常是磁盘.网络等,就需要IO接口.IO编程中,Stream(流)是一个很重要的概念,可以把流想象成一 ...

  7. Python笔记-IO编程

    IO在计算机中是指input和output(数据输入与输出),涉及到数据交换(磁盘.网络)的地方就需要IO接口. 输入流input stream是指数据从外面(磁盘.网络服务器)流入内存:输出流out ...

  8. Python之IO编程

    前言:由于程序和运行数据是在内存中驻留的,由CPU这个超快的计算核心来执行.当涉及到数据交换的地方,通常是磁盘.网络等,就需要IO接口.由于CPU和内存的速度远远高于外设的速度,那么在IO编程中就存在 ...

  9. Python 同步IO/异步IO了解

    说明: 对于一次IO访问(以read举例),数据会先被拷贝到操作系统内核的缓冲区中,然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间.所以说,当一个read操作发生时,它会经历两个阶段: 1. ...

随机推荐

  1. Java设计模式之鸭子模式

    这两天在看HeadFirst设计模式,第一种鸭子模式都不太理解.后来在百度知道上看了某大神的解释 明白了不少. 列出如下: 假设我们需要设计出各种各样的鸭子,一边游泳戏水, 一边呱呱叫.很明显这时我们 ...

  2. 【原创】(十二)Linux内存管理之vmap与vmalloc

    背景 Read the fucking source code! --By 鲁迅 A picture is worth a thousand words. --By 高尔基 说明: Kernel版本: ...

  3. day 12 函数名的应用 闭包 迭代器

    今日主要内容 1, 函数名的应用,第一类对象 函数名可以像变量一样进行使用   #再函数名后面添加() 才是对函数的调用, 否则打印的是函数的内存地址 1.赋值 2.作为list元素 3.作为参数 d ...

  4. scrapy抓取国家社科基金项目数据库

    1.明确任务 目标网站:http://fz.people.com.cn/skygb/sk/index.php/Index/seach 抓取任务:抓取近五年某关键词(例如"能源".” ...

  5. scrapy实现自动抓取51job并分别保存到redis,mongo和mysql数据库中

    项目简介 利用scrapy抓取51job上的python招聘信息,关键词为“python”,范围:全国 利用redis的set数据类型保存抓取过的url,现实避免重复抓取: 利用脚本实现每隔一段时间, ...

  6. .net压缩文件

    首先nuget安装DotNetZip 代码很少

  7. 【Java并发系列】----JUC之Lock

    显式锁 Lock 在Java 5.0之前,协调共享对象的访问时可以使用的机制只有synchronized和volatile.Java 5.0后增加了一些新的机制,但并不是一种替代内置锁的方法,而是当内 ...

  8. FileReader.result

    FileReader.result 该属性返回文件的内容.此属性仅在读取操作完成后才有效,并且数据的格式取决于用于启动读取操作的方法.FileReader]**result** 句法 var file ...

  9. RestTemplate常用的get和post带参数请求

    在RestTemplate提供的方法中,有一个参数就是目标URL,参数是跟在后面的一个数量可变参数,但是在这里就有个问题,这个方法怎么知道我传的参数值是对应在目标接口的哪个参数的呢: public & ...

  10. 深入理解 BigDecimal

    .katex { display: block; text-align: center; white-space: nowrap; } .katex-display > .katex > ...