python同步IO编程——基本概念和文件的读写
IO——Input/Output,即输入输出。对于计算机来说,程序运行时候数据是在内存中的,涉及到数据交换的地方,通常是磁盘、网络等。比如通过浏览器访问一个网站,浏览器首先把请求数据发送给网站服务器,这个动作叫外发数据,即Output,随后网站服务器把数据网页发送给浏览器,这个动作是从外面接收数据,即Input。从磁盘读取文件到内存,叫Input,反过来,吧数据写到磁盘的文件里,叫Output操作。
IO编程中,一般都是用Stream(流)的概念来描述数据的动作,Input Stream 表示数据流进内存,Output Stream表示数据从内存中流出去。
一般来说,CPU和内存的运行速度远远高于外设的速度,外设的速度往往是制约系统性能的瓶颈。比如,要把100M的数据写入磁盘,CPU输出100M的数据只需要0.01秒,可是磁盘要接收这100M数据可能需要10秒。这时有同步和异步IO的区分:
同步IO:CPU等着,也就是程序暂停执行后续代码,等100M的数据在10秒后写入磁盘,再接着往下执行
异步IO:是CPU不等待,只是告诉磁盘,“您老慢慢写,不着急,我接着干别的事去了”,于是,后续代码可以立刻接着执行
同步和异步的主要区别就是是否等待IO执行的结果。异步IO的性能往往明显高于同步IO,这里我们先介绍同步IO编程。
现代操作系统都不会允许普通的程序直接操作磁盘,读写操作都是由操作系统封装了具体的实现细节并提供接口的方式实现的——读写文件就是请求操作系统打开一个文件对象(通常我们称为文件描述符),然后操作系统提供接口从这个文件对象中读取数据,或者把数据写入到这个文件中,
读文件
python内置了open()函数用于读取文件,需要传入文件名和标识符:
- f = open('err.py','r')
其中标识符'r'表示读的动作。如果文件不存在会抛出一个IOError的错误:
- >>> f = open('/err.py','r')
- Traceback (most recent call last):
- File "<stdin>", line 1, in <module>
- FileNotFoundError: [Errno 2] No such file or directory: '/err.py'
成功读取文件后,可以使用read()方法一次性读取文件中所有的内容,以str的类型表示:
- >>> f.read()
- "def foo(s):\n return 10 / int(s)\ndef bar(s):\n return foo(s) * 2\ndef main():\n ……
最后一步,非常重要——调用close()函数关闭文件:
- >>> f.close()
- >>> f.read()
- Traceback (most recent call last):
- File "<stdin>", line 1, in <module>
- ValueError: I/O operation on closed file.
通常,我们在读写文件的时候可能产生IOError错误,为了确保一定要执行close动作,我们可以使用try……finally来实现:
- >>> try:
- ... f = open('err.py','r')
- ... print(f.read())
- ... finally:
- ... if f :
- ... f.close()
- ...
- def foo(s):
- return 10 / int(s)
- def bar(s):
- return foo(s) * 2
- def main():
- bar('')
- main()
- >>> f.read()
- Traceback (most recent call last):
- File "<stdin>", line 1, in <module>
- ValueError: I/O operation on closed file.
如果我们多次打开文件,这个过程有点啰嗦。python提供了with语句,将会自动调用close()方法:
- >>> with open('err.py','r') as f:
- ... print(f.read())
- ...
- def foo(s):
- return 10 / int(s)
- def bar(s):
- return foo(s) * 2
- def main():
- bar('')
- main()
- >>> f.read()
- Traceback (most recent call last):
- File "<stdin>", line 1, in <module>
- ValueError: I/O operation on closed file.
另外,如果文件过大,一次性打开内存会吃不消的,而且有时候也不是一定要读取所有的内容。这时可以使用read(size)方法,每次最多读取size个字节的内容。另外readline()允许我们每次读取一行内容;readlines()允许我们一次性读取所有内容并分行返回,返回结果是个list。
- >>> f = open('err.py','r')
- >>> f.readline()
- 'def foo(s):\n'
- >>> f.readline()
- ' return 10 / int(s)\n'
- >>> f.readline()
- 'def bar(s):\n'
- >>> f.readlines()
- [' return foo(s) * 2\n', 'def main():\n', " bar('0')\n", '\n', 'main()']
- >>> f.readlines()
- []
我们由此发现,每一次readline()或者readlines()方法都是在上次读取结果之后继续执行的,可以想象成有一个虚拟的光标存在。
要读取二进制文件,比如图片、视频等等,用'rb'
模式打开文件即可:
- >>> f = open('C:/Users/WC/Pictures/图片/头像.jpg','rb')
- >>> f.read()
- b'\xff\xd8\xff\xe0\x00\x10J……
另外,open()函数还可以通过传入encoding参数,表示用指定编码打开文件;
如果有些文件中夹杂了一些非法编码的字符,open()函数还可以接受一个errors参数,表示遇到编码错误后如何处理,其中ignore表示直接忽略错误:
- f = open('/Users/michael/gbk.txt', 'r', encoding='gbk', errors='ignore')
写文件
当open()函数传入的标识符为'w'或者‘wb’时,表示写文本文件或者二进制文件:
- >>> f = open('/Users/wc/test.txt', 'w',
encoding='gbk'
)- >>> f.write('Hello, world!')
- >>> f.close()
上面的语句会把‘Hello, world!’直接覆盖原始的文件;如果想把要写入的内容追加在原始文件后面,可以添加参数'a',表示append的意思。
切记:写入文件后,一定不要忘了close()文件,否则不能保证数据全部都写入磁盘!!!
file-like Object
像open()
函数返回的这种有个read()
方法的对象,在Python中统称为file-like Object。除了file外,还可以是内存的字节流,网络流,自定义流等等。file-like Object不要求从特定类继承,只要写个read()
方法就行
python同步IO编程——基本概念和文件的读写的更多相关文章
- python同步IO编程——StringIO、BytesIO和stream position
主要介绍python两个内存读写IO:StringIO和BytesIO,使得读写文件具有一致的接口 StringIO 内存中读写str.需要导入StringIO >>> from i ...
- python异步IO编程(一)
python异步IO编程(一) 基础概念 协程:python generator与coroutine 异步IO (async IO):一种由多种语言实现的与语言无关的范例(或模型). asyncio ...
- python异步IO编程(二)
python异步IO编程(二) 目录 开门见山 Async IO设计模式 事件循环 asyncio 中的其他顶层函数 开门见山 下面我们用两个简单的例子来让你对异步IO有所了解 import asyn ...
- Python之IO编程——文件读写、StringIO/BytesIO、操作文件和目录、序列化
IO编程 IO在计算机中指Input/Output,也就是输入和输出.由于程序和运行时数据是在内存中驻留,由CPU这个超快的计算核心来执行,涉及到数据交换的地方,通常是磁盘.网络等,就需要IO接口.从 ...
- 【Python】IO编程
文件读写 StringIO和BytesIO 操作文件和目录 序列化 学习廖老师的py官网的笔记 1.stream的概念.数据交换通常需要建立两根“水管”. 2.同步IO和异步IO.异步性能高,但是编程 ...
- python 同步IO
IO在计算机中指Input/Output 由CPU这个超快的计算核心来执行,涉及到数据交换的地方,通常是磁盘.网络等,就需要IO接口.IO编程中,Stream(流)是一个很重要的概念,可以把流想象成一 ...
- Python笔记-IO编程
IO在计算机中是指input和output(数据输入与输出),涉及到数据交换(磁盘.网络)的地方就需要IO接口. 输入流input stream是指数据从外面(磁盘.网络服务器)流入内存:输出流out ...
- Python之IO编程
前言:由于程序和运行数据是在内存中驻留的,由CPU这个超快的计算核心来执行.当涉及到数据交换的地方,通常是磁盘.网络等,就需要IO接口.由于CPU和内存的速度远远高于外设的速度,那么在IO编程中就存在 ...
- Python 同步IO/异步IO了解
说明: 对于一次IO访问(以read举例),数据会先被拷贝到操作系统内核的缓冲区中,然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间.所以说,当一个read操作发生时,它会经历两个阶段: 1. ...
随机推荐
- H3C交换机DHCP基础配置案例 v7版本
一.需求 要求在Switch A上配置DHCP服务器功能实现:• 为网络内的客户端动态分配 10.1.1.0/24 网段内的 IP 地址.租用有效期限. DNS 信息.网关地址等配置信息:• 根据 S ...
- 【2018寒假集训 Day2】【2019.5.11更新】【动态规划】花店橱窗布置(FLOWER)
花店橱窗布置(FLOWER) 提交文件名:flower 问题描述: 某花店现有F束花,每一束花的品种都不一样,同时至少有同样数量的花瓶,被按顺序摆成一行,花瓶的位置是固定的,从左到右按1到V顺序编号, ...
- sql语句执行步骤详解
目录 一.准备工作 二.SQL逻辑查询语句执行顺序 三.SQL书写习惯 一.准备工作 先来一段伪代码,首先你能看懂么? SELECT DISTINCT <select_list> FROM ...
- PHP基于Redis实现轻量级延迟队列
延迟队列,顾名思义它是一种带有延迟功能的消息队列. 那么,是在什么场景下我才需要这样的队列呢? 一.背景 先看看一下业务场景: 1.会员过期前3天发送召回通知 2.订单支付成功后,5分钟后检测下游环节 ...
- TableViewCell的封装(显示不同内容)
http://blog.csdn.net/qq_24513939/article/details/45968123
- 图库网站Unsplash高清原图爬虫【华为云技术分享】
[摘要] 写博客的好工具,快速获得高清图片 在百度图片爬虫小助手里,我开发了一个爬虫,来节约我写博客时搜集图片的时间. 但是,也出现了一些问题,主要有以下几点: 百度图片上的质量参差不齐,大部分图片质 ...
- 【java基础】Thread类之join方法
- luogu P2860 [USACO06JAN]冗余路径Redundant Paths |Tarjan
题目描述 In order to get from one of the F (1 <= F <= 5,000) grazing fields (which are numbered 1. ...
- iOS 弹窗alertView使用详解
转自:http://blog.it985.com/4321.html alertView是iOS自带的弹窗通知框,我们来看下默认样式的效果图 下面直接上代码 1 2 3 4 5 - (void)del ...
- Solr单机配置详解
Solr 单机版安装 安装环境 安装 jdk:JDK 版本: jdk-8u11-linux-x64.tar.gz 环境变量配置; export JAVA_HOME=/usr/local/jdk exp ...