Python多任务之进程
Process多进程
进程的概念
程序是没有运行的代码,静态的;
进程是运行起来的程序,进程是一个程序运行起来之后和资源的总称;
程序只有一个,但同一份程序可以有多个进程;例如,电脑上多开QQ;
程序和进程的区别在于有没有资源,进程有资源而程序没有资源,进程是一个资源分配的基本单元;
程序在没运行的时候没有资源,没有显卡,没有网卡,等等;双击运行后有摄像头,有网速等等,就叫做进程;
进程的状态
进程状态图
- 就绪态:运行的条件都已经慢去,正在等在cpu执行
- 执行态:cpu正在执行其功能
- 等待态:等待某些条件满足,例如一个程序sleep了,此时就处于等待态
使用Process完成多任务
进程的使用步骤和线程的使用步骤基本一致;
进程的使用步骤:
- 导入multiprocessing;
- 编写多任务所所需要的函数;
- 创建multiprocessing.Process类的实例对象并传入函数引用;
- 调用实例对象的start方法,创建子线程。
进程使用步骤图示:
进程使用步骤代码
import time
import multiprocessing def sing():
while True:
print("-----sing-----")
time.sleep(1) def dance():
while True:
print("-----dance-----")
time.sleep(1) def main():
p1 = multiprocessing.Process(target=sing)
p2 = multiprocessing.Process(target=dance)
p1.start()
p2.start() if __name__ == "__main__":
main()
使用Process完成多任务.py
运行结果:
-----sing-----
-----dance-----
-----sing-----
-----dance-----
-----sing-----
-----dance-----
......
进程:
- 主进程有什么,子进程就会有什么资源;
- 线程能创建多任务,进程也能创建多任务,但进程耗费的资源比较大;
- 所以运行的进程数,不一定越多越好;
- 当创建子进程时,会复制一份主进程的资源,代码,内存等,但又会有自己不同的地方,比如pid等;
- 我们可以理解为多进程之间共享代码,即只有一份代码,但有多个指向同一代码的箭头;
- 能共享的就共享,不能共享的就拷贝一份;不需要修改的就共享,要修改的时候就给你拷贝一份,这就是写时拷贝;
获取进程id
获取进程id代码
from multiprocessing import Process
import osdef run_proc():
"""子进程要执行的代码"""
print('子进程运行中,pid=%d...' % os.getpid()) # os.getpid获取当前进程的进程号
print('子进程将要结束...') if __name__ == '__main__':
print('父进程pid: %d' % os.getpid()) # os.getpid获取当前进程的进程号
p = Process(target=run_proc)
p.start()
进程和线程对比
进程和线程的区别
- 进程是系统进行资源分配和调度的一个独立单位;
- 线程是进程的一个实体,是CPU调度和分派的基本单位,即是操作系统调度的单位,它是比进程更小的能独立运行的基本单位;
- 一个程序至少有一个进程,一个进程至少有一个线程;
- 线程的划分尺度小于进程(资源比进程少),使得多线程程序的并发性高;
- 进程在执行过程中拥有独立的内存单元,而多个线程共享内存,从而极大地提高了程序的运行效率;
- 线程不能够独立执行,必须依存在进程中;
- 进程先有,才有的线程;
- 线程用资源去做事;
- 多线程能实现多任务是指在一个进程资源里面有多个箭头;多线程是在同一个资源里面有多个箭头执行同一份代码;
- 多进程的多任务是又开启了一份资源,在这个资源里面又有一个箭头;
- 进程执行方式1:在一份资源里面有多个箭头在执行;
- 进程执行方式2:有多份资源,在每一份资源里面有一个箭头执行代码;
- 线程执行开销小,但不利于资源的管理和保护,进程正好相反;
- 开发中还是多线程用的多;
通过队列完成进程间通信
队列使用语法
# 创建队列:
from multiprocessing import Queue
q = Queue(3)
# 往队列中添加数据:
q.put(xxx)
# 从队列中获取数据:
q.get()
通过队列完成进程间通信代码
from multiprocessing import Queue
import multiprocessing def download_data(q):
"""模拟这是从网上下载数据"""
data = [11, 22, 33]
for i in data:
q.put(i)
print("数据下载完成") def deal_data(q):
"""模拟处理从网上下载下来的数据"""
data_list = []
while True:
data = q.get()
data_list.append(data)
if q.empty():
break
print("处理数据结束,数据为:", data_list) def main():
q = Queue(3)
p1 = multiprocessing.Process(target=download_data, args=(q,))
p2 = multiprocessing.Process(target=deal_data, args=(q,))
p1.start()
time.sleep(1)
p2.start() if __name__ == '__main__':
main()
通过队列完成进程间通信.py
运行结果:
数据下载完成
处理数据结束,数据为: [11, 22, 33]
进程池完成多任务
进程池
进程池的概念
因为进程的创建和销毁是需要大量的资源的,为了减少消耗,当我们在处理多任务时,比如100个任务,我们可以先创建10个进程,然后用这10个进程来执行者100个任务,就可以重复使用进程,达到节约资源的目的了,而这个就可以使用进程池。
进程池的创建
任务数固定且较少,用普通的进程即可;任务数不确定,且比较多,就用进程池;
进程池不会等待进程执行完毕,我们需要使用po.join()让主进程等待进程池中的进程执行完;且po.close()必须在join前面;
创建进程池语法
# 创建进程池
from multiprocessing import Pool
po = Pool(3) # 给进程池传递任务和参数
po.asyn(sing, (num,)) # 让进程池等待子进程执行完
po.close()
po.join()
进程池pool示例
from multiprocessing import Pool
import os, time, random def worker(msg):
t_start = time.time()
print("%s开始执行,进程号为%d" % (msg, os.getpid()))
# random.random()随机生成0~1之间的浮点数
time.sleep(random.random() * 2)
t_stop = time.time()
print(msg, "执行完毕,耗时%0.2f" % (t_stop - t_start)) def main():
po = Pool(3) # 定义一个进程池,最大进程数3
for i in range(0, 10):
# Pool().apply_async(要调用的目标,(传递给目标的参数元祖,))
# 每次循环将会用空闲出来的子进程去调用目标
po.apply_async(worker, (i,)) print("----start----")
po.close() # 关闭进程池,关闭后po不再接收新的请求
po.join() # 等待po中所有子进程执行完成,必须放在close语句之后
print("-----end-----") if __name__ == '__main__':
main()
进程池pool示例.py
执行结果:
----start----
0开始执行,进程号为7812
1开始执行,进程号为9984
2开始执行,进程号为1692
1 执行完毕,耗时0.65
3开始执行,进程号为9984
0 执行完毕,耗时1.08
4开始执行,进程号为7812
2 执行完毕,耗时1.82
5开始执行,进程号为1692
4 执行完毕,耗时1.12
6开始执行,进程号为7812
3 执行完毕,耗时1.35
7开始执行,进程号为9984
7 执行完毕,耗时0.11
8开始执行,进程号为9984
6 执行完毕,耗时0.50
9开始执行,进程号为7812
5 执行完毕,耗时0.65
8 执行完毕,耗时0.70
9 执行完毕,耗时0.74
-----end-----
执行结果
多进程拷贝文件夹
多任务文件夹copy
步骤思路:
- 1.获取用户要拷贝的文件夹的名字;
- 2.创建一个新的文件夹;
- 3.获取文件夹的所有待拷贝的文件名;listdir()
- 4.创建进程池;
- 5.复制原文件夹中的文件,到新文件夹的文件中去;
多任务拷贝文件代码
import os
from multiprocessing import Pool def copy_file(file, old_folder, new_folder): old_f = open(old_folder+"/"+file, "rb")
data = old_f.read()
old_f.close() new_f = open(new_folder+"/"+file, "wb")
new_f.write(data)
new_f.close()
print("创建文件成功:", file) def main():
# 1.获取要拷贝的文件夹
old_folder = input("请输入你要拷贝的文件夹:")
# 2.创建新文件夹
new_folder = old_folder + "_复件"
try:
os.mkdir(new_folder)
print("创建文件夹成功")
except Exception as e:
pass
# 3.获取文件夹中所有待拷贝的文件,listdir()
files_list = os.listdir(old_folder)
# print(files_list)
# 4.创建进程池
po = Pool(5)
for file in files_list:
# 向进程池中添加复制文件的任务
po.apply_async(copy_file, args=(file, old_folder, new_folder))
# 复制原文件夹中的文件,到新文件夹中
po.close()
po.join() if __name__ == '__main__':
main()
使用进程池拷贝文件夹
在完成文件夹拷贝后,增加了一个需求,显示拷贝文件的进度条,怎么办?
多任务拷贝文件并显示进度条
如果要在进程池中使用Queue,要使用from multiprocessing import Manager ,使用Manager().Queue();
显示进度条思路:
- 创建一个队列;
- 往拷贝文件的函数中传入队列,拷贝好一个文件就往q中传入该文件名;
- 在主函数中计算listdir()中的所有文件数量;
- 在主函数中定义一个num,初始值为0;
- 在主函数中定义一个while true,从q中获取文件每获取一个文件们就将num+1
- 计算,如果num的值大于等于总文件数量,就break;
- 使用已拷贝文件数量num除以总文件数量,即为拷贝的进度,使用开头\r 和end=""让显示进度不换行,如下:
print("\r已拷贝文件%.2f %%" % (copy_ok_file_num*100/all_file_len), end="")
多任务拷贝文件并显示进度条代码
import os
from multiprocessing import Pool, Manager def copy_file(q, file, old_folder, new_folder): old_f = open(old_folder+"/"+file, "rb")
data = old_f.read()
old_f.close() new_f = open(new_folder+"/"+file, "wb")
new_f.write(data)
new_f.close()
q.put(file) def main():
# 1.获取要拷贝的文件夹
old_folder = input("请输入你要拷贝的文件夹:")
# 2.创建新文件夹
new_folder = old_folder + "_复件"
try:
os.mkdir(new_folder)
print("创建文件夹成功")
except Exception as e:
pass
# 3.获取文件夹中所有待拷贝的文件,listdir()
files_list = os.listdir(old_folder)
# 4.创建进程池
po = Pool(5)
# 5.创建队列
q = Manager().Queue()
# 6.复制原文件夹中的文件,到新文件夹中
for file in files_list:
# 向进程池中添加复制文件的任务
po.apply_async(copy_file, args=(q, file, old_folder, new_folder))
all_file_len = len(files_list)
po.close()
# po.join()
copy_ok_file_num = 0
while True:
file = q.get()
copy_ok_file_num += 1
print("已拷贝文件%.2f %%" % (copy_ok_file_num*100/all_file_len))
# print("\r已拷贝文件%.2f %%" % (copy_ok_file_num*100/all_file_len), end="")
if copy_ok_file_num >= all_file_len:
break
print() if __name__ == '__main__':
main()
多任务拷贝文件并显示进度条.py
Python多任务之进程的更多相关文章
- Python 多任务(进程) day1(1)
进程和程序的关系: 通俗来讲程序是死的不变的,进程是活的改变的.一个程序在没运行之前是程序,运行之后是进程 程序是一种电脑能识别的2进制代码,当你一直运行程序的时候,会出现多个进程(相当于菜谱和菜,照 ...
- Python 多任务(进程) day1(2)
进程和线程的简单区别: 功能:进程:能够完成多任务,比如 在一台电脑上能够运行多个QQ一份资源有一个执行的剪头,有多份资源就可以执行多个语句线程:能够完成多任务,比如 在一个QQ中的多个聊天窗口一份资 ...
- Python 多任务(进程) day1(3)
进程间的通信 可以用socket进行进程间的通信 可以用同意文件来进行通信(但是在硬盘上读取和写入比较慢,内存运行太快了) Queue队列(记得是队列) 在同一内存中通信 因为进程之间不能共享全局变 ...
- python多任务的实现:线程,进程,协程
什么叫“多任务”呢?简单地说,就是操作系统可以同时运行多个任务.打个比方,你一边在用浏览器上网,一边在听MP3,一边在用Word赶作业,这就是多任务,至少同时有3个任务正在运行.还有很多任务悄悄地在后 ...
- Python 线程和进程和协程总结
Python 线程和进程和协程总结 线程和进程和协程 进程 进程是程序执行时的一个实例,是担当分配系统资源(CPU时间.内存等)的基本单位: 进程有独立的地址空间,一个进程崩溃后,在保护模式下不会对其 ...
- Python(线程进程3)
四 协程 协程,又称微线程,纤程.英文名Coroutine.一句话说明什么是线程:协程是一种用户态的轻量级线程. 协程拥有自己的寄存器上下文和栈.协程调度切换时,将寄存器上下文和栈保存到其他地方,在切 ...
- python ---线程,进程,协程
本章内容 线程 进程 协程 线程是最小的调度单位 进程是最小的管理单元 线程 多线程的特点: 线程的并发是利用cpu上下文切换 多线程的执行的顺序是无序的 多线程共享全局变量 线程是继承在进程里的,没 ...
- python基础之进程、线程、协程篇
一.多任务(多线程) 多线程特点:(1)线程的并发是利用cpu上下文的切换(是并发,不是并行)(2)多线程执行的顺序是无序的(3)多线程共享全局变量(4)线程是继承在进程里的,没有进程就没有线程(5) ...
- python中的进程、线程(threading、multiprocessing、Queue、subprocess)
Python中的进程与线程 学习知识,我们不但要知其然,还是知其所以然.你做到了你就比别人NB. 我们先了解一下什么是进程和线程. 进程与线程的历史 我们都知道计算机是由硬件和软件组成的.硬件中的CP ...
随机推荐
- 2014 北京区域赛 dp
Matt has N friends. They are playing a game together. Each of Matt’s friends has a magic number. In ...
- MAC下安装REDIS和REDIS可视化工具RDM并连接REDIS
实验环境:一台mac V:10.13.6 一.安装redis brew install redis 二.安装RDM 直接下载安装rdm dmg文件 链接: https://pan.baidu.com/ ...
- Python高效编程技巧实战 实战编程+面试典型问题 中高阶程序员过渡
下载链接:https://www.yinxiangit.com/603.html 目录: 如果你想用python从事多个领域的开发工作,且有一些python基础, 想进一步提高python应用能力 ...
- .netcore 使用阿里云短信
准备工作 阿里云上申请短信服务 创建短信应用.签名.短信模板并申请审核,如果审核不通过,接口是调不通的. 配置专门用来发短信的accessKeyId和 accessKeySecret 开始开发 下载安 ...
- FreeSql (三十四)CodeFirst 迁移说明
FreeSql 支持 CodeFirst 迁移结构至数据库,这应该是(O/RM)必须标配的一个功能. 与其他(O/RM)不同FreeSql支持更多的数据库特性,而不只是支持基础的数据类型,这既是优点也 ...
- Git服务端下载
链接:http://pan.baidu.com/s/1kVshpQ3提取密码:4g36
- python 切片步长
python切片 切片:list变量[值下标:结束值下标] 什么意思呢? 就是获取 list中 下标从定义的位置开始获取数据到 自定义的下标位置结束, 但是切片有个规矩就是顾头不顾尾, 举个例子 ...
- Mysql高手系列 - 第14篇:详解事务
这是Mysql系列第14篇. 环境:mysql5.7.25,cmd命令中进行演示. 开发过程中,会经常用到数据库事务,所以本章非常重要. 本篇内容 什么是事务,它有什么用? 事务的几个特性 事务常见操 ...
- [python]兔子问题,斐波那契数列 递归&非递归
假设一对幼年兔子需要一个月长成成年兔子,一对成年兔子一个月后每个月都可以繁衍出一对新的幼年兔子(即兔子诞生两个月后开始繁殖).不考虑死亡的情况,问第 N 个月时共有多少对兔子? 结果前几个月的兔子数量 ...
- 手把手教你搭建Pytest+Allure2.X环境详细教程,生成让你一见钟情的测试报告(非常详细,非常实用)
简介 宏哥之前在做接口自动化的时候,用的测试报告是HTMLTestRunner,虽说自定义模板后能满足基本诉求,但是仍显得不够档次,高端,大气,遂想用其他优秀的report框架替换之.一次偶然的机会, ...