运行环境:Python3 in win10

先生成200个测试文件

# generate.py
i = 0
while i < 200:
o = open("test\\" + str(i) + ".py", "w")
content = str(i)
o.write(content)
o.close()
i += 1

多进程拷贝文件

# multi-pool-copy.py
from multiprocessing import Pool, Manager
import time
import os
import shutil
import random start = time.time() def copyFile(file_name, old_folder_name, new_folder_name, q):
time.sleep(random.random())
shutil.copyfile(old_folder_name + '\\' + file_name, new_folder_name + '\\' + file_name,)
q.put(file_name) # put item into the queue def main():
pool = Pool(5)
q = Manager().Queue() old_folder_name = input("Please input the folder name you want to copy: ") new_folder_name = old_folder_name + "-copy"
os.mkdir(new_folder_name) file_name_list = os.listdir(old_folder_name) for file in file_name_list:
pool.apply_async(copyFile, args=(file, old_folder_name, new_folder_name, q)) cnt = 0
allLength = len(file_name_list)
while cnt < allLength:
message = q.get()
cnt += 1
print("\rCopying %s, Process Bar is:%d%%" % (message, (cnt / allLength) * 100), end="")
print("Copy Done!") if __name__ == "__main__":
main()
end = time.time()
print("Time-consuming: %#.2fs" % (end-start))

在使用单进程拷贝文件之前,需要手动删除test-copy文件夹

# single-pool-copy.py
import time
import os
import shutil
import random start = time.time() def copyFile(file_name, old_folder_name, new_folder_name):
time.sleep(random.random())
shutil.copyfile(old_folder_name + '\\' + file_name, new_folder_name + '\\' + file_name, ) def main():
old_folder_name = input("Please input the folder name you want to copy: ") new_folder_name = old_folder_name + "-copy"
os.mkdir(new_folder_name) file_name_list = os.listdir(old_folder_name) cnt = 0
allLength = len(file_name_list) for file in file_name_list:
copyFile(file, old_folder_name, new_folder_name)
cnt += 1
print("\rCopying %s, Process Bar is:%d%%" % (file, (cnt / allLength) * 100), end="")
print("Copy Done!") if __name__ == "__main__":
main()
end = time.time()
print("Time-consuming: %#.2fs" % (end-start))

Python多进程与单进程效率对比的更多相关文章

  1. Python 多进程、多线程效率比较

    Python 界有条不成文的准则: 计算密集型任务适合多进程,IO 密集型任务适合多线程.本篇来作个比较. 通常来说多线程相对于多进程有优势,因为创建一个进程开销比较大,然而因为在 python 中有 ...

  2. 约瑟夫环问题及python与c++实现效率对比

    约瑟夫环是一个数学的应用问题:已知n个人(以编号1,2,3...n分别表示)围坐在一张圆桌周围.从编号为k的人开始报数,数到m的那个人出列;他的下一个人又从1开始报数,数到m的那个人又出列;依此规律重 ...

  3. PHP多进程非阻塞模式下结合原生Mysql与单进程效率测试对比

    公司在做游戏服务器合并的时候,对大批量数据表做了合并操作,难免会出现数据格式不一致问题.根据玩家反映BUG排查,是因为某个模块下日志表出现了数据格式问题导致. 目前想到的是有两种方案解决,第一种就是把 ...

  4. [python]关于字符串查找和re正则表达式的效率对比

    最近需要在python中做大日志文件中做正则匹配 开始直接在for in 中每行做re.findall,后来发现,性能不行,就在re前面做一个基本的字符串包含判断 (str in str),如果不包含 ...

  5. 【Python | opencv+PIL】常见操作(创建、添加帧、绘图、读取等)的效率对比及其优化

    一.背景 本人准备用python做图像和视频编辑的操作,却发现opencv和PIL的效率并不是很理想,并且同样的需求有多种不同的写法并有着不同的效率.见全网并无较完整的效率对比文档,遂决定自己丰衣足食 ...

  6. python 多进程开发与多线程开发

    转自: http://tchuairen.blog.51cto.com/3848118/1720965 博文作者参考的博文:  博文1  博文2 我们先来了解什么是进程? 程序并不能单独运行,只有将程 ...

  7. python多进程与多线程编程

    进程(process)和线程(thread)是非常抽象的概念.多线程与多进程编程对于代码的并发执行,提升代码运行效率和缩短运行时间至关重要.下面介绍一下python的multiprocess和thre ...

  8. Python多进程与多线程编程及GIL详解

    介绍如何使用python的multiprocess和threading模块进行多线程和多进程编程. Python的多进程编程与multiprocess模块 python的多进程编程主要依靠multip ...

  9. Python多进程编程

    转自:Python多进程编程 阅读目录 1. Process 2. Lock 3. Semaphore 4. Event 5. Queue 6. Pipe 7. Pool 序. multiproces ...

随机推荐

  1. dotNet core 应用部署至 centos(超详解附截图)

    文章来源:公众号-智能化IT系统. 需要安装的插件以及支撑架构 1.dotnetSDK dotnet 相关命令是属于 .NET Core command-line (CLI) 的一部分,Microso ...

  2. Linux中 SonarQube代码质量管理平台以及C++插件安装

    SonarQube是管理代码质量一个开源平台,可以快速的定位代码中潜在的或者明显的错误. SonarQube安装 1.环境准备 (1)sonarQube 下载地址https://www.sonarqu ...

  3. Spring 事务与脏读、不可重复读、幻读

    索引: 目录索引 参看代码 GitHub: 1.Spring 事务 2.事务行为 一.Spring 事务: Spring 的事务机制是用统一的机制来处理不同数据访问技术的事务处理. Spring 的事 ...

  4. aspnetcoremodule 2.1下载

    下载地址 or 云盘 aspnetcoremodule 2.1 页面地址 下载地址 云盘下载 链接:https://pan.baidu.com/s/1YKYzpP7E__yXQKpOVrN6nw 密码 ...

  5. kmalloc分配物理内存与高端内存映射--Linux内存管理(十八)

    1 前景回顾 1.1 内核映射区 尽管vmalloc函数族可用于从高端内存域向内核映射页帧(这些在内核空间中通常是无法直接看到的), 但这并不是这些函数的实际用途. 重要的是强调以下事实 : 内核提供 ...

  6. c/c++ 网络编程 UDP 改变IP地址

    网络编程 UDP 改变IP地址 在程序里动态改变主机的IP地址 1,改变ipv4的地址 #include <stdio.h> #include <string.h> #incl ...

  7. mysql 从一个表中查询,插入到另一个表中

    insert into table1(field1) select field1 from table2; ;

  8. Log4j配置文件详解及实例

     1 ) . 配置根 Logger ,其语法为:   log4j.rootLogger = [ level ] , appenderName, appenderName, … 其中, level 是日 ...

  9. 轻松测试 logstash 的配置文件

    配置文件本身非常脆弱!所以修改配置文件自然会引入部署失败的风险.如果能够对配置文件进行自动化测试将会极大的降低这种风险.本文将介绍一个可以自动化测试 logstash 配置文件的工具,让大家可以像写单 ...

  10. OracleSql语句学习(一)

    --SQL语句本身是不区分大小写的,每个关键字用空格隔开,为了增加可读性,退出所有关键字--全部大写,非关键字都小写SELECT SYSDATE FROM dual--创建表CREATE TABLE ...