PowerShell 并行执行任务
在 PowerShell 中可以轻松的执行后台任务并且让多个后台任务并行执行。本文介绍 PowerShell 中 Job 相关的一些命令,并通过 demo 演示如何在后台同时执行多个任务。
PowerShell 中执行后台任务的模式
下图描述了在 PowerShell 中执行后台任务的进程模型(此图来自互联网):
首先我们需要一个 PowerShell 进程执行与用户交互的命令,比如执行 Start-Job 命令运行一个后台任务。每一个这样的后台任务都会在一个新启动的 PowerShell 进程中执行。所以,如果我们同时启动三个后台任务,那么一共有四个 PowerShell 进程在同时运行。
Job 相关的命令
Start-Job 命令会启动一个运行在后台的任务。注意,每通过 Start-Job 命令运行一个任务都会创建一个单独的 PowerShell 进程。
Stop-Job 命令用来停止一个正在运行的后台任务(由 Start-Job 启动的任务)。
Get-Job 命令用来获得当前 session 中的后台任务对象。
Wait-Job 命令阻塞当前的执行流程,等待指定的后台任务执行结束。
Receive-Job 命令用来获得后台执行任务的执行结果。比如在一个后台任务结束时,可以通过 Receive-Job 来得到结果,并输出任务执行时的 output。
Remove-Job 命令删除当前 session 中的已经完成的任务。当一个任务运行结束后,它并不会被自动删除,除非你调用 Remove-Job 命令进行删除,或者是关闭这个 session。如果使用 Remove-Job 删除一个正在运行的任务,命令会运行失败。此时需要先使用 Stop-Job 命令先停止任务,然后再用 Remove-Job 进行删除。
在后台执行任务
如果只是启动一个后台执行的任务,不需要知道任务执行的结果,也不关心任务何时执行结束,那么仅仅使用 Start-Job 命令启动任务的执行就可以了:
> Start-Job -ScriptBlock { sleep 5 }
启动单个任务并等待任务结束
多数情况下我们是需要知道任务的结束时间的,此时可以通过 Wait-Job 命令阻塞执行流程,直到等待的任务结束:
> Start-Job -ScriptBlock { sleep 5; Write-Host "Hello world."; } | Wait-Job
注意上面的内容是由 Wait-Job 命令输出的,当时任务的状态为 "Completed"。
更进一步,我们还想要获得任务执行过程中的输出。这时我们就需要用到 Receive-Job 命令。你可以在任务启动后的任何时刻执行 Receive-Job 命令,但是如果想要得到完整的输出,就需要在任务结束后调用,此时需要配合 Wait-Job 命令一起使用:
$job = Start-Job -ScriptBlock { sleep 5; Write-Host "Hello world."; }
Wait-Job $job
Receive-Job -Job $job
把上面的代码保存到文件 mytask.ps1 中执行:
Receive-Job 命令输出了我们在后台执行的任务的 output。
在后台执行多个任务并等待结束
因为 Start-Job 命令是非阻塞的,所以理论上我们可以执行任意多次从而启动很多的后台任务。和等待单个任务相同,仍然可以使用 Wait-Job 命令来等待所有的任务结束,不过此时需要配合 Get-Job 命令一起使用:
> Get-Job | Wait-Job
更常用的方式是我们在 while 循环中不断的检查任务的状态,当所有任务的状态都是 "Completed" 时表示全部任务执行结束:
Remove-Job *
#测试计时开始
$start_time = (Get-Date) Start-Job -ScriptBlock { sleep 9; Write-Host "Hello myJob1."; } -Name "myJob1"
Start-Job -ScriptBlock { sleep 5; Write-Host "Hello myJob2."; } -Name "myJob2"
$taskCount = 2
while($taskCount -gt 0)
{
foreach($job in Get-Job)
{
$state = [string]$job.State
if($state -eq "Completed")
{
Write-Host($job.Name + " 已经完成")
Receive-Job $job
$taskCount--
Remove-Job $job
}
}
sleep 1
}
"所有任务已完成" #得出任务运行的时间
(New-TimeSpan $start_time).totalseconds
把上面的代码保存到 mytask.ps1 文件中并执行:
代码中我们给每个任务起了名字,并在 while 循环中不断的使用 Get-Job 命令检查任务当前的状态,如果发现任务的状态为 "Completed",就通过 Remove-Job 命令删除它,并在删除前打印任务的名称和 output。
封装一个执行后台任务的函数
下面我们用封装一个简单的函数来并行执行多个任务:
function Run-Tasks
{
Param
(
$taskArr,
$parallelcount=1
) #测试计时开始
$startTime = (Get-Date) #移除本次会话中已有的所有后台任务
Remove-Job * # 使用变量 $taskCount 保存还没有执行完成的任务数
$taskCount = $taskArr.Length #判断设定的并行任务数是否超过当前任务队列中的任务数
if($parallelCount -gt $taskArr.Length)
{
$parallelCount = $taskArr.Length
}
#启动初始任务
foreach($i in 1..$parallelCount)
{
Start-Job $taskArr[$i - 1] -Name "task$i"
} #初始任务完成后开始的任务
$nextIndex = $parallelCount #当任务队列中还有任务时不断轮询已建立的任务,当一个后台任务结束时删除这个任务,
#然后从任务队列中取出下一个任务进行执行,然后等待所有任务执行完成。
while(($nextIndex -lt $taskArr.Length) -or ($taskCount -gt 0))
{
foreach($job in Get-Job)
{
$state = [string]$job.State
if($state -eq "Completed")
{
Write-Host($job.Name + " 已经完成,结果如下:")
Receive-Job $job
Remove-Job $job
$taskCount--
if($nextIndex -lt $taskArr.Length)
{
$taskNumber = $nextIndex + 1
Start-Job $taskArr[$nextIndex] -Name "task$taskNumber"
$nextIndex++
}
}
}
sleep 1
} "所有任务已完成"
#得出任务运行的时间
(New-TimeSpan $startTime).totalseconds
}
上面的函数会在后台执行用户的任务,然后等待所有的任务执行结束。并且用户可以指定同时执行的任务的个数,在任务执行完成后,输出任务的 output。接下来让我们尝试使用这个函数执行一些任务:
#定义 6 个任务
$task1 = {sleep 12; Write-Host "Hello myJob1."; }
$task2 = {sleep 5; Write-Host "Hello myJob2."; }
$task3 = {sleep 8; Write-Host "Hello myJob3."; }
$task4 = {sleep 3; Write-Host "Hello myJob4."; }
$task5 = {sleep 20; Write-Host "Hello myJob5."; }
$task6 = {sleep 15; Write-Host "Hello myJob6."; } #将 6 个任务写入到一个数组中作为任务队列
$taskArr = $task1, $task2, $task3, $task4, $task5, $task6 #运行数组中的任务,允许同时运行 4 个任务
Run-Tasks -taskArr $taskArr -parallelcount 4
下面是运行的结果:
总结
能够随心所欲的在后台执行任务是一件感觉非常棒的事情!当然,对于工作来说你能够把事情做得又快又好(又好可不敢说)。本文只是提供了一个简单的运行并行任务的 demo,省略了异常处理等重要内容,但这已经足够您开始 PowerShell 并行任务之旅了。
参考:
《Windows PowerShell 实战第二版》
Powershell:简单实现并行任务的脚本
PowerShell 并行执行任务的更多相关文章
- 一键帮你复制多个文件到多个机器——PowerShell小脚本(内附PS远程执行命令问题解析)
作为一个后台程序猿,经常需要把一堆程序集(DLL)或者应用程序(EXE)复制到多个服务器上,实现程序的代码逻辑更新,用以测试新的功能或改动逻辑.这里给大家介绍一个自己实现的PowerShell脚本,方 ...
- 并行执行任务 Stat-Job
最近在写一些powershell脚本时候遇到一个问题,那就是要解压十几个zip文件,这样仅执行完解压操作差不多5min的时间就过去了,严重影响了效率,这时就想到了使用多线程的方法来执行这个解压操作,经 ...
- 在PowerShell中使用curl(Invoke-WebRequest)
前言 习惯了windows的界面模式就很难转去命令行,甚至以命令行发家的git也涌现出各种界面tool.然而命令行真的会比界面快的多,如果你是一个码农. situation:接到需求分析bug,需要访 ...
- Windows 7上执行Cake 报错原因是Powershell 版本问题
在Windows 7 SP1 电脑上执行Cake的的例子 http://cakebuild.net/docs/tutorials/getting-started ,运行./Build.ps1 报下面的 ...
- <译>通过PowerShell工具跨多台服务器执行SQL脚本
有时候,当我们并没有合适的第三方工具(大部分需要付费)去管理多台数据库服务器,那么如何做最省力.省心呢?!Powershell一个强大的工具,可以很方便帮到我们处理日常的数据库维护工作 .简单的几步搞 ...
- 利用PowerShell复制SQLServer账户的所有权限
问题 对于DBA或者其他运维人员来说授权一个账户的相同权限给另一个账户是一个很普通的任务.但是随着服务器.数据库.应用.使用人员地增加就变得很枯燥乏味又耗时费力的工作.那么有什么容易的办法来实现这个任 ...
- PowerShell 数组以及XML操作
PowerShell基础 PowerShell数组操作 将字符串拆分成数据的操作 cls #原始字符串 $str = "abc,def,ghi,mon" #数据定义 #$StrAr ...
- linux下mono,powershell安装教程
1简介 简单来说pash就是bash+powershell 2官网 https://github.com/Pash-Project/Pash 3下载fedora20---lxde桌面---32位版. ...
- Windows下PowerShell监控Keepalived
一.背景 某数据库服务器为CentOS,想要监控Keepalived的VIP是否有问题,通过邮件进行报警,但这台机器不能上外网,现在只能在Windows下通过PowerShell来完成发邮件预警. 二 ...
随机推荐
- c语言基础学习09_复合类型
=============================================================================涉及到的知识点有:一.结构体1.定义结构体st ...
- Windows系统下文件的概念及c语言对其的基本操作(丙)
- callback和spring的MD5加密
举个例子:当我们访问淘宝网站的时候,当点击购物车的时候,这个时候提示用户登录用户名和密码,登录成功后,会返回到购物车的页面.这就是回调. 它不返回淘宝的首页,而是返回到我们点击的内容所在页面. 在写接 ...
- cesium编程入门(七)3D Tiles,模型旋转
cesium编程入门(七)3D Tiles,模型旋转 上一节介绍了3D Tiles模型的位置移动,和贴地的操作,这一节来聊一聊模型的旋转, 参考<WebGl编程指南>的第四章 假设在X轴和 ...
- 关于OELD屏显示电池电量的简易方法
如何采集电源电压大家可能都熟悉,stm32的ADC+DMA能很方便迅速的帮我们采集到自己想要的电压数据.使用DMA进行数据搬运也能很好的减轻CPU的一部分压力.但是这样只是第一步--数据. 用户想看到 ...
- Git学习(2)-使用Git 代码将本地文件提交到 GitHub
上次随笔写到git的安装和运用命令窗口创建本地版本库,这次主要讲一下用git代码将本地文件提交到GitHub上. 前提是有一个GitHub账号. 1.创建一个新的版本库,进入到你本地项目的根目录下(我 ...
- OpenCV3.4两种立体匹配算法效果对比
以OpenCV自带的Aloe图像对为例: 1.BM算法(Block Matching) 参数设置如下: ) + ) & -; cv::Ptr<cv::StereoBM> b ...
- PostgreSQL9.6.2的WINDOWS下安装
下载链接:https://www.enterprisedb.com/downloads/postgres-postgresql-downloads#windows 安装链接:http://www.cn ...
- mysql查询语句处理
两表做链接查询, 查理处理顺序各个阶段: 1) From: 对From子句中的坐标<left_table>和右表<right_table>执行笛卡尔积,产生虚拟表T1: 2 ...
- requests关于Exceeded 30 redirects问题得出的结论
昨天一个朋友在爬网页时出现的一个问题,以及后续我对这个问题进行了简单的测试. 先说出现的问题的简单描述. 首先是使用urllib请求网页: #urllib.request发起的请求 import ur ...