Shell 都以串行的方式自上而下执行命令,不适用需要大量作业的场景。

学习此篇shell脚本进程并发,能够大大提高工作效率~

通过wait 和 & 后台符号 可以实现并行,但无法控制进程数。

{
task
}&
done
wait

{} 将主执行程序变为一个块,使用&放入后台

wait 函数等待所有后台进程执行程序,否则继续执行后续命令直到整个脚本结束

通过有名管道控制并发进程数

创建一个fifo文件, 作为进程池, 里面存放一定数目的"令牌".作业运行规则如下: 所有作业排队依次领取令牌; 每个作业运行前从进程池中领取一块令牌, 完成后再归还令牌; 当进程池中没有令牌时, 要运行的作业只能等待. 这样就能保证同时运行的作业数等于令牌数.

管道 = = 》有名管道、无名(匿名)管道

有名管道:mkfilo 创建一个管道文件

有名管道: “cat 1.file | grep ‘xxx’ ” “|” ==》创建一个无名管道,直接作为两个进程的数据通道

exec 自行定义,绑定文件操作符

系统默认三个文件操作符 0、1、2 = = 》 stdin、stdout、stderr

ls /proc/self/fd

模板

#!/bin/bash
trap "exec 6>&-;exec 6<&-;wxit 0" 2
#接受2 程序终止(interrupt)信号 "ctrl c" 后的操作。关闭fd6
tmp_fifofile=/tmp/$$.fifo //$$ 进程pid
mkfifo $tmp_fifofile //创建为进程pid的管道
//我常用$((RANDOM)),大概率的避免与已有文件重复
exec 6<>$tmp_fifofile //以6为文件描述符fd打开管道 <>代表读写
rm $tmp_fifofile
thread=250 //定义并发进程数量,上文的令牌数量
#在fd6中放入$thread 个空行作为令牌
for ((i=0; i<=$thread;i++))
do
echo
done >&6
for i in `` //可以省略,直接在{}括号内添加执行命令
do
read -u6 //read 读取行,领取令牌
{ echo >& 6 //归还令牌
}& //{ }&放入后台
done
wait //等待所有后台子进程结束
exec 6>&- //关闭fd6
exec 6<&- //关闭fd6

结束

学术不精。欢迎评论一起讨论!~

附上一个自己写的使用并发,检查大批量站点的域名检测脚本

将待检查的脚本放入指定目录就行了~

#!/bin/bash

#创建今日目录
if [ ! -d "./$(date +%y-%m-%d)" ];then
mkdir -p /script/$(date +%y-%m-%d)
fi
dir=/script/$(date +%y-%m-%d) function global()
{
#第一次curl检测
tmp_fifofile=/tmp/$(($RANDOM%1000)).fifo
mkfifo $tmp_fifofile
exec 6<>$tmp_fifofile
rm $tmp_fifofile
thread=256
for ((i=0; i<=$thread;i++))
do
echo
done >&6 for ((i=0;i<=$thread;i++))
do
echo >&6
done for i in `cat /script/domain/$url`
do
read -u6
{
code=$(curl -o /dev/null --retry 2 --connect-timeout 10 -s -w %{http_code} $i)
echo "$code $i" >> $dir/$url-first.log
echo >& 6
}& done
wait
exec 6>&-
exec 6<&-
grep -v '200\|301\|302' $dir/$url-first.log |tail -n +2 |awk -F' ' '{print $2}' > $dir/$url-second.log
rm -f $dir/$url-first.log
#第二次wget检测
tmp_fifofile=/tmp/$(($RANDOM%1000)).fifo
mkfifo $tmp_fifofile
exec 6<>$tmp_fifofile
rm $tmp_fifofile
thread=128
for ((i=0; i<=$thread;i++))
do
echo >&6
done for i in `cat $dir/$url-second.log`
do
read -u6
{
wget -T 10 --spider -t 2 $i &>/dev/null $i >> /dev/null
if [ $? = 0 ];then
echo $i >> /dev/null
else
echo $i >> $dir/$url-third.log
fi
echo >& 6
}&
done
wait
exec 6>&-
exec 6<&-
rm -f $dir/$url-second.log #第三次curl检测
tmp_fifofile=/tmp/$(($RANDOM%1000)).fifo
mkfifo $tmp_fifofile
exec 6<>$tmp_fifofile
rm $tmp_fifofile
thread=128
for ((i=0; i<=$thread;i++))
do
echo >&6
done for i in `cat $dir/$url-third.log`
do
read -u6
{
code=$(curl -o /dev/null --retry 2 --connect-timeout 10 -s -w %{http_code} $i)
echo "$code $i" >> $dir/$url-fourth.log
echo >& 6
}& done
wait
exec 6>&-
grep -v '200\|301\|302' $dir/$url-fourth.log |tail -n +2 >> $dir/last.log
rm -f $dir/$url-third.log
rm -f $dir/$url-fourth.log } function last (){
grep -v '200\|301\|302' $dir/last.log |awk -F' ' '{print $2}' >> $dir/last2.log
rm -f $dir/last.log
tmp_fifofile=/tmp/last.fifo
mkfifo $tmp_fifofile
exec 6<>$tmp_fifofile
rm $tmp_fifofile
thread=64
for ((i=0; i<=$thread;i++))
do
echo
done >&6 for ((i=0;i<=$thread;i++))
do
echo >&6
done for i in `cat $dir/last2.log`
do
read -u6
{
code=$(curl -o /dev/null --retry 2 --connect-timeout 10 -s -w %{http_code} $i)
echo "$code $i" >> $dir/last3.log
echo >& 6
}&
done
wait
exec 6>&-
exec 6<&-
rm -f $dir/last2.log
echo "请手动复核以下域名:" > $dir/$(date +%H-00)domain.log
grep -v '200\|301\|302' $dir/last3.log >> $dir/$(date +%H-00)domain.log
rm -f $dir/last3.log
} function main ()
{
tmp_fifofile=/tmp/main.fifo
mkfifo $tmp_fifofile
exec 8<>$tmp_fifofile
rm $tmp_fifofile
thread=2
for ((i=0; i<=$thread;i++))
do
echo
done >&8 for url in `ls -l /script/domain/ | tail -n +2 | awk -F' ' '{print $9}'`
do
read -u8
{
global $url
echo >& 8
}& done
wait
exec 8>&-
exec 8<&- } main
last
mail -s "检测结果来自xx服务器 :" xxxxxxxx@qq.com < $dir/$(date +%H-00)domain.log

Shell 脚本进程并发&进程数控制的更多相关文章

  1. linux使用shell脚本停止java进程

    使用shell脚本停止java进程,过程就是先查出对应的java进程pid,然后kill掉 - | 其中xxx是对应进程的关键词(即从查出的所有java进程中分辨出目标进程)

  2. Shell脚本统计文件行数

    Shell脚本统计文件行数 转自 http://www.jb51.net/article/61943.htm    示例:row_count.sh文件 awk '{print NR}' row_cou ...

  3. curl命令,curl实现post,curl监控网页shell脚本,curl多进程实现并控制进程数,

    cURL > Docs > Tutorial:  http://curl.haxx.se/docs/httpscripting.html 下载单个文件,默认将输出打印到标准输出中(STDO ...

  4. shell脚本--监控java进程存活脚本

    #!/bin/bash base_dir=/opt war_processor="tomcat" jar_processor="manager-server.jar pl ...

  5. Shell脚本笔记(七)控制Shell脚本

    控制Shell脚本 一.处理信号 1) SIGHUP本信号在用户终端连接(正常或非正常)结束时发出, 通常是在终端的控制进程结束时, 通知同一session内的各个作业, 这时它们与控制终端不再关联. ...

  6. 【Linux脚本学习案例】shell脚本多通道并发执行存储过程

    使用shell脚本开启多个子任务并发调用存储过程,存储过程按照通道处理数据,提高效率: 外层调用脚本: #!/bin/sh #------------------------------------- ...

  7. shell脚本执行查找进程,然后查杀进程

    shell 执行查找进程,然后查杀进程脚本如下: ps -ef | grep 'IOE' |grep -v 'grep'| awk '{print \$2}' |while read pid; do ...

  8. 使用shell脚本守护node进程

    现在开源的守护node进程的包有不少,比如forever,pm2,这里我就不再赘述了. 但是有的公司生产服务器是不能联网的,而这些包都需要全局安装,必须要网络环境.难道你nohup node app. ...

  9. Shell脚本检查memcache进程并自己主动重新启动

    修正版: #!/bin/sh #check memcache process and restart if down mm_bin="/usr/local/bin/memcached&quo ...

随机推荐

  1. cocoapods的安装和安装过程中遇到的问题

    查看当前的ruby版本,我的版本是ruby 2.0.0p648 小于2.2安装cocoapods时会遇到以下问题 $ ruby -v 查看当前ruby源,默认为 https://rubygems.or ...

  2. 微信小程序--阻止冒泡事件

    微信小程序事件的使用方式 在组件中绑定一个事件处理函数. 如bindtap,当用户点击该组件的时候会在该页面对应的Page中找到相应的事件处理函数. <view id="tapTest ...

  3. Xshell连接不上虚拟机的问题和解决办法

    第一次用xshell,一直连不上linux,搞了好久,也查了很多办法,但是最后也终于解决了,在这里我分享一下自己的解决办法,再列举网上的办法,希望可以帮助其他人. 1,你的linux ip地址没有配置 ...

  4. Nginx+Tomcat+Session 高性能群集搭建

    随着IT行业的发展,linux服务器在企业中应用广泛,人们对linux上的应用服务要求也越来越高,早先的apache服务器.apache有优点也 有不足,apache渐渐不能满足人们的要求,目前ngi ...

  5. 为我们的SSR程序添加热更新功能

    前沿 通过上一篇文章 通过vue-cli3构建一个SSR应用程序 我们知道了什么是SSR,以及如何通过vue-cli3构建一个SSR应用程序.但是最后遗留了一些问题没有处理,就是没有添加开发时的热更新 ...

  6. 利用Surfingkeys和tampermonkey效率操作网页

    tampermonkey可以实现网页载入后自动进行某些操作,适合有规律的操作,实现完全自动化. 而Surfingkeys可以实现用各种按键实现各种功能,功能全部用JavaScript写,自定义性更强.

  7. <context:property-placeholder>配置资源文件

    直接在 spring 配置文件里面加上 <context:property-placeholder file-encoding="UTF-8" location=" ...

  8. Python的免费在线学习课程

    网上资源不是本人的,所以,只是转发.其它的不负责 http://www.imooc.com/learn/177

  9. 【LOJ6041】「雅礼集训 2017 Day7」事情的相似度(用LCT维护SAM的parent树)

    点此看题面 大致题意: 给你一个\(01\)串,每次询问前缀编号在一段区间内的两个前缀的最长公共后缀的长度. 离线存储询问 考虑将询问离线,按右端点大小用邻接表存下来(直接排序当然也可以啦). 这样的 ...

  10. 【OJ-UVa227】

    耗时一周.哭. 本题重在输入输出.所以对英文题目的理解非常重要.看清楚题目,省时省力. 题目要点: 1.开始有5×5的数据,每行仅有5个字符.注意:样例输入中的尾部空格是无法复制的(UVa官网上),其 ...