Shell-使用mkfifo实现多任务并发及并发数控制
以下为代码实现的一个模拟场景:
3个生产者,在不断提供服务,处理需求,假设1s处理一个。
20个消费者,在不断消耗供给产品,提交需求,假设3s消耗一个。
情景分析:由于消费者的提交需求能力 和 生产者处理需求的能力 不对等,于是出现了供不应求的供销矛盾。
问题:一般情况下,在供不应求时,会有大量的需求被挂起,也就是排队,排队期间消费者不得离开,否则当前所处的队列顺序就被后面的消费者替代。这样所有排队的消费者都无法干别的事,只能空等,类比操作系统中内存、计算单元等资源被空占,影响整体效率。
解决思路:通过队列来提前收取需求,类似于自动帮消费者记录排队顺序,这样等轮到自己时,再去执行。那么节省出来的等待时间,就可以去做别的事情,类比操作系统中资源释放。
#!/bin/bash
IPLIST=/home/meta/ipinfo/iplist #任务(消费者)
THREAD=50 #声明并发线程并发个数,这个是此应用的关键,也就是设置管道的最大任务数
TMPFIFO=/tmp/$$.fifo #声明管道名称,'$$'表示脚本当前运行的进程PID
mkfifo $TMPFIFO #创建管道
exec 5<>${TMPFIFO} #创建文件标示符“5”,这个数字可以为除“0”、“1”、“2”之外的所有未声明过的字符, 以读写模式操作管道文件;系统调用exec是以新的进程去代替原来的进程,但进程的PID保持不变, 换句话说就是在调用进程内部执行一个可执行文件
rm -rf ${TMPFIFO} #清除创建的管道文件
#为并发线程创建同样个数的占位
for((i=1;i<=$THREAD;i++))
do
echo ; /*借用read命令一次读取一行的特性,使用一个echo默认输出一个换行符,来确保每一行只有一个线程占位;
这里让人联想到生产者&消费者模型,管道文件充当消息队列,来记录消费者的需求,然后由生产者去领任务,并完成任务,
这里运用了异步解耦的思想*/
done >&5
#将占位信息写入管道
for i in $(cat ${IPLIST} |grep -viE "^#|备机|ts"|awk '{print $1}') #从任务队列中依次读取任务
do
read -u5 /*从文件描述符管道中,获取一个管道的线程占位然后开始执行操作;read中 -u 后面跟fd,表示从文件描述符中读入,
该文件描述符可以是exec新开启的*/
{
echo $(cat ~/ipinfo/iplist|grep $i|awk '{print $2}');
ssh -oConnectTimeout=10 -oConnectionAttempts=3 $i "cd /home/Log/;grep 'MIL' mission_2016-08-03*.log |awk -F, '{if(\$19==1370) print \$0}'|
awk -F, '{if(\$20==0) print \$0}'>miss_info.txt"
echo "" >&5 /*任务执行完后在fd5中写入一个占位符,以保证这个线程执行完后,线程继续保持占位,继而维持管道中永远是50个线程数,
&表示该部分命令/任务放入后台不占当前的bash,实现并行处理*/
} &
done
wait #等待父进程的子进程都执行结束后再结束父进程
exec 5>&- #关闭fd5的管道
exit 0
例子:
#!/bin/sh thread=
tmp_fifofile="/tmp/$$.fifo"
mkfifo $tmp_fifofile
exec <>$tmp_fifofile
rm $tmp_fifofile i=
while(($i<=$thread))
do
echo
let i=i+
done >& while read list_pro
do
tabnm=`echo ${list_pro}`
read -u6
spooltime=`date +%c`
{
echo ${tabnm} &&{
sleep
}
echo >&
}&
done < list_pro.txt wait
exec >&-
list_pro.txt
[python@master tmp]$ more list_pro.txt
可以自己运行试试。。。
while read tablename
do
ftfilename=`echo ${tablename} | awk -F':' '{print $2}'`
fromsc=`echo ${tablename} | awk -F':' '{print $3}'`
fromtb=`echo ${tablename} | awk -F':' '{print $4}'`
tosc=`echo ${tablename} | awk -F':' '{print $5}'`
totb=`echo ${tablename} | awk -F':' '{print $6}'`
read -u6
spooltime=`date +%c`
#subjob start
{
sh ${shell_path}/otoelk.sh ${ftfilename} ${dataDate} ${oracle} ${schema_id} ${fromsc} ${fromtb} ${tosc} ${totb} ${confile} ${shell_path} &&{
sleep
} || {
echo "${oracle} to elk sub error" --出错的时候打印日志
}
echo >&
}&
done < ${confile}
Shell-使用mkfifo实现多任务并发及并发数控制的更多相关文章
- Linux Shell多进程并发以及并发数控制
1. 基础知识准备 1.1. linux后台进程 Unix是一个多任务系统,允许多用户同时运行多个程序.shell的元字符&提供了在后台运行不需要键盘输入的程序的方法.输入命令后,其后紧跟&a ...
- Shell 实现多线程(多任务)
实现方案: 1.命令结尾添加:& #/bin/bash all_num= a=$(date +%H%M%S) ${all_num}` do { echo ${num} } & done ...
- IIS连接数、IIS并发连接数、IIS最大并发工作线程数、应用程序池的队列长度、应用程序池的
IIS连接数 一般购买过虚拟主机的朋友都熟悉购买时,会限制IIS连接数,这边先从普通不懂代码用户角度理解IIS连接数 顾名思义即为IIS服务器可以同时容纳客户请求的最高连接数,准确的说应该叫" ...
- 你真的了解:IIS连接数、IIS并发连接数、IIS最大并发工作线程数、应用程序池的队列长度、应用程序池的最大工作进程数 吗?
原文链接:http://www.cnblogs.com/yinhaichao/p/4060209.html?utm_source=tuicool&utm_medium=referral 一般购 ...
- 转载:IIS 之 连接数、并发连接数、最大并发工作线程数、队列长度、最大工作进程数
一.IIS连接数 一般购买过虚拟主机的朋友都熟悉购买时,会限制IIS连接数,顾名思义即为IIS服务器可以同时容纳客户请求的最高连接数,准确的说应该叫“IIS限制连接数”. 客户请求的连接内容包括: [ ...
- IIS 之 连接数、并发连接数、最大并发工作线程数、队列长度、最大工作进程数
一.IIS连接数 一般购买过虚拟主机的朋友都熟悉购买时,会限制IIS连接数,顾名思义即为IIS服务器可以同时容纳客户请求的最高连接数,准确的说应该叫“IIS限制连接数”. 客户请求的连接内容包括: [ ...
- IIS:连接数、并发连接数、最大并发工作线程数、应用程序池的队列长度、应用程序池的最大工作进程数详解
Internet Information Services(IIS,互联网信息服务),是由微软公司提供的基于运行Microsoft Windows的互联网基本服务.最初是Windows NT版本的可选 ...
- Java并发多线程 - 并发工具类JUC
安全共享对象策略 1.线程限制 : 一个被线程限制的对象,由线程独占,并且只能被占有它的线程修改 2.共享只读 : 一个共享只读的对象,在没有额外同步的情况下,可以被多个线程并发访问, 但是任何线程都 ...
- IIS最大并发连接数 = 队列长度 + IIS最大并发工作线程数
深入理解IIS的多线程工作机制 首先让我们来看看IIS里面的这2个数字:最大并发连接数,队列长度.先说这2个数字在哪里看. 最大并发连接数:在IIS中选中一个网站,右键网站名称,在右键菜单中找到并 ...
随机推荐
- 基于layui的表格异步删除,ajax的简单运用
h话不多说,看图,点击删除,出现确认框,然后点击确认删除,直接删除数据, 因为是基于面向过程的,没有用php框架写,所以有3个文件: 第一个文件:data.php:用于从数据库中获取数据 <?p ...
- WPF下如何去除WebBrowser的滚动条和捕获关闭事件
方法一:适用于VS2008 1.在解决方案中添加“引用” 选择 COM 下的 Microsoft html object library 2.引入命名空间 using mshtml; ...
- jackson对Exception类型对象的序列化与反序列化
发现问题 今天在调试系统错误通知的时候遇到了一个问题.我们在系统异常时候要通过队列系统发送各种通知到团队内部成员. 因此我写了一个通用接口.接口中有传递Exception对象到队列中,再由队列消费者解 ...
- 剑指offer_斐波那契数列
package solution; public class Fibonacci { /* * f(n) = f(n-1) + f(n-2) n>1 * f(0) = 0 * f(1) = 1 ...
- 使用PowerShell 修改DNS并加入域中
运行环境:Windows Server 2012 R2 此powershell脚本为自动修改本机DNS并加入到域中 但有的时候会提示[本地计算机当前不是域的一部分.请重新执行脚本!]错误,如遇到该错误 ...
- 数据结构之单链表(golang版)
线性表之单链表 package main //线性表中的链式存储结构 //第一个节点为头节点,并不真实保存数据,头节点基本代表了整个链表 import ( "fmt" ) type ...
- jquery的scrollTop方法
scrollTop方法设置或返回备选元素的垂直滚动条位置. 提示:当滚动条位于最顶部时,位置是0 当用于返回位置时: 该方法返回第一个匹配元素的滚动条的垂直位置 当用于设置位置时: 该方法设置所有匹配 ...
- es reindex
# 添加mapping: url -X POST 'http://127.0.0.1:9200/indexName/typeName/_mapping?pretty' -d '{ "type ...
- 怎样理解 Vue 组件中 data 必须为函数 ?
组件意在 复用 , 若为 对象, 则会相互干扰. 且 Vue 不允许此事发生, 规定必须为函数, 否则报错. 原理如下 对象 // 模拟创建组件 var Component= function() { ...
- C#中属性的封装
封装的一般性 封装快捷键:Ctrl+R+E 封装的目的: public修饰的属性,不够安全:private修饰的属性,无法使用所以,用到了封装: 封装就是 隐藏对象的信息,但要流出访问的接口 封装代码 ...