工作中往往遇到这种情况,有许多任务,依次执行比较浪费时间,由于任务之间有依赖关系,简单的并发执行又不行. 就如同下面这种情况,任务new和dvidUser是可以并发执行的,fact任务依赖于new任务,fact执行完之后last和stat才能执行: dvidUser执行完之后dvid和User两个任务才能执行. 针对这种情况,我考虑了操作系统中的信号量机制,通过借助linux中的文件描述符(以下称pipe)来实现这几个任务的并发. 当new执行完之后,向pipe-7中写入自己当前执行的ID(在程…

之前的文章依赖是1对1或1多对的,但每个任务的前置任务都只有1个. 本文的核心在于一个任务依赖于多个任务的执行完成,如上图所示,这个任务就是fact,只有new和dviduser两个任务都完成的情况下,fact才能继续执行. init_pipe.sh # 初始化file descriptor init_pipe(){ [ -e /tmp/fd1001 ] || mkfifo /tmp/fd1001 exec <>/tmp/fd1001 rm -rf /tmp/fd1001 [ -e /tmp/…

# 这是一个简单的并发程序,有如下要求: # .有两个程序a和b,希望他们能并发执行,以节约时间 # .a和b都是按照日期顺序执行,但b每日程序的前提条件是当日a的程序已经执行完毕 #解决方案: # .创建一个文件描述符作为pipe,a程序每次执行完就把一个日期发送给pipe,然后继续执行 # .b程序每次执行时先从pipe读取a的日期,如果a的日期>=b的日期,则b继续执行,否则阻塞. [ -e /tmp/fd5 ] || mkfifo /tmp/fd5 exec <>/tmp/fd5…

关于shell的多线程 1. 多线程并发执行任务,而不用一台台的串行执行,能更快更高效 2. Shell并没有多线程的概念,所以: * 一般使用wait.read等命令技巧性地模拟多线程实 * 使用命名管道(fifo)来实现多线程的控制 3. 用途:需要对多主机批量执行检查或操作时(例如ssh.ping等操作) 分段解析一个例子来理解一个多线程脚本的书写 1. 新建fifo类型文件 tmp_fifofile="/tmp/$$.fifo" mkfifo $tmp_fifofile #新建…

文章来源,wait的使用效果还是不错的 最近在使用shell做一些部署工作,在使用过程中,效率一直不高.想提高效率,经过分析发现,并不是所有操作都是需要串行的,一些操作是可以进行并行操作的.经过学习,shell里面也是可以进行多线程编程的,而且十分方便,同时,wait命令可以进行shell的多线程同步控制.下面是shell多线程和wait命令的一些学习体会.错误之处,还请大家指正. 一.启动后台子任务 在执行命令后加&操作符,表示将命令放在子shell中异步执行.可以达到多线程效果.如下, #等…

在shell脚本里批量执行程序是比较常见的方式,如果程序很多,每个执行时间比较长,则顺序执行需要花费大量的时间. 此时并发就成为我们考虑的方向. 上篇<shell多线程>中我们已经简单实现了基于for循环的并发,可以显著提高工作效率: 缺点是CPU的核心不是无限的,如果全部占用,则会影响系统的正常运行. 这个时候我们就考虑利用linux系统的管道来进行最大并发数的管控. 1.举例: 一个厕所有10个蹲位,如果100个人来使用,则势必形成竞争,这时管理员给每个蹲位一个锁和一把钥匙,先来的人拿钥匙…

Shell中并没有真正意义的多线程,要实现多线程可以启动多个后端进程,最大程度利用cpu性能. 直接看代码示例吧. (1) 顺序执行的代码 #!/bin/bash date ` do { echo "sleep 5" } done date 输出: Sat Nov :: CST Sat Nov :: CST (2) 并行代码 使用'&'+wait 实现"多进程"实现 #!/bin/bash date ` do { echo "sleep 5&quo…

同一接口不同的数据源: 协同进程: fdopen以文件描述符为参数: fopen和popen: 为了实现popen,必须在子进程中调用sh,因为只有shell本身即/bin/sh可以运行任意shell命令: popen的实现: 访问数据: 系统调用socket创建一个socket:   htons(16位).htonl(32位).ntohs.ntohl这些函数用于网络字节序与主机字节序转换.名字由来:host to network long. connect: 使用SIGCHLD来阻止僵尸问题:…

情景 shell脚本的执行效率虽高,但当任务量巨大时仍然需要较长的时间,尤其是需要执行一大批的命令时.因为默认情况下,shell脚本中的命令是串行执行的.如果这些命令相互之间是独立的,则可以使用“并发”的方式执行这些命令,这样可以更好地利用系统资源,提升运行效率,缩短脚本执行的时间.如果命令相互之间存在交互,则情况就复杂了,那么不建议使用shell脚本来完成多线程的实现. 为了方便阐述,使用一段测试代码.在这段代码中,通过seq命令输出1到10,使用for...in语句产生一个执行10次的循环.…

命名管道基础 命名管道也被称为FIFO文件, 在文件系统中是可见的,并且跟其它文件一样可以读写! 命名管道特点: 当写进程向管道中写数据的时候,如果没有进程读取这些数据,写进程会堵塞 当读取管道中的数据的时候,如果没有数据,读取进程会被堵塞 当写进程堵塞的时候,有读进程读取数据,那么写进程恢复正常 当读进程堵塞的时候,如果写进程写了数据,那么读进程会读取数据,然后正常执行后面的代码 # 写进程堵塞的情况 [root@ns_10.2.1.242 test]$ echo 1 >p & [1] 1…