for i in (file1 file2 file3), do process_a $i | tee process_a $i_a.txt | process_b > $i_b.txt & done wait cat *_a.txt *_b.txt | process_c > final…

在生信分析中,经常会遇到不同的重复和处理,这样的分析过程有时是非常费时且占用资源并不是很多的,可以同时在后台运行以节约时间,这是并行处理的意义.除了需要并行处理,循环迭代来遍历整个文件夹的需要分析的数据也是非常消耗精力和时间的,按照宁可花费机器一分钟绝不浪费程序员一秒钟的精神,我决定开始探索并行循环处理的应用. 首先摆在我面前的是tab分割的按行分布的不同的采样策略,这样一个文件我们要进行分析的话就需要每次都迭代一下,这样非常费事,所以我们决定按行来拆分这样的文件,用到了split命令,见另述.…

xargs具有并行处理的能力,在处理大文件时,如果应用得当,将大幅提升效率. xargs详细内容(全网最详细):https://www.cnblogs.com/f-ck-need-u/p/5925923.html 效率提升测试结果 先展示一下使用xargs并行处理提升的效率,稍后会解释下面的结果. 测试环境: win10子系统上 32G内存 8核心cpu 测试对象是一个放在固态硬盘上的10G文本文件(如果你需要此测试文件,点此下载,提取码: semu) 下面是正常情况下wc -l统计这个10G文…

转自:http://blog.csdn.net/taiyang1987912/article/details/39529291 版权声明:本文为博主原创文章,未经博主允许不得转载. 目录(?)[+] 一.简介 Linux是一种用户控制的多作业操作系统,系统允许多个系统用户同时提交作业,而一个系统用户又可能用多个shell登录,每个系统用户可以用一个shell提交多个作业.了解Bash Shell在多作业管理和进程处理方面的命名和机制有助于理解多用户.多作业的系统. 二.详解 1.子Shell (…

1. 启动日志分析 启动日志格式如下: 开机时间:2015/05/13 周三 16:45:17.79 关机时间:2015/05/13 周三 18:46:03.91 开机时间:2015/05/14 周四 17:07:11.80 开机时间:2015/05/14 周四 17:09:34.68 关机时间:2015/05/14 周四 18:42:35.40 转换为导入 excel 的格式: 2015/05/13 16:45:17.79 18:46:03.91 2015/05/14 17:07:11.80…

本页内容都是本人回炉Linux时整理出来的.这些文章中,绝大多数命令类内容都是翻译.整理man或info文档总结出来的,所以相对都比较完整. 本人的写作方式.风格也可能会让朋友一看就恶心到直接右上角叉叉,对此本人只能say sorry.但本人能自信的说,很多文章能算得上是查缺补漏和原理(机制)深入型的内容,也有很多是手册型文章. 文章中有非常多的内容是我个人摸索的时候推断.测试出来的,虽以目前本人的能力还没发现不通之处,但错误难免,所以若各位朋友发现什么错误,或有疑惑.更好的建议等,盼请各位能在…

shell是每个接触linux.unix用户不得不会的工具,谈到shell就又联系到bash,因为这个shell是普遍被使用的.那么bash中的局部变量和子shell你是否能熟练掌握呢?这里推荐一本学习bash必须读的书<高级Bash脚本编程指南>.   1.局部变量 顾名思义,局部变量就是在局部起作用的变量,用local内建命令定义.在函数定义中,没有明确定义为局部变量的变量是全局变量,如下 [root@vm3 ~]# function defval(){> a=66> }[ro…

如果表达式中包含特殊字符,Shell 将会进行替换.例如,在双引号中使用变量就是一种替换,转义字符也是一种替换. #!/bin/bash a= echo -e "Value of a is $a \n" 结果: Value of a is 这里 -e 表示对转义字符进行替换.如果不使用 -e 选项,将会原样输出: Value of a is \n 下面的转义字符都可以用在 echo 中: 转义字符 含义 \\ 反斜杠 \a 警报,响铃 \b 退格(删除键) \f 换页(FF),将当前位…

$ 表示当前Shell进程的ID,即pid $echo $$ 运行结果 特殊变量列表 变量 含义 $0 当前脚本的文件名 $n 传递给脚本或函数的参数.n 是一个数字,表示第几个参数.例如,第一个参数是$1,第二个参数是$2. $# 传递给脚本或函数的参数个数. $* 传递给脚本或函数的所有参数. $@ 传递给脚本或函数的所有参数.被双引号(" ")包含时,与 $* 稍有不同,下面将会讲到. $? 上个命令的退出状态,或函数的返回值. $$ 当前Shell进程ID.对于 Shell 脚…

定义变量 定义变量时,变量名不加美元符号($),如: variableName="value" 注意,变量名和等号之间不能有空格,这可能和你熟悉的所有编程语言都不一样.同时,变量名的命名须遵循如下规则: 首个字符必须为字母(a-z,A-Z). 中间不能有空格,可以使用下划线(_). 不能使用bash里的关键字(可用help命令查看保留关键字). 使用变量 使用一个定义过的变量,只要在变量名前面加美元符号($)即可,如: your_name="mozhiyan" ec…