GNU Parallel Tutorial

【GNU Parallel Tutorial】的更多相关文章

GNU Parallel Tutorial Prerequisites Input sources A single input source Multiple input sources Linking arguments from input sources Changing the argument separator. Changing the argument delimiter End-of-file value for input source Skipping empty lin…

28个Unix/Linux的命令行神器_转

28个Unix/Linux的命令行神器下面是Kristóf Kovács收集的28个Unix/Linux下的28个命令行下的工具,有一些是大家熟悉的,有一些是非常有用的,有一些是不为人知的.这些工具都非常不错,希望每个人都知道.本篇文章还在Hacker News上被讨论,你可以过去看看. dstat & sar iostat, vmstat, ifstat 三合一的工具,用来查看系统性能. 官方网站:http://dag.wieers.com/rpm/packages/dstat/ 你可以这样…

在 Linux 下将 PNG 和 JPG 批量互转的四种方法

计算机术语中,批处理指的是用一个非交互式的程序来执行一序列的任务[1]的方法.这篇教程里,我们会使用 Linux 命令行工具,并提供 4 种简单的处理方式来把一些 .PNG 格式的图像批量转换成 .JPG 格式的,以及转换回来. 虽然所有示例中我们使用的都是 convert 命令行工具,但是您也可以使用 mogrify 命令来达到同样的效果. convert 命令的语法如下: $ convert 输入选项输入文件输出选项输出文件而 mogrify 的为: $ mogrify 选项输入文…

Data Science at the Command Line学习笔记（二）

1.vagrant建立简单httpserver方法: 1)映射端口修改Vagrantfile, 末尾添加本地端口和虚机端口的映射关系, 然后执行vagrant reload. Vagrant::Config.run do |config| # Forward guest port 8000 to host port 8000 config.vm.forward_port 8000, 8000 end 需新增端口映射,只需增加 config.vm.forward_port 80, 8080 2)…

分享一个linux环境下快速读取行数的命令

最初是因为我需要计算一天的日志行数,如果用传统意义上的cat a.log |wc -l的话因为是单线程,所以需要计算半小时的样子,后来同组的小伙伴教了我一个方法可以有效提高计算速度,将计算时间减半.命令就是这个 cat a.log |parallel --pipe wc -l |awk '{a+=$1}END{print a}',使用了所有的CPU内核,快速提高了计算速度.蕴含map-reduce思想,将原本大的任务,分散成多个小任务,之后再将结果reduce到一起. 下面网址是我找到的这个命…

shell之并行

http://my.oschina.net/enyo/blog/271612 GNU Parallel指南 http://www.gnu.org/software/parallel/parallel_tutorial.html…

<转>如何利用多核CPU来加速你的Linux命令 — awk, sed, bzip2, grep, wc等

原文链接:http://www.vaikan.com/use-multiple-cpu-cores-with-your-linux-commands/ 你是否曾经有过要计算一个非常大的数据(几百GB)的需求?或在里面搜索,或其它操作——一些无法并行的操作.数据专家们,我是在对你们说.你可能有一个4核或更多核的CPU,但我们合适的工具,例如 grep, bzip2, wc, awk, sed等等,都是单线程的,只能使用一个CPU内核. 借用卡通人物Cartman的话,“如何我能使用这些内核”? 要…