用pigz代替gzip By yejr on 03 十二月 2012 pig是个啥东东?官网:http://zlib.net/pigz一句话简介: A parallel implementation of gzip for modernmulti-processor, multi-core machines. 简单的说,就是支持并行的gzip.废话不多说,开始测试. pig默认用当前逻辑cpu个数来并发压缩,无法检测个数的话,则并发8个线程. 一.测试压缩包文件1 压缩前 -rw-r--r--…

学习Linux系统时都会学习这么几个压缩工具:gzip.bzip2.zip.xz,以及相关的解压工具.关于这几个工具的使用和相互之间的压缩比以及压缩时间对比可以看:Linux中归档压缩工具学习 那么Pigz是什么呢?简单的说,就是支持并行压缩的gzip.Pigz默认用当前逻辑cpu个数来并发压缩,无法检测个数的话,则默认并发8个线程,也可以使用-p指定线程数.需要注意的是其CPU使用比较高. 官网:http://zlib.net/pigz 废话不多说,开始测试.   1 $ yum instal…

你是否曾经有过要计算一个非常大的数据(几百GB)的需求?或在里面搜索,或其它操作——一些无法并行的操作.数据专家们,我是在对你们说.你可能有一个4核或更多核的CPU,但我们合适的工具,例如 grep, bzip2, wc, awk, sed等等,都是单线程的,只能使用一个CPU内核. 借用卡通人物Cartman的话,“如何我能使用这些内核”? 要想让Linux命令使用所有的CPU内核,我们需要用到GNU Parallel命令,它让我们所有的CPU内核在单机内做神奇的map-reduce操作,当然…

磁盘读取---->打包---->压缩------>传输---->解压缩-->拆包---->落盘 |->tar     |->gzip      |->ssh      |->gzip   |->tar 比如我要将本地的test目录拷贝到"目标IP"的的data目录,则命令如下: tar -c test/ |pigz |ssh -c arcfour128 目标IP "gzip -d|tar -xC /data&q…

Git (wiki: en  chs )是一个免费开源的分布式版本控制系统,由linux内核作者linus Torvalds开发,大型开源项目linux kernel.Android.chromium.mono.dotnet.UE4等都使用Git管理项目 著名github网站使用Git托管所有项目代码,Git的代码也托管在github上,链接为:https://github.com/git 与集中式版本控制系统(开源软件:SVN:免费软件:CVS:商业软件:微软的VSS.IBM的Rational…

生成的txt一不小心带了./,用vim: :%s/\.\/single/single #%s/xxx/yyy/g是全文本替换,这里用\将特殊字符.和/转换成普通字符 结果还不错: ------------------2108.12.2----------------------------------- 生成图片list: find dir/ -name "*.jpg" -exec basename {} \; > lists.txt #加上basename就不带路径了find…

以前我们跨主机拷贝大数据的时候,比如要拷贝超过100GB的mysql原始数据,我们通常的做法如下: 在源端打包压缩为tar.gz文件 采用scp或者rsync等方式拷贝到目标主机 在目标主机解压文件 这三个过程是同步阻塞,即不能同时异步执行,导致效率低下. 现在我们将过程优化为以数据流的方式,同时执行(非阻塞模式),则效率一般可以提高到原来的3倍以上,具体实现如下: 磁盘读取---->打包---->压缩------>传输---->解压缩-->拆包---->落盘     …

使用tar+lz4/pigz+ssh更快的数据传输 -- | :41分类:Linux,MySQL | 前面一篇介绍了如何最大限度的榨取SCP的传输速度,有了这个基础,就可以进一步的使用压缩来加速传输速度了.只使用scp,传输速率最快约90MB,本文通过压缩将把最快传输速率提升到约250MB/s(包括解压的过程). 目录 [hide] . 结论 . 关于lz4 . 性能环境说明 3.1 磁盘读取和落盘 3.2 打包.拆包 3.3 压缩.解压缩 3.4 传输 3.5 整体流程 . 实验测试 4.1…

cmder cmder是一个增强型命令行工具,不仅可以使用windows下的所有命令,更爽的是可以使用linux的命令,shell命令. 安装包 安装包链接 下载后,直接解压即用. 修改命令提示符λ为$ 进入解压后的cmder的目录,进入vendor,打开init.bat文件. 修改第15行的代码 @prompt $E[1;32;40m$P$S{git}{hg}$S$_$E[1;30;40m{lamb}$S$E[0m 改为: @prompt $E[1;32;40m$P$S{git}{hg}$S$…

 下面所列的是常见的参数(选项)义: --help,-h                              显示帮助信息 --version,-V                       显示版本信息 -v                                              繁琐模式(显示命令完整的执行过程) -i                                               交谈模式(指定界面) -l               …