用pigz代替gzip

By yejr on 03 十二月 2012

pig是个啥东东?
官网:http://zlib.net/pigz
一句话简介:

A parallel implementation of gzip for modernmulti-processor, multi-core machines。

简单的说,就是支持并行的gzip。废话不多说,开始测试。

pig默认用当前逻辑cpu个数来并发压缩,无法检测个数的话,则并发8个线程。

一、测试压缩包文件1
压缩前
-rw-r--r-- 1 root root 2474772480 Dec 3 19:54 dbs.tar 1、gzip测试
压缩耗时,CPU最高:101.6%
real 2m18.042s
user 2m10.204s
sys 0m6.876s 解压缩耗时,CPU最高:101.6%
real 0m26.756s
user 0m20.175s
sys 0m6.580s 压缩后
-rw-r--r-- 1 root root 2349563863 Dec 3 19:54 dbs.tar.gz 2、pigz测试
并发8线程(默认):
压缩耗时,CPU最高:832%
real 0m21.710s
user 2m31.229s
sys 0m9.101s 解压缩耗时,CPU最高:199%
real 0m13.239s
user 0m11.791s
sys 0m12.426s 并发4线程:
压缩耗时,CPU最高:427.6%
real 0m38.299s
user 2m30.701s
sys 0m8.369s 解压缩耗时,CPU最高:202%
real 0m13.294s
user 0m12.154s
sys 0m11.862s 压缩后
-rw-r--r-- 1 root root 2350161547 Dec 3 19:54 dbs.tar.gz 二、测试压缩包文件2
压缩前
-rw-r--r-- 1 root root 5248890880 Dec 3 20:26 mysql-5.5.28-linux2.6-x86_64.tar 1、gzip测试
压缩耗时,CPU最高:101%
real 6m20.524s
user 6m2.466s
sys 0m7.410s 解压缩耗时,CPU最高: 101%
real 0m58.893s
user 0m46.258s
sys 0m11.944s 压缩后
-rw-r--r-- 1 root root 1410045513 Dec 3 20:26 mysql-5.5.28-linux2.6-x86_64.tar.gz 2、pigz测试
并发8线程(默认):
压缩耗时,CPU最高: 799%
real 1m11.908s
user 6m36.717s
sys 0m9.860s 解压缩耗时,CPU最高:179%
real 0m33.188s
user 0m38.069s
sys 0m16.728s 并发4线程:
压缩耗时,CPU最高: 418%
real 1m41.547s
user 6m36.782s
sys 0m9.806s 解压缩耗时,CPU最高: 179%
real 0m33.120s
user 0m37.500s
sys 0m16.956s 压缩后
-rw-r--r-- 1 root root 1406061442 Dec 3 20:26 mysql-5.5.28-linux2.6-x86_64.tar.gz

结论:

1、pigz默认用法(默认并发线程是逻辑cpu个数)可比gzip快5.3倍,CPU消耗则是gzip的8倍,压缩比则相当;
2、并发8线程对比4线程提升:41.2%,16线程对比8线程提升:27.9%,32线程对比16线程提升:3%;
3、在对压缩效率要求较高、但对短时间内CPU消耗较高不受影响的场景,使用pigz非常合适。 转自:http://imysql.cn/2012/12/03/using-pigz-instead-of-gzip.html 经个人测试,gzip和pigz命令可以互通,即用gzip压缩的文件可以用pigz来解压,pigz压缩的文件也可以用gzip来解压·~~~~放心使用,哈哈····

用pigz代替gzip -- 并行压缩软件的更多相关文章

  1. 关于压缩软件gzip和xz的简单对照

    晚上因为处理磁盘报警的须要.进行了日志压缩,在此次压缩中分别使用了gzip和xz软件对文本进行了压缩.压缩的结果很令人诧异. 出于对xz好奇的原因是因为在下载内核源码时常常能够看到.xz格式的文件包. ...

  2. linux服务器的Gzip文件压缩方法[转]

    一.gzip介绍 gzip是GNU zip的缩写,它是一个GNU自由软件的文件压缩程序,也经常用来表示gzip这种文件格式.软件的作者是Jean-loup Gailly和Mark Adler.1992 ...

  3. bzip2 一种块排序文件压缩软件

    总览 bzip2 [ -cdfkqstvzVL123456789 ] [ filenames ... ] bunzip2 [ -fkvsVL ] [ filenames ... ] bzcat [ - ...

  4. Android总结之Gzip/Zip压缩

    前言: 做过Android网络开发的都知道,在网络传输中我们一般都会开启GZIP压缩,但是出于刨根问底的天性仅仅知道如何开启就不能满足俺的好奇心的,所以想着写个demo测试一下比较常用的两个数据压缩方 ...

  5. CentOS下Apache开启Gzip网页压缩功能

    1.进入/etc/httpd/conf下打开httpd.conf文件 开启Gzip压缩功能,即去掉LoadModule deflate_module modules/mod_deflate.so这行前 ...

  6. Nginx开启GZIP来压缩网页

    HTTP协议上的GZIP编码是一种用来改进web应 用程序性能的技术.大流量的WEB站点常常使用GZIP压缩技术来让用户感受更快的速度.这一般是指WWW服务器中安装的一个功能,当有人来访问这个服务器中 ...

  7. 解决winrar压缩软件弹出广告

    最近winrar每次打开压缩包就会弹出一个广告,那是因为winrar是收费软件,注册了就没有广告了.下面我教大家怎么注册来屏蔽广告. 解决方法 1.新建一个txt文件并命名为"rarreg. ...

  8. Filter之——GZIP全站压缩

    GZIP压缩:将压缩后的文本文件,发送给浏览器,减少流量. 一.进行gzip压缩条件: 1.请求头:Accept-Encoding : gzip  告诉服务器,该浏览器支持gzip压缩. 2.响应头: ...

  9. gzip [选项] 压缩(解压缩)

    减少文件大小有两个明显的好处,一是可以减少存储空间,二是通过网络传输文件时,可以减少传输的时间.gzip是在Linux系统中经常使用的一个对文件进行压缩和解压缩的命令,既方便又好用. 语法:gzip ...

随机推荐

  1. vi命令修改文件及保存的使用方法

    简单点:vi文件名,按"I"进入insert模式,可以正常文本编辑,编辑好之后按“esc”退出到“命令模式”,再按“shift+:”进入“底行模式”, 按“:wq”保存退出! 还一 ...

  2. 大数据小视角5:探究SSD写放大的成因与解决思路

    笔者目前开发运维的存储系统的服务器都跑在SSD之上,目前单机服务器最大的SSD容量有4T之多.(公司好有钱,以前在实验室都只有机械硬盘用的~~)但SSD本身的特性与机械硬盘差距较大,虽然说在性能上有诸 ...

  3. VB打开工程时出现不能加载MSCOMCTL.OCX

    用记事本打开VBP文件找到这一行:Object={831FDD16-0C5C-11D2-A9FC-0000F8754DA1}#2.1#0; MSCOMCTL.OCX改为:Object={831FDD1 ...

  4. VB.NET只允许打开一个实例

    If UBound(Diagnostics.Process.GetProcessesByName(Diagnostics.Process.GetCurrentProcess.ProcessName)) ...

  5. hihoCoder.1509.异或排序(位运算 思路)

    题目链接 \(Description\) 给定长为\(n\)的序列\(A\).求有多少\(S\),满足\(0\leq S<2^{60}\),且对于所有\(i\in[1,n-1]\),\(a[i] ...

  6. Java并发程序设计(三) Java内存模型和线程安全

    Java内存模型和线程安全 一 .原子性 原子性是指一个操作是不可中断的.即使是在多个线程一起执行的时候,一个操作一旦开始,就不会被其它线程干扰. 思考:i++是原子操作吗?  二.有序性 Java代 ...

  7. [NOIp2015提高组]信息传递

    OJ题号:洛谷2661 思路:求最小环.DFS+记忆化. #include<cstdio> #include<cstring> #include<algorithm> ...

  8. [HihoCoder1369]网络流一·Ford-Fulkerson算法

    思路: 最大流模板. #include<queue> #include<cstdio> #include<cctype> #include<vector> ...

  9. U3D面试题

    直接上新.... 什么是协同程序?答:在主线程运行时同时开启另一段逻辑处理,来协助当前程序的执行.换句话说,开启协程就是开启一个可以与程序并行的逻辑.可以用来控制运动.序列以及对象的行为. Unity ...

  10. getOutputStream() has already been called for this response解释以及解决方法

    异常:getOutputStream() has already been called for this response 的解决方法 今天在第一次接触使用“验证码”功能时,在执行时出现了异常信息: ...