gzip,bzip2,lzo,snappy是hadoop中比较常见的文件压缩格式,可以节省很多硬盘存储,以下是Gzip , BZip2 , Lzo Snappy 四种方式的优缺点 和使用场景 Gzip 优点: 1.压缩解压速度快 , 压缩率高 , hadoop本身支持 2.处理压缩文件时方便 , 和处理文本一样 3.大部分linux 系统自带 Gzip 命令 , 使用方便 缺点: 不支持切片 使用场景: 1.文件压缩后在130M以内 (一个块大小) , 都可以使用 GZip 压缩(因为Gzip唯…

网址: http://www.cnblogs.com/panfeng412/archive/2012/12/24/applications-scenario-summary-of-compression-algorithms.html GZIP.LZO.Zippy/Snappy是常用的几种压缩算法,各自有其特点,因此适用的应用场景也不尽相同.这里结合相关工程实践的情况,做一次小结. 压缩算法的比较 以下是Google几年前发布的一组测试数据(数据有些老了,有人近期做过测试的话希望能共享出来):…

作用:为linux的文件和目录创建档案,也可以在档案中改变文件,或者向档案中加入新的文件即用来压缩和解压文件.tar本身不具有压缩功能.他是调用压缩功能实现的  语法:tar[必要参数][选择参数][文件]  参数: 必要参数有如下: -A 新增压缩文件到已存在的压缩 add -B 设置区块大小 block -c 建立新的压缩文件 create -d 记录文件的差别 difference -r 添加文件到已经压缩的文件 -u 添加改变了和现有的文件到已经存在的压缩文件 -x 从压缩的文件中提取文…

坚持知识分享,该文章由Alopex编著, 转载请注明源地址: http://www.cnblogs.com/alopex/    索引: 介绍压缩和打包 gzip bzip2 zip 的基本使用 gzip bzip2打包文件 需要 tar 的支援 同一文件使用不同压缩工具的比较 对zip gzip bzip2 信息总结   知识摘要: 能够完成文件的压缩和解压的基本操作 能够明白压缩和打包的概念 对于选择何种压缩命令有初步认识 涉及命令 : zip(unzip), gzip, bzip2, ta…

centos  文档的压缩和打包   gzip,bzip2,xz,zip,unzip,tar,tgz  第九节课 SAS盘可以支持热插拔,看机器 tar.zip.tar -czvf 不会动源文件,gzip和bz2都会把源文件压缩,然后删除源文件 gzip -f wpblogfull.$d.sql  会删除原来的sql文件并生成wpblogfull.$d.sql.gz 上半节课 gzip filename gzip -d filename.gzbzip2 filename bzip2 -d fil…

gzip,bzip2,xz压缩工具====================== gzip压缩工具 示例:[root@aminglinux yasuo]# ls1.txt 2.txt 3.txt[root@aminglinux yasuo]# gzip 1.txt[root@aminglinux yasuo]# ls1.txt.gz 2.txt 3.txt[root@aminglinux yasuo]# gzip -l 1.txt.gz //-l:列出压缩文件的相关信息: compressed u…

声明:本文主要总结自:鸟哥的Linux私房菜-第八章.檔案與檔案系統的壓縮,打包與備份,如有侵权,请通知博主 gzip命令: 选项参数: -c :将压缩后的数据显示到屏幕上,可以用于重定向: -d :解压缩的参数: -t :检验压缩的一致性,看是否有错误: -v :显示 源文件大小/压缩文件大小 的压缩比: -# :# 为数字的意思,代表压缩等級,-1 最快,但是压缩比最差.-9 最慢,但是压缩比最好!默认是 -6 gzip -v  => 压缩文件,-v查看压缩比 gzip -d => 解压文…

tar[必要参数][选择参数][文件] 压缩:tar -czvf filename.tar.gz targetfile解压:tar -zxvf filename.tar.gz参数说明: -c 建立新的压缩文件 -z 支持gzip解压文件 -x 从压缩的文件中提取文件 -v 显示操作过程 -f 指定压缩文件 -t 显示压缩文件的内容 gzip[必要参数][选择参数][文件或者目录] 压缩: gzip filename/*   (*号表示当前目录中的所有文件/目录分别进行压缩)解压: gzip -d…

以下内容来自:阿铭http://www.apelearn.com/study_v2/chapter11.html, 把常用的写出来了:感觉可以了: 只管压缩与解压缩的工具: gzip 工具: 用的时候只记住这几个参数就可以了:  注意: gzip 不可以压缩目录: -d, 它表示解压缩,压缩的时候不用加参数: -k, 表示 keep,如果不加它,在压缩或解压缩时,原文件会消失:当加上 –k, 原文件不会消失: 压缩之后的文件的后缀名为 .gz, 例子如下: yinheyi@ubuntu:~/tr…

压缩包也有两种形式,一种是tar.gz包(.tgz包也是这种),一种是tar.bz2包. tar.gz包的解压方法:tar zxvf [PackageName].tar.gz tar.bz2包的解压方法:tar jxvf [PackageName].tar.bz2 将压缩包文件解压缩到指定目录: tar -zxvf [压缩文件] -C [解压缩文件目录] 压缩打包命令: tar.gz包的压缩方法:tar zcvf [PackageName].tar.gz [要打包压缩的文件] tar.bz2包的…