压缩率 bzip2 40g

2024-11-02

bzip2 zip 压缩后体积比 0.8:1

1. 对.bz2 后缀文件跳过不处理 2.逐行同字段的json文件,压缩后大小为原文件的12.81% 测试文件近似认为为逐行json文本数据,没有进行多文件重复测试,没有统计时间: {"uid":50013896,"uuid":"f32feacf-5f83-4866-8dfe-41bff794b8d4","ip":"666298884","site":0,"source&qu

gzip,bzip2,lzo,snappy是hadoop中比较常见的文件压缩格式,可以节省很多硬盘存储,以下是Gzip , BZip2 , Lzo Snappy 四种方式的优缺点和使用场景 Gzip 优点: 1.压缩解压速度快 , 压缩率高 , hadoop本身支持 2.处理压缩文件时方便 , 和处理文本一样 3.大部分linux 系统自带 Gzip 命令 , 使用方便缺点: 不支持切片使用场景: 1.文件压缩后在130M以内 (一个块大小) , 都可以使用 GZip 压缩(因为Gzip唯

LINUX SHELL脚本攻略笔记[速查]

Linux Shell脚本攻略笔记[速查] 资源 shell script run shell script echo printf 环境变量和变量 pgrep shell数学运算命令状态文件描述符和重定向 cat 数组和关联数组 alias date 调试脚本函数和参数管道读取命令输出 read 字段分隔符和迭代器循环比较和测试 find xargs tr md5sum sha1sum 对目录进行校验 sort uniq tempfile split bash变量匹配切分 exp

Linux命令速查手册(第2版)学习

第1章.需要了解的命令行相关事项表1-1 如何在文件名字符中使用特殊字符字符建议 / 绝不使用.不能转义 \ 必须转义.避免使用 _ 绝不能作为文件或目录名的第一个字符 [] 必须转义.避免使用 {} 必须转义.避免使用 * 必须转义.避免使用 ? 必须转义.避免使用 ' 必须转义.避免使用 " 必须转义.避免使用 <空格> 必须转义.通常无法避免,但尽量避免表1-2通配符及其匹配含义符号含义 * 匹配0个或者多个任意字符 ? 匹配单个字符 [] 匹配一组单个字符 {}

压缩和解压文件：tar gzip bzip2 compress(转)

tar[必要参数][选择参数][文件] 压缩:tar -czvf filename.tar.gz targetfile解压:tar -zxvf filename.tar.gz参数说明: -c 建立新的压缩文件 -z 支持gzip解压文件 -x 从压缩的文件中提取文件 -v 显示操作过程 -f 指定压缩文件 -t 显示压缩文件的内容 gzip[必要参数][选择参数][文件或者目录] 压缩: gzip filename/* (*号表示当前目录中的所有文件/目录分别进行压缩)解压: gzip -d

Linux下的压缩和解压缩命令——bzip2/bunzip2

bzip2命令 bzip2命令用于创建和管理(包括解压缩)".bz2"格式的压缩包. 我们遇见Linux压缩打包方法有很多种,以下讲解了Linux压缩打包方法中的Linux bzip2命令的多种范例供大家查看,相信大家看完后会有很多收获. 选项: -c:将压缩与解压缩的结果送到标准输出: -d:执行解压缩: -f或-force:bzip2在压缩或解压缩时,若输出文件与现有文件同名,预设不会覆盖现有文件.若要覆盖.请使用此参数: -h:在线帮助: -k:bzip2在压缩或解压缩后,会删除

Linux下创建与解压tar, tar.gz和tar.bz2文件及压缩率对比 | 沉思小屋

刚在qq群里面一位仁兄问到文件压缩的命令,平时工作中大多用解压缩命令,要是遇到压缩就现查(这不是一个好习惯),于是整理下Linux下创建与解压 zip.tar.tar.gz和tar.bz2文件及他们之间压缩率对比,在自己的脑袋内存空间有限又不经常使用的时候以便于备忘.现整理如下: 目前Linux下常见的压缩文件扩展名: *.Z compress程序压缩的文件(最早期使用),压缩后取代源文件: *.zip 一个夸平台的文件打包程序,适用于Linux.windows和Ma

XZ压缩最新压缩率之王

xz这个压缩可能很多都很陌生,不过您可知道xz是绝大数linux默认就带的一个压缩工具. 之前xz使用一直很少,所以几乎没有什么提起. 我是在下载phpmyadmin的时候看到这种压缩格式的,phpmyadmin压缩包xz格式的居然比7z还要小,这引起我的兴趣. 最新一段时间会经常听到xz被采用的声音,像是最新的archlinux某些东西就使用xz压缩.不过xz也有一个坏处就是压缩时间比较长,比7z压缩时间还长一些.不过压缩是一次性的,所以可以忽略. xz压缩文件方法或命令 xz -z 要压缩的

[拾得] zip gzip bzip2 & tar 压缩/打包四大金刚

坚持知识分享,该文章由Alopex编著, 转载请注明源地址: http://www.cnblogs.com/alopex/ 索引: 介绍压缩和打包 gzip bzip2 zip 的基本使用 gzip bzip2打包文件需要 tar 的支援同一文件使用不同压缩工具的比较对zip gzip bzip2 信息总结知识摘要: 能够完成文件的压缩和解压的基本操作能够明白压缩和打包的概念对于选择何种压缩命令有初步认识涉及命令 : zip(unzip), gzip, bzip2, ta

压缩打包介绍/gzip压缩工具/bzip2压缩工具/xz压缩工具

6.1 压缩打包介绍 6.2 gzip压缩工具 6.3 bzip2压缩工具 6.4 xz压缩工具常见的压缩文件格式 windows .rar .zip .7z linux .zip,.gz,.bz2,.xz,.tar.gz,.tar.bz2,.tar.xz gzip压缩工具 gzip 1.txt gzip -d 1.txt.gz /unzip 1.txt.gz gzip -#1.txt //#范围1-9默认6 不能解压缩目录 zcat 1.txt.gz gzi

简单了解gzip、bzip2、xz

压缩工具gzip.bzip2.xz分别对应压缩格式.gz..bz2..xz.不过tar命令已经可以满足大部分使用,所以这些格式只简单了解一下.gzip压缩速度最快,xz压缩率最高,bz2适中.一般这三个压缩工具用来压缩文件,很少用来压缩目录. (1).gzip实例压缩 [root@xuexi ~]# mkdir gzip [root@xuexi ~]# touch gzip/a.txt [root@xuexi ~]# gzip gzip/a.txt [root@xuexi ~]# ls gzi

[转]gzip,bzip2,tar,zip命令使用方法详解

原文:http://blog.chinaunix.net/uid-20779720-id-2547669.html 1 gzipgzip(1) 是GNU的压缩程序.它只对单个文件进行压缩.基本用法如下:$ gzip filename程序执行以后,文件名会变成filename.gz,而且一般情况下大小会比原文件要小.注意,程序并不新建一个新的文件filename.gz, 而是将filename变成filename.gz.一般来说,文本文件压缩率会比较高.而那些jpeg图像,mp3等类似文件的压缩率

bzip2 一种块排序文件压缩软件

总览 bzip2 [ -cdfkqstvzVL123456789 ] [ filenames ... ] bunzip2 [ -fkvsVL ] [ filenames ... ] bzcat [ -s ] [ filenames ... ] bzip2recover filename 描述 bzip2 采用 Burrows-Wheeler 块排序文本压缩算法和 Huffman 编码方式压缩文件.压缩率一般比基于 LZ77/LZ78 的压缩软件好得多,其性能接近 PPM 族统计类压缩软件. 命令

压缩工具gzip、bzip2、xz的使用

2019独角兽企业重金招聘Python工程师标准>>> 本文使用为了要压缩常见压缩格式压缩工具 gzip压缩工具 bz2压缩工具 xz压缩工具为什么要压缩为什么要压缩?文件经过压缩后,其大小会缩小,可以节约服务器带宽资源.内存资源,节约运维成本! 常见压缩格式 Linux平台的常见压缩文件格式有以下几种 .zip .gz .bz2 .xz .tar.gz .tar.bz2 .tar.xz 虽然在Linux中文件后缀并不重要,但是为了便于区分和管理,压缩文件还是最好加上上述的一些

gzip、bzip2、tar压缩命令使用

1. gzip gzip test.txt //压缩 gzip -d test.txt.gz //解压缩 gzip -9 test.txt //设置压缩等级(9最好,1最差,默认6) 相关:zcat 查看gzip压缩的文本文件 2. bzip2 bzip2 test.txt //压缩 bzip2 -z test.txt //压缩 bzip2 -d test.bz2 //解压缩相关:bzcat 查看bzip2压缩的文本文件 3. tar tar -cvf dir.tar dir //打包 tar

html写法对gzip压缩率的影响

前几天在群里看到小杜分享一篇文章,<html写法对gzip压缩率的影响>,为此我也对这点分析了一下.不知道大家有没有看过这文章,作者是来自微博懒懒交流会,其内容我这里先简述一下. Gzip算法主要由哈费曼和LZ77算法组成.如果文件中有两块内容相同的话,那么只要知道前一块内容的位置和大小,通过特定的压缩标识符,我们就可以确定后一块的内容.所以我们可以用位置长度这样一对信息,来替换后一块内容. 举例 <html> <head> <title></titl

php编译报错　configure: error: Please reinstall the BZip2 distribution

yum install -y bzip2 bzip2-devel

linux笔记：压缩解压命令gzip,gunzip,tar,zip,unzip,bzip2,bunzip2

命令名称:gzip功能:压缩文件命令所在路径:/bin/gzip用法:gzip 文件压缩后文件格式:.gz其他:压缩后不保留原文件:只能压缩文件,不能压缩目录命令名称:gunzip功能:解压.gz格式的压缩文件命令所在路径:/bin/gunzip用法:gunzip 压缩文件其他:解压后不保留原文件命令名称:tar功能:将目录打包并压缩为.tar.gz文件命令所在路径:/bin/tar用法:tar [-zcfv] 压缩后文件名目录参数:-c 打包为.tar文件-z 打包同时压缩为.tar.g

<转>如何利用多核CPU来加速你的Linux命令 — awk, sed, bzip2, grep, wc等

原文链接:http://www.vaikan.com/use-multiple-cpu-cores-with-your-linux-commands/ 你是否曾经有过要计算一个非常大的数据(几百GB)的需求?或在里面搜索,或其它操作——一些无法并行的操作.数据专家们,我是在对你们说.你可能有一个4核或更多核的CPU,但我们合适的工具,例如 grep, bzip2, wc, awk, sed等等,都是单线程的,只能使用一个CPU内核. 借用卡通人物Cartman的话,“如何我能使用这些内核”? 要

Compress、tar、gzip、zcat、bzip2、bzcat、打包解压命令行

讲解内容: Linux环境中,压缩文件案的扩展名大多是*.tar,*.tar.gz,*.tgz,*.gz,*.Z,*.bz2. *.z compress程序亚索的文件: *.gz gzip程序压缩的文件: *.bz2 bzip2程序压缩的文件: *.tar tar程序打包的数据,并没有压缩过: *.tar.gz tar程序打包的文件,其中经过gzip的压缩: *.tar.bz2 tar程序打包的文件