使用tar+lz4/pigz+ssh更快的数据传输

【使用tar+lz4/pigz+ssh更快的数据传输】的更多相关文章

使用tar+lz4/pigz+ssh更快的数据传输

使用tar+lz4/pigz+ssh更快的数据传输 -- | :41分类:Linux,MySQL | 前面一篇介绍了如何最大限度的榨取SCP的传输速度,有了这个基础,就可以进一步的使用压缩来加速传输速度了.只使用scp,传输速率最快约90MB,本文通过压缩将把最快传输速率提升到约250MB/s(包括解压的过程). 目录 [hide] . 结论 . 关于lz4 . 性能环境说明 3.1 磁盘读取和落盘 3.2 打包.拆包 3.3 压缩.解压缩 3.4 传输 3.5 整体流程 . 实验测试 4.1…

使用tar+pigz+ssh实现大数据的高效传输

以前我们跨主机拷贝大数据的时候,比如要拷贝超过100GB的mysql原始数据,我们通常的做法如下: 在源端打包压缩为tar.gz文件采用scp或者rsync等方式拷贝到目标主机在目标主机解压文件这三个过程是同步阻塞,即不能同时异步执行,导致效率低下. 现在我们将过程优化为以数据流的方式,同时执行(非阻塞模式),则效率一般可以提高到原来的3倍以上,具体实现如下: 磁盘读取---->打包---->压缩------>传输---->解压缩-->拆包---->落盘 …

tar+pigz+ssh实现大数据压缩传输

lz4,pigz,gzip 3者比较

一.压缩(1.1)使用gzip进行打包:# time tar -zcf tar1.tar binlog*real 0m48.497suser 0m38.371ssys 0m2.571s (1.2)使用pigz压缩,同时设置最高压缩速度(-1)# time tar -cv binlog* | pigz -1 -p 24 -k >pigz1.tar.gzreal 0m10.715suser 0m17.674ssys 0m1.699s (1.3) 使用pigz压缩,默认压缩比 # time tar…

php提供更快的文件下载

在微博上偶然看到一篇介绍php更快下载文件的方法,其实就是利用web服务器的xsendfile特性,鸟哥的博客中只说了apache的实现方式,我找到了介绍nginx实现方式的文章,整理一下! let's go! 一般来说, 我们可以通过直接让URL指向一个位于Document Root下面的文件, 来引导用户下载文件. 但是, 这样做, 就没办法做一些统计, 权限检查, 等等的工作. 于是, 很多时候, 我们采用让PHP来做转发, 为用户提供文件下载. <?php $file = "/tm…

快速传输大数据（tar+lz4+pv）

快速传输大数据(tar+lz4+pv) 如果用传统SCP远程拷贝,速度是比较慢的.现在采用lz4压缩传输.LZ4是一个非常快的无损压缩算法,压缩速度在单核300MB/S,可扩展支持多核CPU.它还具有一个非常快速的解码器,速度单核可达到和超越1GB/S.通常能够达到多核系统上的RAM速度限制. 你PV 全命为Pipe Viewer,利用它我们可以查看到命令执行的进度. 下面介绍下lz4和pv的安装,下载软件: 下载pv-1.1.4.tar.gz wget http://sourceforge…

扯扯淡，写个更快的memcpy

写代码有时候和笃信宗教一样,一旦信仰崩溃,是最难受的事情.早年我读过云风的一篇<VC 对 memcpy 的优化>,以及<Efficiency geek 2: copying data in C/C++, optimisation>,所以我是坚信很难能写出比C运行时库更快的memcpy的.但最近有两个事情,让我对这个坚信产生了怀疑. 第一个个是最近在看lz4的代码,lz4可能是目前最快的内存压缩算法,部分评测他比snappy还要快点(lz4的实现后面专文剖析).研究他的代码,发现他其…

更快的memcpy

更快的memcpy 写代码有时候和笃信宗教一样,一旦信仰崩溃,是最难受的事情.早年我读过云风的一篇<VC 对 memcpy 的优化>,以及<Efficiency geek 2: copying data in C/C++, optimisation>,所以我是坚信很难能写出比C运行时库更快的memcpy的.但最近有两个事情,让我对这个坚信产生了怀疑. 第一个个是最近在看lz4的代码,lz4可能是目前最快的内存压缩算法,部分评测他比snappy还要快点(lz4的实现后面专文剖析).研…

金蝶随手记团队分享：还在用JSON? Protobuf让数据传输更省更快(实战篇)

本文作者:丁同舟,来自金蝶随手记技术团队. 1.前言本文接上篇<金蝶随手记团队分享:还在用JSON? Protobuf让数据传输更省更快(原理篇)>,以iOS端的Objective-C代码为例,向您演示如何使用Protobuf. 学习交流: - 即时通讯开发交流群:320837163[推荐] - 移动端IM开发入门文章:<新手入门一篇就够:从零开发移动端IM> (本文同步发布于:http://www.52im.net/thread-1515-1-1.html) 2.系列文章本文…

使用QFileInfo类获取文件信息（在NTFS文件系统上，出于性能考虑，文件的所有权和权限检查在默认情况下是被禁用的，通过qt_ntfs_permission_lookup开启和操作。absolutePath()必须查询文件系统。而path()函数，可以直接作用于文件名本身，所以，path() 函数的运行会更快）

版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/Amnes1a/article/details/65444966QFileInfo类为我们提供了系统无关的文件信息,包括文件的名字和在文件系统中位置,文件的访问权限,是否是目录或符合链接,等等.并且,通过这个类,可以修改文件的大小和最后修改.读取时间.同时,QFileInfo类也可以用来取到Qt 资源的相关信息. QFileInfo既可以表示绝对路径,也可以表示相对路径的文件.其中,绝对路径就是已"…