rsync限速以及用法 -- :: 标签:限速 rsync 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://xficc.blog.51cto.com/1189288/1567322 rsync是(限制为 100k Bytes/s): #rsync -auvzP--bwlimit= 本地的文件远程的文件 参数说明: v:详细提示 a:以archive模式操作,复制目录.符号连接,等价于 -rlptgoD . P:是综合了--pa…

一/scp限速1M #scp -l 1000 文件名 账号@远程机器IP此时的传输速率就是1M/8＝100K左右 二/rsync是(限制为 100k Bytes/s): #rsync -auvzP--bwlimit=100 本地的文件 远程的文件 参数说明: v:详细提示 a:以archive模式操作,复制目录.符号连接,等价于 -rlptgoD . z:压缩 u:只进行更新,防止本地新文件被重写,注意两者机器的时钟的同时 P:是综合了--partial --progress两个参数, 所以此时…

1.scp 限速100KB/s scp -l 1000 test root@192.168.1.104 此时的传输速率就是1M/8=100KB左右 2.rsync 限速100KB/s rsync -auvzP --bwlimit=100 本地文件 远程文件 参数说明: v:详细提示 a:以archive模式操作,复制目录.符号连接,等价于 -rlptgoD . z:压缩 u:只进行更新,防止本地新文件被重写,注意两者机器的时钟的同时 P:是综合了--partial --progress两个参数,…

一般使用scp/ssh/rsync传输文件时,都需要输入密码.下面是免密码传输文件的方法. 假设要在两台主机之间传送文件,host_src & host_dst.host_src是文件源地址所在的机器,host_dst是目的地址所在的机器. 1. 在host_src机器上,用执行scp/ssh/rsync命令的用户登录,执行下面的命令: $ ssh-keygen -t rsa 按回车健继续,默认的public key会被存放在 ~/.ssh/id_rsa.pub: Your public key…

最近应公司要求,需要对文件数据进行远程传输与备份操作,特此写了一篇文章记录下了关于ssh.scp以及rsync的应用配置全过程,可能过程太过罗嗦,但主要就是想在不遗漏每个过程的情况下对此进行阐述,希望大家能够体谅.当然类似的文章还有很多,本文仅以个人的名义来写的,不喜勿喷!如果文章中有什么错误的地方还请各位大神多多指点!万分感谢!一.ssh在文件共享里面的应用这个ssh可不仅仅是一个远程登录的一个服务,其实呢!它包括了几个组件:ssh(远程登录).sftp(文件共享[类似FTP]).scp(文件…

Linux命令中:rsync和cp之间的区别 - 小 楼 一 夜 听 春 雨 - 博客园https://www.cnblogs.com/kex1n/p/7008178.html cp,scp,rsync同步文件夹使用方法 - huoyuanshen的博客 - CSDN博客https://blog.csdn.net/huoyuanshen/article/details/67633516 [整理]Linux命令中:rsync和cp之间的区别 – 在路上https://www.crifan.com/…

scp是secure copy的简写,用于在Linux下进行远程拷贝文件的命令,和它类似的命令有cp,不过cp只是在本机进行拷贝不能跨服务器,而且scp传输是加密的.可能会稍微影响一下速度.当你服务器硬盘变为只读 read only system时,用scp可以帮你把文件移出来.另外,scp还非常不占资源,不会提高多少系统负荷,在这一点上,rsync就远远不及它了.虽然 rsync比scp会快一点,但当小文件众多的情况下,rsync会导致硬盘I/O非常高,而scp基本不影响系统正常使用.scp在…

一.scp 命令 1.scp 是 secure copy 的缩写,用于远程的文件的复制. 2.参数: -r: 递归复制整个目录. 3.实例: scp /home/space/music/1.mp3 username@ip/home/root/others/music scp /home/space/music/1.mp3 username@ip/home/root/others/music/001.mp3 如果是远程复制目录就加上 -r 参数 即可(重命名目录,就直接在命令后面添加,前提保证目标…

版权声明:本文为博主原创文章,未经允许不得转载. 引子 在平常的工作中,我经常需要在远程服务器和本地之间传输文件. 以前我都使用scp命令,直到今天因为网络中断,scp出现了stalled. 因为上传的是一个100G的文件,所以如果需要重新传非常消耗时间. 好在过了一会儿scp自动断点续传了,但还是很后怕,因为我不确定scp是否能每次都成功断点续传. 所以这时候rsync就非常必要了. scp和rsync对比:scp节约资源,系统负荷小,但断点续传是个问题:rsync速度更快,断点续传方便,但系…

解决 scp 和rsync 同步失败 报错信息截图: 解决问题的步骤: 1.检查对方的scp和rsync 是否能使用. rsync 在使用的时候,需要客户端和服务端都有rsync工具.scp 和 rsync 都是依赖ssh服务的.所以接下来看第二步  2.根据截图中红色框圈出来的端口号得知,220不是默认的,配置被改过,我们检查本地的ssh 服务验证下: 3.检查ssh的配置文件:/etc/ssh/ssh_config port 220        “Port”设置sshd监听的端口号,默认是…

笔记 1.晨考 1.VPN的搭建步骤 2.vpn中的iptables是什么作用? 网络转发 2.昨日问题 1.yum源问题 2.VPN链接正常,但是没办法通过172 3.VPN链接时,出现了DNS错误 4.掩码不对 5.openvpn开启错误 3.今日内容 1.rsync 2.备份方式 cp : 本机复制 scp : 远程复制 推(本地上传到远程服务器): scp 1.txt root@ip:[路径] [root@m01 ~]# scp 1.txt root@172.16.1.41:/opt/…

通过在shell脚本中用expect实现远程scp文件  shell expect的简单用法 http://myunix.blog.51cto.com/191254/1095074 http://jie-hui-520.blog.163.com/blog/static/60074301201022610217249/ Linux rsync 同步实践 http://my.oschina.net/congqian/blog/137847 #!/bin/bash /usr/loca/rsync/bi…

scp 是通过ssh协议传输数据,如果是想传输一个很大的数据,这几天我就遇到过,一个tar包,400G左右,通过scp拷贝时,有可能遇到服务器断电什么的悲剧问题,那么类似scp拷贝的另一个命令 rsync就可以实现意外中断后,下次继续传,命令如下: rsync -P --rsh=ssh home.tar root@192.168.0.34:/home/home.tar -P: 是包含了 “–partial –progress”, 部分传送和显示进度 -rsh=ssh 表示使用ssh协议传送数据…

tar 选项  目标文件  源文件(1 2 3) tar cf **.tar file1 file2 file3 (默认情况下 cf选项只有归档没有压缩) tar xf 从归档中提取 创建tar的存档 压缩方式:z(gzip) .gz j(bzip2) .bz2  J(xz) .xz 归档过程中可用 -p 保留原有权限 tar czf file.tar.gz   file1 file2 file3 创建压缩文件 tar xzf file.tar.gz  文件路径 scp scp 本地文件 目标I…

scp. 拷贝完全相同 scp -r etc/hadoop/dfs.hosts root@192.168.121.134:/usr/local/hadoop/hadoop-2.7.6/etc/hadoop/ rsync.拷贝有差异的文件 rsync -rvl etc/hadoop/hdfs-site.xml root@192.168.121.136:/usr/local/hadoop/hadoop-2.7.6/etc/hadoop/ xsync.循环复制文件到所有节点相同的目录下 !/bin/b…

一.scp 格式 scp [options] [user@]host : /sourcefile /destpathscp [options] /sourcefile [user@]host:/destpath 常用选项:- -C: 压缩数据流-r: 递归复制-p: 保持原文件的属性信息(有时会用到)-q: 静默模式-P PORT: 指明remote host的监听的端口 scp只时和临时的文件传输,其基于ssh之上,所以安全性比较有保证,但是功能比较单一,不适合做大量文件的定时任务 二.sft…

centos linux 系统日常管理4  scp,rsync,md5sum,sha1sum,strace ,find Rsync 常见错误及解决方法  第十七节课 rsync可以增量同步,scp不行 注意:修改sshd_config文件时候,port字段,sshd不支持监听小于1024 ,1~1023不允许自定义(保留端口) 注意:scp和rsync都可以用密钥登录,避免输入密码,关闭selinux 注意:当目标文件存在的情况下,scp跟rsync都会支持覆盖目标文件,不会询问,而第一次scp…

linux下不同服务器间数据传输(rcp,scp,rsync,ftp,sftp,lftp,wget,curl) 分类: linux2011-10-10 13:21 8773人阅读 评论(1) 收藏 举报 服务器linuxftp服务器文档commandssh   目录(?)[+]   因为工作原因,需要经常在不同的服务器见进行文件传输,特别是大文件的传输,因此对linux下不同服务器间数据传输命令和工具进行了研究和总结.主要是rcp,scp,rsync,ftp,sftp,lftp,wget,cur…

因为工作原因,需要经常在不同的服务器见进行文件传输,特别是大文件的传输,因此对linux下不同服务器间数据传输命令和工具进行了研究和总结.主要是rcp,scp,rsync,ftp,sftp,lftp,wget,curl.   rcp rcp不是一种安全的的传输文件的方式,rcp通过rsh(rsh见下面)来执行远程命令,要使用rcp必须经过一些配置,现在rcp已经被scp取代了,常用scp来进行文件传输.要使用rcp,需要具备以下条件:   (1)如果系统中有/etc/hosts 文件,应确保该文…

Rsync的优点及缺点 优点:类似cp命令.scp命令,但rsync为增量复制工具 缺点:针对大文件,效率非常高(打包再比对),针对小文件,效率非常低. Rsync作用 (1)可使本地和远程两台主机之间的数据快速复制同步镜像,远程备份的功能,可以增量拷贝. (2)可以在本地主机的不同分区或目录之间全量及增量的复制数据 (3)可以实现删除文件和目录的功能,相当于rm命令 (4)支持拷贝特殊文件如链接文件,设备等 (5)可以有排除(tar?find?)指定文件或目录同步的功能,相当于打包命令tar的…

一.Rsync企业工作场景说明: 1.利用定时任务+rsync方式实现数据同步 对于网站内部技术人员创建的数据,可以采取定时任务的方式 2.利用实时任务+rsync方式实现数据同步 对于网站外部访问用户创建的数据,可以采取实时同步的方式 3.推送的方法 rsync -rp root@10.0.0.10:/opt/hosts /etc rsync -rp /etc/sysconfig 二.什么是Rsync软件? Rsync(Remote synchronization)是一款开源快速,功能齐全可实…

1 Rsync服务器架构规划 在搭建服务之前需要做以下规划设计,其中包括:主机规划表.主机IP地址规划表.主机架构图.主机hosts解析以及linux主机基础优化等 1.1 主机规划表 服务器说明 数量(台) 名称规划 备份服务器(rsync server) 一台 对全网服务器数据,进行实时与定时备份 NFS存储 (rsync client) 一台或多台 存储图片.网页.头像等静态数据,在这里作为rsync客户端使用 1.2 主机IP地址规划表 服务器说明 外网IP地址 内网IP地址 主机名规划…

rsync数据同步工具的配置 1. rsync介绍 1.1.什么是rsync rsync是一款开源的快速的,多功能的,可实现全量及增量的本地或远程数据同步备份的优秀工具.Rsync软件适用于 unix/linux/windows等多种操作系统平台 下面是官方的英文简单描述: rsync - a fast, versatile, remote (and local) file-copying tool 官网 https://www.samba.org/ftp/rsync/rsync.html 1.…

目录 Rsync备份服务实战 一.Rsync 二.rsync的应用场景 1.Rync的数据同步模式 2.rsync的三种模式 三.rsync配置服务端客户端 四.rsync实战 实战一 报错解决方法: Rsync备份服务实战 一.Rsync rsync是一款开源.快速.多功能.可实现全量及增量的本地或远程数据同步备份的优秀工具.rsync软件适用于Unix/linux/Windows等多种操作系统平台. 1.rsync 简介 rsync英文称为remote synchronizetion,从软件…

rsync介绍 rsync用来定时备份服务器中的文件或者目录,有三种工作模式,本地复制,使用系统用户认证,守护进程方式,开源高效.同步工具,把一台机器上的文件同步都另一台机器 .默认使用873端口 选项 -a #归档模式传输, 等于-tropgDl -v #详细模式输出, 打印速率, 文件数量等 -z #传输时进行压缩以提高效率 --delete #让目标目录和源目录数据保持一致 --password-file=xxx #使用密码文件 ------------------- -a 包含 ----…

目录 rsync 守护进程及实时同步 rsync简介 rsync特性 rsync应用场景 cp命令 scp命令 rsync的传输方式 rsync的传输模式 rsync实际使用 rsync命令 案例 rsync守护进程模式 服务端 客户端 rsync实时同步传输 rsync 守护进程及实时同步 rsync简介 rsync英文称为remote synchronizetion,从软件的名称就可以看出来,rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像.远程备份的功能,这个功能类似于ssh…

linux中rsync备份文件 备份文件的方式 备份方式: cp : 本机复制 scp: 远程复制 推(本地上传到远程服务器): scp 1.txt root@ip:[路径] [root@m01 ~]# scp 1.txt root@172.16.1.41:/opt/ -r是递归 拉(把远程服务器文…

经常需要把服务器的某些文件传到 Mac,或者获取 Mac 的一些文件到服务器.尽管有很多命令scp, ftp, rsync都可以,霸特每次都有敲好长的命令,好烦,而且还要输入密码.所以想着 wrap 到 expect 脚本这样密码什么的都不用输入了. 下面这个是放在服务器端的,用于把file/folder 传到 Mac #!/usr/bin/expect #file: _getF.expect # 和 Bash 的变量一样 # 定义时不加$,用的时候加 set host RuiLi@10.157…

RSYNC是Remote Sync 远程同步的简称,与SCP的比较,SCP= 无法备份大量数据,类似windows的复制,而rsync=边复制 ,边统计,边比较,可以备份大量数据.可以镜像保存整个目录树和文件系统.可以很容易做到保持原来文件的权限.时间.软硬链接等等.无须特殊权限即可安装.快速:第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件.压缩传输:rsync 在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽.安全:可以使用scp.ssh等方式来传输文…

正职开发人员有两个电脑,一个办公网的,一个开发网的.通过samba服务在开发网机器上映射编译环境机的磁盘没有问题. 开发岗实习生使用虚拟机做跳板方式登录编译环境机.上面的方法不能用. 替代方法:rsync<rsync同步的艺术>–linux命令五分钟系列之四十二http://roclinux.cn/?p=2643 scp,rsync链接均为ssh.如果端口非默认22 sync -zav -e ‘ssh -p 端口’ scp -r -P 端口…