Linux之远程文件传输

1)scp

scp命令用于在Linux下进行远程拷贝文件的命令，和它类似的命令有cp，不过cp只是在本机进行拷贝不能跨服务器，而且scp传输是加密的。可能会稍微影响一下速度。当你服务器硬盘变为只读read only system时，用scp可以帮你把文件移出来。另外，scp还非常不占资源，不会提高多少系统负荷，在这一点上，rsync就远远不及它了。虽然 rsync比scp会快一点，但当小文件众多的情况下，rsync会导致硬盘I/O非常高，而scp基本不影响系统正常使用。

　　

参数:
-：使用ssh协议版本1；
-：使用ssh协议版本2；
-：使用ipv4；
-：使用ipv6；
-B：以批处理模式运行；
-C：使用压缩；
-F：指定ssh配置文件；
-l：指定宽带限制；
-o：指定使用的ssh选项；
-P：指定远程主机的端口号；
-p：保留文件的最后修改时间，最后访问时间和权限模式；
-q：不显示复制进度；
-r：以递归方式复制。

　　示例:

从远程复制到本地的scp命令与上面的命令雷同，只要将从本地复制到远程的命令后面2个参数互换顺序就行了。

从远处复制文件到本地目录
scp root@10.10.10.10:/opt/soft/nginx-0.5..tar.gz /opt/soft/
从10.10.10.10机器上的/opt/soft/的目录中下载nginx-0.5..tar.gz 文件到本地/opt/soft/目录中。

从远处复制到本地
scp -r root@10.10.10.10:/opt/soft/mongodb /opt/soft/
从10.10.10.10机器上的/opt/soft/中下载mongodb目录到本地的/opt/soft/目录来。

scp -C -P  /usr/local/openresty/nginx/logs/access.log.gz jiaoni@172.16.114.47:/home/jiaoni/lanlang

2)ssh登陆

远程登录服务器

ssh -l root -p  192.168.1.2
ssh -l 用户名 -p 端口号 主机名或IP
输入密码即可

3)rsync

速度：第一次的rsync同步源的整个内容目录到目标位置。之后，rsync只传递改变的块或字节到目标位置，使传输非常快。
安全：rsync在传输中允许使用ssh协议加密数据。
更少的带宽：rsync分别在发送和接收端对数据进行压缩和解压缩。所以在使用rsync传输数据时使用的带宽总是比使用其他文件传输协议来的少。
特权：不需要特殊权限来安装和执行rsync

$ rsync options source destination
source和destination可以是本地或远程。在远程的情况下，需要指定登录名、远程服务器的名称和位置。

1. 在本地服务器上同步两个目录

用rsync – zvr在本地服务器上同步两个目录

$ rsync -zvr /var/opt/installation/inventory/ /root/temp
building file list ... done
sva.xml
svB.xml
.
sent  bytes  received  bytes  54966.00 bytes/sec
total size is   speedup is 1.63

在上面rsync例子中：
• –z：允许压缩
• –v：冗长
• –r：递归
注：Rsync不会同步源文件或目录的时间戳

$ ls -l /var/opt/installation/inventory/sva.xml /root/temp/sva.xml
-r--r--r--  bin  bin   Jun    /var/opt/installation/inventory/sva.xml
-r--r--r--  root bin   Sep     /root/temp/sva.xml

2. 用rsync –a. 同步时间戳

rsync的-a选项是archive的意思，加了之后有以下作用：
• 递归模式
• 同步软链接
• 同步权限
• 同步时间戳
• 同步属主和属组
现在，我们执行与例1一样的命令，不同的是使用-a选项。

$ rsync -azv /var/opt/installation/inventory/ /root/temp/
building file list ... done
./
sva.xml
svB.xml
.
sent  bytes  received  bytes  55206.00 bytes/sec
total size is   speedup is 1.63

我们可以看到，rsync将源目录下文件的时间戳也同步过来了。

$ ls -l /var/opt/installation/inventory/sva.xml /root/temp/sva.xml
-r--r--r--  root  bin   Jun    /var/opt/installation/inventory/sva.xml
-r--r--r--  root  bin   Jun    /root/temp/sva.xml

3. 只同步一个文件

指定文件名称，只同步一个文件

$ rsync -v /var/lib/rpm/Pubkeys /root/temp/
Pubkeys

sent  bytes  received  bytes  3549.14 bytes/sec
total size is   speedup is 0.99

4. 将本地文件同步到远程服务器

当同步到远程服务器时，我们需要指定用户名、远程服务器的IP地址和目标路径。格式为：username@remote_server_ip:path

$ rsync -avz /root/temp/ linuxprobe@192.168.200.10:/home/linuxprobe/temp/
Password:
building file list ... done
./
rpm/
rpm/Basenames
rpm/Conflictname

sent  bytes  received  bytes  2432411.23 bytes/sec
total size is   speedup is 2.87

5. 将远程文件同步到本地服务器

$ rsync -avz linuxprobe@192.168.200.10:/var/lib/rpm /root/temp
Password:
receiving file list ... done
rpm/
rpm/Basenames
.
sent  bytes  received  bytes  2432405.54 bytes/sec
total size is   speedup is 2.87

6. 指定使用某一shell同步

远程同步时，Rsync可以指定使用某一shell进行安全传输。如：使用rsync –e ssh选择ssh进行安全连接。

$ rsync -avz -e ssh linuxprobe@192.168.200.10:/var/lib/rpm /root/temp
Password:
receiving file list ... done
rpm/
rpm/Basenames

sent  bytes  received  bytes  2432405.54 bytes/sec
total size is   speedup is 2.87

7. 不覆盖目标位置已改变的文件

如果目标位置的文件已被修改，而我们不希望旧文件覆盖它时，可以使用-u选项。下面例子中，目标位置的文件Basenames已经被修改，使用-u 选项是它不被旧文件覆盖。

$ ls -l /root/temp/Basenames
total
-rwxr-xr-x  root root         Sep   : Basenames

$ rsync -avzu linuxprobe@192.168.200.10:/var/lib/rpm /root/temp
Password:
receiving file list ... done
rpm/

sent  bytes  received  bytes  114.00 bytes/sec
total size is   speedup is 72258.31

$ ls -lrt
total
-rwxr-xr-x  root root         Sep   : Basenames

8. 只同步目录树结构（不包括文件）

使用rsync - d选项只将目录树从源位置同步至目标位置。下面的示例中，以递归方式只同步目录树而不同步目录中的文件。

$ rsync -v -d linuxprobe@192.168.200.10:/var/lib/ .
Password:
receiving file list ... done
logrotate.status
CAM/
YaST2/
acpi/

sent  bytes  received  bytes  318.46 bytes/sec
total size is   speedup is 0.46

9. 查看rsync进度

使用rsync –progress选项可以查看rsync进度，如多少文件已经被拷贝，完成率是多少等

$ rsync -avz --progress linuxprobe@192.168.200.10:/var/lib/rpm/ /root/temp/
Password:
receiving file list ...
 files to consider
./
Basenames
      %   .98MB/s    :: (xfer#, to-check=/)
Conflictname
        %   .09kB/s    :: (xfer#, to-check=/)
.
.
.
sent  bytes  received  bytes  2108082.27 bytes/sec
total size is   speedup is 2.87

10. 删除目标位置创建的文件

若我们希望rsync时删除在源位置不存在而在目标位置存在的文件，可以使用-delete选项。
此例中，我们在目标位置创建了一个新文件名为new-file.txt.，在同步过程中，-delete选项删除了new-file.txt文件

# Source and target are in sync. Now creating new file at the target.
$ > new-file.txt

$ rsync -avz --delete linuxprobe@192.168.200.10:/var/lib/rpm/ .
Password:
receiving file list ... done
deleting new-file.txt
./

sent  bytes  received  bytes  48.94 bytes/sec
total size is   speedup is 108908.55

11. 在目标位置不创建新文件

使用-existing选项使得在同步时只同步目标位置存在的文件，而不创建新文件。

#在源位置创建新文件new-file.txt
[/var/lib/rpm ]$ > new-file.txt
#同步目录
$ rsync -avz --existing root@192.168.1.2:/var/lib/rpm/ .
root@192.168.1.2's password:
receiving file list ... done
./

sent  bytes  received  bytes  46.84 bytes/sec
total size is   speedup is 198991.96

12．查看源和目标的不同文件或目录

源位置：

$ ls -l /var/lib/rpm
-rw-r--r-- 1 root root  5357568 2010-06-24 08:57 Basenames
-rw-r--r-- 1 root root    12288 2008-05-28 22:03 Conflictname
-rw-r--r-- 1 root root  1179648 2010-06-24 08:57 Dirnames

目标位置：

$ ls -l /root/temp
-rw-r--r-- 1 root root    12288 May 28  2008 Conflictname
-rw-r--r-- 1 bin  bin   1179648 Jun 24 05:27 Dirnames
-rw-r--r-- 1 root root        0 Sep  3 06:39 Basenames

源和目标之间有两个不同之处：1. 文件Dirnames属主和属组不同 2. 文件Basenames的大小不同
使用-i选项来显示不同之处，如下所示

$ rsync -avzi linuxprobe@192.168.200.10:/var/lib/rpm/ /root/temp/
Password:
receiving file list ... done
>f.st.... Basenames
.f....og. Dirnames

sent  bytes  received  bytes  291012.27 bytes/sec
total size is   speedup is 20.76
In the output it displays some  letters in front of the file name or directory name indicating the changes.

可以看到，在文件名或目录名前有9个字符来代表不同之处。此例中，Basenames和Dirnames前的字符代表含义如下：

> 代表文件已被传输到本地主机。
f：代表这是个文件
s：代表文件大小发生变化
t：代表时间戳发生变化
o：属主发生变化
g：属组发生变化

13. 在传输时指定包括或排除某些文件
只传输’P’开头的文件或目录(使用rsync include)，不传输其他任何文件(使用rsync exclude)

$ rsync -avz --include 'P*' --exclude '*' linuxprobe@192.168.200.10:/var/lib/rpm/ /root/temp/
Password:
receiving file list ... done
./
Packages
Providename
Provideversion
Pubkeys

sent  bytes  received  bytes  2285983.78 bytes/sec
total size is   speedup is 3.19

14. 不传输大文件

使用rsync –max-size选项后，rsync将不传输大于指定大小的文件

$ rsync -avz --max-size='100K' linuxprobe@192.168.200.10:/var/lib/rpm/ /root/temp/
Password:
receiving file list ... done
./
Conflictname
Group
Installtid
Name
Sha1header
Sigmd5
Triggername

sent  bytes  received  bytes  18974.31 bytes/sec
total size is   speedup is 367.35

15. 传输整个文件

rsync的主要特征之一是它只传输改变的块到目标位置，而不是传输整个文件。如果网络带宽对你不是问题(CPU有)，您可以使用-w选项来传输整个文件。它会加速rsync过程，因为它不用在源和目标位置执行校验和。

#  rsync -avzW  linuxprobe@192.168.200.10:/var/lib/rpm/ /root/temp
Password:
receiving file list ... done
./
Basenames
Conflictname
Dirnames
Filemd5s
Group
Installtid
Name

sent  bytes  received  bytes  2874657.64 bytes/sec
total size is   speedup is 2.87

总结： 使用远程文件传输

rsync -avzW --progress 源目录  目标目录
参数： a保持属性
        v. 长格式
        z 压缩

    --progress. 显示进度