rsync简单总结

rsync
是一个远程数据同步工具，算法是同步文件差异部分，因此针对非第一次同步传输速度快 （首次备份，没有复制优势）
rsync作者：Andrew Tridgell 和 Paul Mackerras

rsync特性：
1、可以镜像保存整个目录和文件系统
2、容易做到保持原来文件的权限、时间、软硬链接等
3、无特殊权限就可以安装，linux操作系统默认安装
4、优化的流程、文件传输效率高
5、可以使用rsh ssh 方式来传输文件 也可直接通过socket方式
6、支持匿名传输
7、rsync 进行远程同步时，可以使用两种方式：远程Shell方式（建议使用 ssh用户验证由 ssh 负责）和C/S方式（即客户连接远程rsync 服务器，用户验证由rsync 服务器负责）

备份两种情况：
1、需保留备份历史归档：在备份时保留历史的备份归档，是为了在系统出现错误后能恢复到从前正确的状态。这可以使用完全备份和增量备份来完成。可以使用 tar 命令保存归档文件。为了提高备份效率，也可以使用 rsync 结合 tar 来完成。
2、无需保留备份历史归档：若无需从历史备份恢复到正确状态，则只备份系统最新文件状态即可。这可以简单地使用 rsync 同步来完成。此时通常称为镜像。
镜像可以分为两种：
被镜像的目录在各个主机上保持相同的位置。此时一般是为了实施负载均衡而对多个主机进行同步镜像。例如：将主机 A 的 /srv/www 目录同步到主机 B 的 /srv/www 目录等。
被镜像的目录在各个主机上不保持相同的位置。例如：主机 A 和主机 B 都运行着各自的业务，同时又互为镜像备份。此时主机 A 的 /srv/www 目录同步到主机 B 的 /backups/hosta/www 目录；主机 B 的 /srv/www 目录同步到主机 A 的 /backups/hostb/www 目录等。
说明：
若使用普通身份执行rsync，同步后的文件的属主将改变为这个普通用户身份
使用超级用户身份运行rsync命令，同步后的文件的属主将保持原来的用户身份

rsync使用格式
本机使用

rsync [option...] src...  [dest]...

远程shell备份
备份到本机

rsync [option...] [user@]host:src（远程文件路径）... [dest]（本机备份路径）...
eg:
rsync root@192.168.217.11:/root/test.sh ./

备份到远程机器

rsync [option...] src（本地文件路径）... [user@]host:[dest]（远程主机备份路径）...
eg:
rsync ./testbak.sh root@192.168.217.11:/root/

访问rsync服务器备份:

备份到本机: rsync [option...] [user@]host::src... [dest]...
备份到远程机器: rsync [option...] src... [user@]host::[dest]

备份到本机: rsync [option...] rsync://[user@]host[:port]/src... [dest]...
备份到远程机器: rsync [option...] src... rsync://[user@]host[:port]/[dest]

备注：
1、如果不指定[dest] rsync只列出需要备份的文件（列出格式类似于ls -la）
2、远程shell同步时，主机名与资源之间使用单个冒号“:”作为分隔符
3、rsync服务器同步时，主机名与资源之间使用两个冒号“::”作为分隔符

option参数说明

-a  --archive:归档模式，表示以递归方式传输文件，并保持所有文件属性
-r  ––recursive:对子目录以递归模式处理
-l  ––links:保持符号链接文件
-H  ––hard-links:保持硬链接文件
-p  ––perms:保持文件权限
-t  ––times:保持文件时间信息
-g  ––group:保持文件属组信息
-o  ––owner:保持文件属主信息 (super-user only)
-D:保持设备文件和特殊文件 (super-user only)
-z  --compress:在传输文件时进行压缩处理
--exclude=pattern:指定排除一个不需要传输的文件匹配模式
--exclude-from=file:从file中读取排除规则
--include=file:指定需要传输的文件匹配模式
--include-from=file:从file中读取包含规则
--copy-unsafe-links:拷贝指向SRC路径目录树以外的链接文件
--safe-links:忽略指向SRC路径目录树以外的链接文件（默认）
--exsiting:仅仅更新那些已经存在于接收端的文件，而不备份那些新创建的文件
--ignore-existing:忽略那些已经存在于接收端的文件，仅备份那些新创建的文件
-b  --backup:当有变化时，对目标目录中的旧版文件进行备份
--backup-dir=dir:与 -b 结合使用，将备份的文件存到 DIR 目录中
--link-dest=dir:当文件未改变时基于DIR创建硬链接文件
––delete:删除那些接收端还有而发送端已经不存在的文件
––delete-before:接收者在传输之前进行删除操作 (默认)
––delete-during:接收者在传输过程中进行删除操作
––delete-after:接收者在传输之后进行删除操作
––delete-excluded:在接收方同时删除被排除的文件
-e  ––rsh=COMMAND:指定替代 rsh 的 shell 程序
––ignore-errors 即使出现 I/O 错误也进行删除
––partial:保留那些因故没有完全传输的文件，以是加快随后的再次传输
––progress:在传输时显示传输过程
-P:等价于 ––partial ––progress
––delay-updates:将正在更新的文件先保存到一个临时目录（默认为 “.~tmp~”），待传输完毕再更新目标文件
-v  ––verbose:详细输出模式
-q  ––quiet:精简输出模式
-h  ––human-readable:输出文件大小使用易读的单位（如，K，M等）
-n  ––dry-run:显示哪些文件将被传输
––list-only:仅仅列出文件而不进行复制
––rsyncpath=PROGRAM:指定远程服务器上的 rsync 命令所在路径
––password-file=FILE:从 FILE 中读取口令，以避免在终端上输入口令，通常在 cron 中连接 rsync 服务器时使用
-4  ––ipv4:使用 IPv4
-6  ––ipv6:使用 IPv6
––version:打印版本信息
––help:显示帮助信息

特别强调使用

--exclude=pattern,指定排除一个不需要传输的文件匹配模式

rsync 命令将192.168.217.11主机上的/www目录（不包含/www/logs和/www/conf子目录）复制到本地的/backup/www/

rsync -vzrtopg --delete --exclude "logs/" --exclude "conf/" --progress backup@192.168.217.11:/www/ /backup/www/

rsync命令仅复制目录结构而忽略掉目录中的文件

rsync -av --include '*/' --exclude '*' backup@192.168.0.101:/www/ /backup/www-tree/

备注：
1、选项 ––include和 ––exclude都不能使用间隔符。例如：
--exclude "logs/" --exclude "conf/"
不能写成
--exclude "logs/ conf/"

2、备份时目录后是否有"/"说明：
将192.168.217.11的root目录下备份所有文件到当前目录下

rsync -avpz --delete root@192.168.217.11:/root ./ 

将192.168.217.11的root目录下所以文件且包含root目录，备份到当前目录下

rsync -avpz --delete root@192.168.217.11:/root/ ./ 

当 include/exclude 的规则较复杂时，可以将规则写入规则文件。使用规则文件可以灵活地选择传输哪些文件（include）以及忽略哪些文件（exclude）。

1、若文件/目录在剔除列表中，则忽略传输
2、若文件/目录在包含列表中，则传输之
3、若文件/目录未被提及，也传输之
4、在 rsync 的命令行中使用 ––exclude-from=FILE 或 ––include-from=FILE 读取规则文件。
5、规则文件 FILE 的书写约定：

每行书写一条规则 RULE
以 # 或 ; 开始的行为注释行
包含（include）和排除（exclude）规则的语法如下：
include PATTERN 或简写为 + PATTERN
exclude PATTERN 或简写为 - PATTERN

PATTERN 的书写规则如下：
以 / 开头：匹配被传输的跟路径上的文件或目录
以 / 结尾：匹配目录而非普通文件、链接文件或设备文件
使用通配符
*：匹配非空目录或文件（遇到 / 截止）
**：匹配任何路径（包含 / ）
?：匹配除了 / 的任意单个字符
[：匹配字符集中的任意一个字符，如 [a-z] 或 [[:alpha:]]
可以使用转义字符 \ 将上述通配符还原为字符本身含义
下面给出几个使用规则的例子：

eg1：

# 不传输所有后缀为 .o 的文件
- *.o
# 不传输传输根目录下名为 foo 的文件或目录
- /foo
# 不传输名为 foo 的目录
- foo/
# 不传输 /foo 目录下的名为 bar 的文件或目录
- /foo/bar　　

eg2：

# 传输所有目录和C语言源文件并禁止传输其他文件
+ */
+ *.c
- *　　

eg3：

# 仅传输 foo 目录和其下的 bar.c 文件
+ foo/
+ foo/bar.c
- *

将规则写入规则文件之后，使用示例：
首先将下面的规则存入名为www-rsync-rules.txt的文件
vim www-rsync-rules.txt

# 不传输 logs 目录
- logs/
# 不传输后缀为 .tmp 的文件
- *.tmp
# 传输 Apache 虚拟主机文档目录（/*/ 匹配域名）
+ /srv/www/
+ /srv/www/*/
+ /srv/www/*/htdocs/
+ /srv/www/*/htdocs/**
# 传输每个用户的 public_html 目录（/*/ 匹配用户名）
+ /home/
+ /home/*/
+ /home/*/public_html/
+ /home/*/public_html/**
# 禁止传输其他
- *

然后即可使用类似如下的 rsync 命令：

rsync -av --delete --exclude-from=www-rsync-rules.txt / remotehost:/dest/dir

-e参数说明

使用基于ssh的rsync同步数据可以使用 -e ssh 参数，CentOS默认指定使用ssh作为远程Shell。若在其他系统上执行rsync 命令，为确保使用ssh作为远程 Shell，请添加 -e ssh 参数。
指定ssh端口进行rsync
rsync -rvz -e 'ssh -p port' --progress --remove-sent-files ./localpath root@remotehost:remotepath
eg：指定ssh端口为2203进行rsync

rsync -rvz -e 'ssh -p 2203' --progress --remove-sent-files hadoop@192.168.217.11:/home/hadoop_ftp/test_all/test /home/wangchengliang