Linux之rsync同步工具介绍+inotify同步
1.rsync介绍
Rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。Rsync软件适用于unix/linux/windows等多种操作平台。
rsync,remote synchronize顾名思意就知道它是一款实现远程同步功能的软件,它在同步文件的同时,可以保持原来文件的权限、时间、软硬链接等附加信息。 rsync是用 “rsync 算法”提供了一个客户机和远程文件服务器的文件同步的快速方法,而且可以通过ssh方式来传输文件,这样其保密性也非常好,另外它还是免费的软件。rsync官方文档(http://www.samba.org/ftp/rsync/rsync.html)
rsync 特性(Some of the additional features of rsync are)
- support for copying links, devices, owners, groups, and permissions(支持拷贝特殊文件如链接文件,设备等)
- exclude and exclude-from options similar to GNU tar (可以有排除指定文件或目录同步的功能,相当于打包命令tar的排除功能)
- a CVS exclude mode for ignoring the same files that CVS would ignore(可以做到保持原文件或目录的权限,时间,软硬链接,属主、组等所有属性均不改变-p)
- can use any transparent remote shell, including ssh or rsh(可实现增量同步,即只同步发生变化的数据,因此数据传输效率很高)
- does not require super-user privileges(可以使用rcp、rsh、ssh等方式来配合传输文件(rsync本身不对数据加密))
- pipelining of file transfers to minimize latency costs(可以通过socket(进程方式)传输文件和数据)
- support for anonymous or authenticated rsync daemons (ideal for mirroring)(支持匿名的或认证(无需系统用户)的进程模式传输,可实现方便安全的进行数据备份及镜像)
来源官网
2.rsync的工作方式
1)单个主句本地之间数据传输(此时类似于cp命令)
rsync本地传送模式的语法是:rsync [option...] src...[dest]
rsync为同步的命令,[option]为同步时的参数选项,src为源,即待拷的分区,文件或者目录等,[dest]为目的分区文件或者目录等
ll /data <#删除前看一下
midir /null <#创建一个空目录
rsync -r --delete /null /data/
ll /data <#删除完后看一下
2)借助rcp,ssh等通道传输数据(此时类似于scp命令)
ssh-key中的scp回顾
scp -P 521 -rp -- /etc/hosts king@192.168.17: /tmp <# -P 跟端口号 用户名@ ip :目标文件
rsync借助ssh通道拉取
rsync -avzP -e ‘ssh -p ’ king@192.168.:/opt /tmp <#-e 'ssh -p 22'表示通过ssh通道传送数据,-p22可略
3)以守护进程(socket)的方式传输数据(这个是rsync自身的重要功能)
3.rsync命令使用,参数说明
-v, --verbose 详细模式输出
-z, --compress 对备份的文件在传输时进行压缩处理
-a, --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD
-r, --recursive 对子目录以递归模式处理
-t, --times 保持文件时间信息
-o, --owner 保持文件属主信息
-g, --group 保持文件属组信息
-p, --perms 保持文件权限
-R, --relative 使用相对路径信息
-b, --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
--backup-dir 将备份文件(如~filename)存放在在目录下。
-suffix=SUFFIX 定义备份文件前缀
-u, --update 仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-l, --links 保留软链结
-L, --copy-links 想对待常规文件一样处理软链结
--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
--safe-links 忽略指向SRC路径目录树以外的链结
-H, --hard-links 保留硬链结
-q, --quiet 精简输出模式
-D, --devices 保持设备文件信息
-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间
-n, --dry-run 现实哪些文件将被传输
-W, --whole-file 拷贝文件,不进行增量检测
-x, --one-file-system 不要跨越文件系统边界
-B, --block-size=SIZE 检验算法使用的块尺寸,默认是700字节
-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步
--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息
-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件
--existing 仅仅更新那些已经存在于DST的文件,而不备份那些新创建的文件
--delete 删除那些DST中SRC没有的文件
--delete-excluded 同样删除接收端那些被该选项指定排除的文件
--delete-after 传输结束以后再删除
--ignore-errors 及时出现IO错误也进行删除
--max-delete=NUM 最多删除NUM个文件
--partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输
--force 强制删除目录,即使不为空
--numeric-ids 不将数字的用户和组ID匹配为用户名和组名
--timeout=TIME IP超时时间,单位为秒
-I, --ignore-times 不跳过那些有同样的时间和长度的文件
--size-only 当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口,默认为0
-T --temp-dir=DIR 在DIR中创建临时文件
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
-P 等同于 --partial
--progress 显示备份过程
--exclude=PATTERN 指定排除不需要传输的文件模式
--include=PATTERN 指定不排除而需要传输的文件模式
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 绑定到特定的地址
--config=FILE 指定其他的配置文件,不使用默认的rsyncd.conf文件
--port=PORT 指定其他的rsync服务端口
--blocking-io 对远程shell使用阻塞IO
-stats 给出某些文件的传输状态
--progress 在传输时现实传输过程
--log-format=formAT 指定日志文件格式
--password-file=FILE 从FILE中得到密码
--bwlimit=KBPS 限制I/O带宽,KBytes per second
-h, --help 显示帮助信息
很多对吧?简单工作中我就只用过avz,哈哈哈
4.rsync服务端,客户端安装配置
1)服务端安装配置
以守护进程(socket)的方式传输数据
[king@rsyncserver ~]$ rpm -qa rsync #查看是否安装rsync
rsync-3.0.-.el6_4..x86_64
[king@rsyncserver ~]$ vim /etc/rsyncd.conf #/etc/rsyncd.conf默认是不存在的,所以我们要创建它并编辑它
#rsync_config_______________start
##rsyncd.conf start##
uid = rsync #rsync使用的用户,缺省uid为-2,通常为 nobody
gid = rsync #rsync使用的组(用户所在的组)缺省gid为-2,通常为nobody
use chroot = no
max connections = 200 #设置最大的连接数,默认为0,就是无限制,负值为关闭这个模块
timeout = 60 #默认为0,连接超时,
pid file = /var/run/rsyncd.pid #rsync daemon启动后将其进程PID写入此文件
lock file = /var/run/rsync.lock #锁的机制
log file = /var/log/rsyncd.log #日志配置文件,报错我们查看他它
[king] #用户模块
path = /king/ #用户共享的文件
ignore errors #错误忽略(i/o)
read only = false #指定客户端是否可以上传文件,默认对所有模块都为true
list = false #不显示列表
hosts allow = 192.168.1.7/24 #指定可以联系的客户端用户名和ip,address/mask
hosts deny = 0.0.0.0/32 #默认是没哟
auth users = rsync_backup #auth users指定以空格或者, 分隔的用户可以使用那些模块
secrets file = /etc/rsync.password #secrets file 指定用户名和密码的文件 格式 用户名:密码
#rsync_config_______________end
~
[root@rsyncserver /]# chown -R rsync.rsync king/ #创建共享目录,并让rsync用户可以管理king
[root@rsyncserver ~]# chmod /etc/rsync.password #用户密码文件只能是600
[root@rsyncserver king]# ls -lh /etc/rsync.password
-rw-------. root root 9月 : /etc/rsync.password [root@rsyncserver ~]# cat /etc/rsync.password #查看用户密码文件,注意其格式
rsync_backup:king [root@rsyncserver ~]# rsync --daemon #启动rsync服务,如果想要重启服务的话,先用pkill rsync杀掉进程然后再执行此操作
[root@rsyncserver ~]# ps -ef|grep rsync|grep -v grep
root : ? :: rsync --daemon 注意:要关闭防火墙和selinux
[king@rsyncserver .ssh]$ sudo /etc/init.d/iptables stop
[king@rsyncserver .ssh]$ sudo getenforce
Enforcing
[king@rsyncserver .ssh]$ sudo setenforce
[kingy@rsyncserver .ssh]$ getenforce
Permissive
2)客户端安装配置
[root@rsyncclient ~]# rpm -qa rsync
rsync-3.0.-.el6_4..x86_64 [root@rsyncclient ~]# vim /etc/rsync.password
[root@rsyncclient ~]# chmod /etc/rsync.password
[root@rsyncclient ~]# useradd -s /sbin/nologin rsync
[root@rsyncclient ~]# cat /etc/rsync.password
king
3)同步
Local: rsync [OPTION...] SRC... [DEST] Access via remote shell:
Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST:DEST Access via rsync daemon:
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
pull:
[root@rsyncclient ~]# rsync -avz rsync_backup@192.168.1.7::king /data --password-file=/etc/rsync.password
receiving incremental file list
./
a
b sent bytes received bytes 658.00 bytes/sec
total size is speedup is 0.02 push:
[root@rsyncclient ~]# rsync -avz /data/ rsync_backup@192.168.1.7::king --password-file=/etc/rsync.password #注意/data后面有斜杠和没斜杠的区别:没有斜杠的话将目录一块同步,有斜杠的话只同步目录下面的内容。
5.--exclude参数
1)只排除一个文件不同步
rsync -avz --exclude= rsync_backup@192.168.1.7::king /data/ --password-file=/etc/rsync.password
--exclude= 文件名字 rsync_backup是你/etc/rsyncd.conf文件里配置的auth users = rsync_backup @ip king 是你/etc/rsyncd.conf文件里配置的[king],--password-file=/etc/rsync.password即为读取你的密码文件,注意你的密码文件权限必须是600,且格式必须是类似键值对的形式存在,(用户:密码)
2)排除多个文件不同步
方法一:
rsync -avz --exclude={,} /data1/ rsync_backup@192.168.1.7::king --password-file=/etc/rsync.password #{文件名字用逗号隔开}
方法二:
rsync -avz --exclude={1..3} /data1/ rsync_backup@192.168.1.7::king --password-file=/etc/rsync.password #{文件名字,这是文件名连续的文件}
方法三:
rsync -avz --exclude=1 --exclude=2 /data/ rsync_backup@192.168.1.7::king --password-file=/etc/rsync.password #多个--exclude=文件名字,虽然麻烦,不失为方法。
3)无差异同步:--delete参数
一般是有需要在俩台服务器之间,必须要求数据同步,且实时性又不是很高的情况下,如:俩台负载均衡下面的web服务器之间的同步,或者高可用双机配置之间的同步等,rsync无差异同步很危险切记。
6.inotify介绍
Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制,linux内核从2.6.13起,加入了Inotify支持,通过Inotify可以监控文件系统中添加、删除,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools就是这样的一个第三方软件。
inotify是rsync客户端安装和执行的
1 )查看当前系统是否支持inotify
[root@rsyncclient ~]# ll /proc/sys/fs/inotify/
总用量
-rw-r--r-- root root 9月 : max_queued_events
-rw-r--r-- root root 9月 : max_user_instances
-rw-r--r-- root root 9月 : max_user_watches
#显示这三个文件则证明支持。
/proc/sys/fs/inotify/max_queued_evnets
表示调用inotify_init时分配给inotify instance中可排队的event的数目的最大值,超出这个值的事件被丢弃,但会触发IN_Q_OVERFLOW事件。
/proc/sys/fs/inotify/max_user_instances
表示每一个real user ID可创建的inotify instatnces的数量上限。
/proc/sys/fs/inotify/max_user_watches
表示每个inotify instatnces可监控的最大目录数量。如果监控的文件数目巨大,需要根据情况,适当增加此值的大小。
2) 下载inotify源码包并编译安装
cd /home/king/tools #安装要规范,要有自己的文件包 wget http://github.com/downloads/rvoicilas/inotifytools/inotify-tools-3.14.tar.gz #安装inotify软件包 ll inotify-tools-3.14.tar.gz #看一下,是否下载成功,安装包是644的权限 tar zxf inotify-tools-3.14.tar.gz # 解压
3)inotifywait命令常用参数详解
[root@inotifyclient inotify-tools-3.14]# cd /usr/local/inotify-3.14/
[root@inotifyclient inotify-3.14]# ./bin/inotifywait --help
-r|--recursive Watch directories recursively. #递归查询目录
-q|--quiet Print less (only print events). #打印监控事件的信息
-m|--monitor Keep listening for events forever. Without this option, inotifywait will exit after one event is received. #始终保持事件监听状态
--excludei <pattern> Like --exclude but case insensitive. #排除文件或目录时,不区分大小写。
--timefmt <fmt> strftime-compatible format string for use with %T in --format string. #指定时间输出的格式
--format <fmt> Print using a specified printf-like format string; read the man page for more details.
#打印使用指定的输出类似格式字符串
-e|--event <event1> [ -e|--event <event2> ... ] Listen for specific event(s). If omitted, all events are listened for.
#通过此参数可以指定需要监控的事件,如下所示:
Events:
access file or directory contents were read #文件或目录被读取。
modify file or directory contents were written #文件或目录内容被修改。
attrib file or directory attributes changed #文件或目录属性被改变。
close file or directory closed, regardless of read/write mode #文件或目录封闭,无论读/写模式。
open file or directory opened #文件或目录被打开。
moved_to file or directory moved to watched directory #文件或目录被移动至另外一个目录。
move file or directory moved to or from watched directory #文件或目录被移动另一个目录或从另一个目录移动至当前目录。
create file or directory created within watched directory #文件或目录被创建在当前目录
delete file or directory deleted within watched directory #文件或目录被删除
unmount file system containing file or directory unmounted #文件系统被卸载
4 )编写监控脚本并加载到后台执行
mkdir -p /etc/servers/scripts #我们要创建这个存放脚本的目录,为了规范
cd /etc/servers/scripts
vim inotify.sh #编辑这个脚本
脚本内容如下
#!/bin/shpath=/usr/local/inotify/bin/inotifywait
$path -mrq --format '%w%f' -e create,close_write,delete /backup|\
while read line
do
[! -e "$line"]&& continue
rsync -avz --delete $line rsync_backup@192.168.1.7::king /data/ --password-file=/etc/rsync.password
done
sh inotify.sh & #将脚本加入后台执行
说明:\是换行的意思,continue是跳过下面的命令,类似于Java中的\t \n,continue,continue 跳出当前循环,不执行continue后续循环体内的代码,重新执行下次循环体,break 跳出循环体,直接结束循环,执行循环后的代码 比如:
pulic void TestBreak(){ for(int i=; i < ; i++){ if (i == ) { break; } else { System.out.print(i); } } System.out.print("end"); } 输出结果:01234end pulic void TestContinue(){ for(int i=; i < ; i++){ if (i == ) { continue ; } else { System.out.print(i); } } System.out.print("end"); } 输出结果:012346789end
简单说说吧,虽然我写代码很多bug,但是很开心呀
Linux之rsync同步工具介绍+inotify同步的更多相关文章
- Linux下Rsync+Inotify-tools实现数据实时同步
Linux下Rsync+Inotify-tools实现数据实时同步 注意:下面的三个案例都是rsync 每次都是全量的同步(这就坑爹了),而且 file列表是循环形式触发rsync ,等于有10个文件 ...
- Linux下Rsync+sersync实现数据实时同步
inotify 的同步备份机制有着缺点,于是看了sersync同步,弥补了rsync的缺点.以下转自:http://www.osyunwei.com/archives/7447.html 前言: 一. ...
- Rsync,Linux日志及Screen工具介绍
第十六次课 Rsync,Linux日志及Screen工具介绍 目录 一.rsync工具介绍 二.rsync常用选项 三.rsync通过ssh同步 四. rsync通过服务同步 五.linux系统日志 ...
- Linux 文件内容查看工具介绍-cat,less,more,tail,head
Linux 文件内容查看工具介绍 作者:北南南北来自:LinuxSir.Org摘要: 本文讲述几种常用文件内容的查看工具,比如cat.more.less.head.tail等,把这些工具最常用的参数. ...
- Linux操作系统的打包/归档工具介绍
Linux操作系统的打包/归档工具介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.
- Rsync数据同步工具及sersync同步工具
Rsync简介 Rsync英文全称Remote synchronization,从软件的名称就可以看出来,Rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像,远程备份的功能,这个功能类似s ...
- Linux 之 rsync实现服务器的文件同步
rsync实现服务器的文件同步 参考文献链接: 一.rsync实现负载均衡集群文件同步,搭建线上测试部署环境 二.rsync. 三.rsync常见错误. 四.rsync 安装使用详解. 环境部署: 服 ...
- Linux使用rsync客户端与服务端同步目录进行备份
一.服务端设置 1. 修改 server 端配置 # vi /etc/rsyncd.conf 修改: uid = nobody # 该选项指定当该模块传输文件时守护进程应该具有的uid.默认值为&qu ...
- 三十、sersync高级同步工具实时数据同步架构
一.项目介绍 Sersync项目利用inotity与rsync技术实现对服务器数据实时同步的解决方案,其中inotity用于监控sersync所在服务器上的文件变化. Sersync项目的优点: 1. ...
随机推荐
- jwt-simple过期时间不对问题
今天用node写后台,登录认证使用了token,然后就使用了简单的jwt-simple,但是发现设置的过期时间不对,一直没有提示过期,但是明明是已经过期了的时间,于是检查了下jwt-simple的源代 ...
- dojo事件绑定
Dojo如何动态绑定事件的小demo <html> <title>事件绑定测试test</title> <head></head> < ...
- Java—封装
封装 将类的某些信息隐藏在类的内部,不允许外部程序直接访问,而是通过该类提供的方法类实现对隐藏信息的操作和访问. 封装的实现步骤:修改属性的可见性(设为private)=>创建setter和ge ...
- IDEA 打包jar
1.ctrl+shift+alt+s 弹出项目设置窗口,点击Artifacts页签,点+号,选择jar Empty.修改jar name,将右侧需要打包进去的资源拖到左侧,记住Output direc ...
- NFS笔记(一)NFS服务器工作原理及详细配置
一.NFS工作原理 1.什么是NFS服务器 NFS就是Network File System的缩写,它最大的功能就是可以通过网络,让不同的机器.不同的操作系统可以共享彼此的文件. NFS服务器可以让P ...
- java核心-流基础
1.流的概念: 1.1输入流:向内存中写入数据 1.2输出流:有内存向指定的地方输出数据 2.
- 用户表单事件(focus事件)
以前做用户系统的时候经常用到表单验证,正则表达式事件来处理和绑定事件和进行事件,这里说的其实只是一小部分,也不是很值得写,但是今天遇到了还是写一下,毕竟基础还是蛮重要的,就算懂的童鞋,巩固一下也是好的 ...
- 空间最短路径,BFS(POJ3278)
题目链接:http://poj.org/problem?id=3278 #include <cstdio> #include <queue> #include <stri ...
- v-for的深层用法
为了提升循环的性能,我们会给循环加上一个唯一的key值,这个key值一定是唯一的 <div id='root'> <div v-for='(item,index) of list' ...
- VMware 12安装Mac OS X 10.11
去年写了一篇安装Mac OS X 10.10的文章,看到大家都想体验OS X,大多数都能成功,但也在其中发现了一些问题,所以更新一下,希望对大家有所帮助. 1048VMware 11安装Mac O ...