!!!在安装前要先确保,rsync daemon服务配置成功,在安装inotify-tools前先确认你的linux内核是否达到了2.6.13,并且在编译时开启CONFIG_INOTIFY选项,也可以通过以下命令检测。

一、rsync + inotify 组合的起源

Rsync(remote sync)远程同步工具,通过rsync可以实现对远程服务器数据的增量备份同步,但rsync自身也有瓶颈,同步数据时,rsync采用核心算法对远程服务器的目标文件进行比对,只进行差异同步。我们可以想象一下,如果服务器的文件数量达到了百万甚至千万量级,那么文件对比将是非常耗时的。而且发生变化的往往是其中很少的一部分,这是非常低效的方式。inotify的出现,可以缓解rsync不足之处,取长补短。

【客户端】

rsync版本:3.0.6,inotify版本:inotify-tools-3.14.tar

二、编译安装

1)确认内核版本

[root@weiwei ~]# uname -r
2.6.32-573.el6.x86_64
[root@weiwei ~]# ls -l /proc/sys/fs/inotify/
total 0
-rw-r--r-- 1 root root 0 Aug 16 15:13 max_queued_events
-rw-r--r-- 1 root root 0 Aug 16 15:13 max_user_instances
-rw-r--r-- 1 root root 0 Aug 16 15:13 max_user_watches
显示这三项就说明支持

2)编译安装inotify

[root@weiwei inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify-tools-3.14
[root@weiwei inotify-tools-3.14]# make && make install
[root@weiwei local]# ln -s /usr/local/inotify-tools-3.14 /usr/local/inotify

3)本地测试

测试create
[root@weiwei ~]# /usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create /backup
16/08/17 19:01 /backup/a.txt
16/08/17 19:02 /backup/test_dir 测试delete
[root@weiwei ~]# /usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create,delete /backup
16/08/17 19:04 /backup/a.txt
16/08/17 19:04 /backup/nini.txt 测试close_write
[root@weiwei ~]# /usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create,delete,close_write /backup
16/08/17 19:06 /backup/nima
16/08/17 19:06 /backup/nima
上面的create,close_write如果是创建文件则会重复了监控,如果仅仅写入则只会有close_write的监控 没有时间的监控,简化事件的输出
[root@weiwei ~]# /usr/local/inotify/bin/inotifywait -mrq --format ' %w%f' -e create /backup
/backup/jij.txt

三、下面用列表详细解释一下各个参数的含义

inotifywait参数 含义说明
-r --recursive 递归查询目录
-q --quiet 打印很少的信息,仅仅打印监控事件的信息
-m,--monitor 始终保持事件监听状态
--exclude 排除文件或目录时,不区分大小写
--timefmt 指定时间输出的格式
--format 打印使用指定的输出类似格式字符串
-e,--event 通过此参数可以指定需要监控的事件,如下一个列表所示

-e :--event的各种事件含义

Events 含义
access 文件或目录被读取
modify 文件或目录内容被修改
attrib 文件或目录属性被改变
close 文件或目录封闭,无论读/写模式
open 文件或目录被打开
moved_to 文件或目录被移动至另外一个目录
move 文件或目录被移动到另一个目录或从另一个目录移动至当前目录
create 文件或目录被创建在当前目录
delete 文件或目录被删除
umount 文件系统被卸载                    

四、实时监控的脚本

#!/bin/sh

path="/backup"
cmd="/usr/local/inotify/bin/inotifywait"
$cmd -mrq --format ' %w%f' -e create,close_write,delete /backup |\
while read line
do
if [ ! -e "$line" ];then 如果此时执行了删除操作,则推送整个目录
cd $path &&\
rsync -az --delete ./ --delete rsync_backup@192.168.222.140::oldboy --password-file=/etc/rsync.password
else 如果只是创建文件或者目录,则只需要推送文件或目录
rsync -az --delete $line rsync_backup@192.168.222.140::oldboy --password-file=/etc/rsync.password
fi
done

五、参数优化

[root@weiwei ~]# cd /proc/sys/fs/inotify/
[root@weiwei inotify]# ll
total 0
-rw-r--r-- 1 root root 0 Aug 16 15:13 max_queued_events ===关键参数,可以搞大点,5000000
-rw-r--r-- 1 root root 0 Aug 16 15:13 max_user_instances
-rw-r--r-- 1 root root 0 Aug 16 15:13 max_user_watches ===关键参数,327679
[root@weiwei inotify]# cat *
16384
128
8192

在/proc/sys/fs/inotify目录下有三个文件,对inotify机制有一定的限制
max_user_watches:设置inotifywait或inotifywatch命令可以监视的文件数量(单进程)
max_user_instances:设置每个用户可以运行的inotifywait或inotifywatch命令的进程数
max_queued_events:设置inotify实例事件(event)队列可容纳的事件数量。

修改参数:

[root@weiwei data]# cat /proc/sys/fs/inotify/max_
max_queued_events max_user_instances max_user_watches
[root@weiwei data]# cat /proc/sys/fs/inotify/max_user_watches
8192
[root@weiwei data]# echo "50000000" > /proc/sys/fs/inotify/max_user_watches
[root@weiwei data]# cat /proc/sys/fs/inotify/max_user_watches
50000000
[root@weiwei data]# cat /proc/sys/fs/inotify/max_queued_events
16384
[root@weiwei data]# echo "326790" > /proc/sys/fs/inotify/max_queued_events
[root@weiwei data]# cat /proc/sys/fs/inotify/max_queued_events
326790
[root@weiwei data]# sysctl -p

六、inotify优缺点

优点:监控文件系统事件变化,通过同步工具实现实时数据同步。

缺点:

1)并发如果大于200个文件(10-100k),同步就会有延迟
2)我们前面写的脚本,每次都是全部推送一次,但确实是增量的。也可以只同步变化的文件,不变化的不理。
3)监控到事件后,调用rsync同步是单进程的,而sersync为多进程同步。既然有了inotify-tools,为什么还要开发sersync?

七、参考文档

https://github.com/rvoicilas/inotify-tools/wiki

rsync+inotify实时同步的更多相关文章

  1. rsync+inotify实时同步环境部署记录

    随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足.首先,rsync在同步数据时,需要扫描所有文件后进行比对,进行差量传输.如果文件 ...

  2. rsync+inotify实时同步方案

    rsync+inotify实时同步,inotify可以实时监控本地文件或目录变化,当检测到本地文件变化,执行rsync同步命令,将变化的文件同步到其他服务器节点. 1.配置环境 3.在服务节点1.服务 ...

  3. CentOS6.5实现rsync+inotify实时同步

    参考博文: 参考1:CentOS6.5实现rsync+inotify实时同步 参考2:inotify-tools+rsync实时同步文件安装和配置 CentOS 6.3下rsync服务器的安装与配置  ...

  4. 配置rsync+inotify实时同步

    与上一篇同步做 配置rsync+inotify实时同步 1:调整inotify内核参数 在linux内核中,默认的inotify机制提供三个调控参数:max_queue_events.max_user ...

  5. linux设置rsync+inotify实时同步文件

    linux设置rsync+inotify实时同步文件   应用场景: 同步接收方:test01 接收目录:/opt/software/test/a/ 同步发起方:test02 同步目录:/opt/so ...

  6. (转)rsync+inotify实时同步

    原文:http://lxw66.blog.51cto.com/5547576/1331048 声明:rsync inotify 需要逆向思考,当只做rsync不实时同步时,我们一般是从rsync服务端 ...

  7. 浅谈Rsync+Inotify实时同步

    Rsync是Unix/Linux旗下的一款应用软件,利用它可以是多台服务器数据保持同步一致性,第一次同步时rsync会复制全部内容,但在下次只传输修改过的文件 Rsync在传输数据的过程中可以实行压缩 ...

  8. centos 6 rsync+inotify 实时同步

    主机名.ip: server 172.31.82.184 client  172.31.82.185 需求: 1.server端 ”/data/server“ 做为client端 “/data/cli ...

  9. rsync + inotify 实时同步

    1. 前言 2 台 nginx 需要做集群, 静态文件和php文件都在nginx服务器本地. 有三种方案: (1)NFS (2)Rsync + inotify (3)共享存储服务器 第一种:当 nfs ...

随机推荐

  1. linux上FTP服务器搭建

    一.启动vsftpd服务 1. 启动VSFTP服务器 A. cenos下运行:yum install vsftpd B. 登录Linux主机后,运行命令:"service vsftpd st ...

  2. @override 报错问题

    Java的Eclipse工程换一台电脑后编译总是@override报错,把@override去掉就好了,但不能从根本上解决问题,因为有时候有@override的地方超级多. 这是jdk的问题,@Ove ...

  3. 安装php WampServer之后,运行的时候报错“phpMyAdmin - 错误 缺少 mysqli 扩展。请检查 PHP 配置。”

    今天在安装了WampServer2.1a-x32之后,点击WampServer的图标启动WampServer,在电脑右下角就可以看到WampServer启动之后的图标,然后点击“Start All S ...

  4. Paxos发展、算法原理

    Paxos 发展史 Leslie Lamport所提出的Paxos算法是现代分布式系统中的一项重要的基础性技术,得到广泛的应用. Paxos的整个发展过程大概可以分为三个阶段: 第一阶段:萌芽期,大致 ...

  5. linux—安装定时插件crontab

    安装crontab [root@iZ25j0kywimZ ~]# yum install -y vixie-cron Loaded plugins: security base | 3.7 kB 00 ...

  6. Storm集成Kafka编程模型

    原创文章,转载请注明: 转载自http://www.cnblogs.com/tovin/p/3974417.html 本文主要介绍如何在Storm编程实现与Kafka的集成 一.实现模型 数据流程: ...

  7. string与wstring互转

    string与wstring互转  C++ Code  123456789101112131415161718192021222324252627282930313233343536373839404 ...

  8. Web的本质以及第一个Django实例.

       Web框架的本质:    所有的Web应用本质上就是一个socket服务器, 而用户的浏览器就是一个socket客户端. import socket sk = socket.socket() s ...

  9. pandas 读取文件

    import pandas as pd import matplotlib.pyplot as plt data = pd.read_csv('G:timeCompare.txt', sep=' ', ...

  10. 【BZOJ4378】[POI2015]Logistyka 树状数组

    [BZOJ4378][POI2015]Logistyka Description 维护一个长度为n的序列,一开始都是0,支持以下两种操作:1.U k a 将序列中第k个数修改为a.2.Z c s 在这 ...