CentOS 6.x Inotify+Rsync

yum -y install lrzsz
[root@rsync ~]#
mount -t nfs 10.6.100.75:/volume1/pacebackup /home/nfs/
[root@rsync ~]#
[root@rsync ~]#
[root@rsync ~]# df -h
文件系统              容量  已用  可用 已用%% 挂载点
/dev/xvda3            195G  5.8G  180G   4% /
tmpfs                 497M  228K  496M   1% /dev/shm
/dev/xvda1            194M   29M  156M  16% /boot
10.6.100.75:/volume1/pacebackup
                      5.5T  4.8T  638G  89% /home/nfs
[root@rsync ~]# vim /etc/sysctl.conf
fs.inotify.max_user_watches=99999999
CentOS使用inotify+rsync实时同步
inotify是Linux下的一个文件系统事件监控机制(简单说就是用于监控某个文件夹的改动),作为dnotify的有效替代。inotify是一种强大的、细粒度的、异步的机制,它满足各种各样的文件监控需要。在单独使用rsync同步时,每次同步它会把全部的文件读取一遍,而inotify+rsync同步是触发式同步。假设被镜像端IP为10.6.0.106,镜像端IP为10.6.0.220。
一、被镜像(同步)端
linux内核2.6.13之后就支持inotify了,确认方法:
ls /proc/sys/fs/inotify
如果有以下三项就支持:
max_queued_events max_user_instances max_user_watches
安装rsync:
yum install rsync -y
安装inotify:
官网:https://github.com/rvoicilas/inotify-tools
cd /tmp
wget --no-check-certificate http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
tar -zxvf inotify-tools-3.14.tar.gz
cd inotify-tools-3.14
./configure
make
make install
默认安装到/usr/local/bin目录。
建立rsync密码文件:
vim /root/rsync.pass
输入密码:
123456
设置权限为600:
chmod 600 /root/rsync.pass
创建同步脚本:
src=/home/data
vim /root/rsync.sh
输入:
#!/bin/bash
src=/home/nfs/fir_fs_06/000/000/000
src=/home/nfs/fir_fs_06/000/000/016
src=/home/nfs/fir_fs_06/000/000/017
des=backup@10.6.0.220::rsync
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' \
-e modify,delete,create,attrib ${src} \
| while read x
    do
        /usr/bin/rsync -avz --delete --progress $src $des --password-file=/root/rsync.pass &&
        echo "$x was rsynced" >> /var/log/rsync.log
    done
注释:
inotifywait
-m:保持监听事件。
-r:递归查看目录。
-q:打印出事件。
-e modify,delete,create,attrib:监听写入,删除,创建,属性改变事件。
rsync
-a:存档模式,相当于使用-rlptgoD。
-v:详细模式输出。
-z:传输过程中压缩文件。
为脚本加执行权限:
chmod +x /root/rsync.sh
在rc.local加入自启动:
echo "/root/rsync.sh" >> /etc/rc.local
ps aux | grep rsync | grep -v grep
kill -9
[root@rsync ~]# kill -9 7694
[root@rsync ~]# ps aux | grep rsync | grep -v grep
/root/rsync.sh &
[root@rsync ~]# cd /home/nfs/fir_fs_06/000/000/016
[root@rsync 016]# touch a
[root@rsync 016]#
二、镜像(同步)端
安装rsync:
yum install rsync -y
编辑配置文件:
vim /etc/rsyncd.conf
输入:
uid = rsync
gid = rsync
use chroot = no
max connections = 10
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
hosts allow = *
[rsync]
path = /root/pacsrsync/
read only = no
list = no
auth users = backup
secrets file = /root/rsync.pass
建立密码文件:
vim /root/rsync.pass
输入:
backup:123456
格式为“用户名:密码”。
设置权限为600:
chmod 600 /root/rsync.pass
建立保存同步文档的目录:
mkdir /home/tzuchi/
chown nobody:nobody /home/tzuchi/
chown -R rsync:rsync /root/pacsrsync/
后台启动rsync:
/usr/bin/rsync --daemon --config=/etc/rsyncd.conf
在被镜像端上运行同步脚本:
/root/rsync.sh &
日志
> /var/log/rsyncd.log
tail -f /var/log/rsyncd.log
[root@n10 ~]# cd /root/pacsrsync/
[root@n10 pacsrsync]# mkdir 016
[root@n10 pacsrsync]# chown rsync.rsync 016
[root@n10 pacsrsync]# ll
总用量 44
drwx------ 634 rsync rsync 12288 6月  14 2016 000
drwxr-xr-x   2 rsync rsync  4096 6月  13 14:55 001
drwx------ 913 rsync rsync 20480 6月  14 2016 016
drwx------  16 rsync rsync  4096 6月  13 14:27 262
drwxrwxrwx   8 rsync rsync  4096 6月  13 13:26 data
[root@n10 pacsrsync]#
[root@n10 pacsrsync]# mkdir 017
[root@n10 pacsrsync]# chown rsync.rsync 017
[root@n10 pacsrsync]# ll
总用量 48
drwx------ 634 rsync rsync 12288 6月  14 2016 000
drwxr-xr-x   2 rsync rsync  4096 6月  13 14:55 001
drwx------ 913 rsync rsync 20480 6月  14 2016 016
drwxr-xr-x   2 rsync rsync  4096 6月  14 07:24 017
drwx------  16 rsync rsync  4096 6月  13 14:27 262
drwxrwxrwx   8 rsync rsync  4096 6月  13 13:26 data
[root@n10 pacsrsync]#
ps aux | grep rsync | grep -v grep
kill -9
ps aux | grep rsync | grep -v grep
/usr/bin/rsync --daemon --config=/etc/rsyncd.conf
vim /root/rsync.sh
#!/bin/bash
inotify_rsync_fun ()
{
    dir=`echo $1 | awk -F"," '{print $1}'`
    ip=`echo $1 | awk -F"," '{print $2}'`
    des=`echo $1 | awk -F"," '{print $3}'`
    user=`echo $1 | awk -F"," '{print $4}'`
    /usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e modify,delete,create,attrib ${dir} |while read DATE TIME DIR FILE
        do
                FILECHAGE=${DIR}${FILE}
                /usr/bin/rsync -avz --delete --progress  --password-file=/root/rsync.pass ${dir} ${user}@${ip}::${des} && echo "At ${TIME} on ${DATE}, file $FILECHAGE was backed up via rsync" >> /var/log/rsync.log
        done
}
count=3
# localdir,host,rsync_module,user of rsync_module,
sync1="/home/nfs/fir_fs_06/000/000/000,10.6.0.220,dir1,backup"
sync2="/home/nfs/fir_fs_06/000/000/016,10.6.0.220,dir2,backup"
sync3="/home/nfs/fir_fs_06/000/000/017,10.6.0.220,dir3,backup"
#############################################################
#main
i=0
while [ ${i} -lt ${count} ]
do
    i=`expr ${i} + 1`
    tmp="sync"$i
    eval "sync=\$$tmp"
    inotify_rsync_fun "$sync" &
done
vim /etc/rsyncd.conf
uid = rsync
gid = rsync
use chroot = no
max connections = 0
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
hosts allow = *
[dir1]
path = /root/pacsrsync/
comment = rsync from everyone
read only = no
list = no
auth users = backup
secrets file = /root/rsync.pass
[dir2]
path = /root/pacsrsync/
comment = rsync from everyone
read only = no
list = no
auth users = backup
secrets file = /root/rsync.pass
[dir3]
path = /root/pacsrsync/017/
comment = rsync from everyone
read only = no
list = no
auth users = backup
secrets file = /root/rsync.pass

CentOS 6.x Inotify+Rsync的更多相关文章

  1. inotify +rsync进行实时同步

    1.安装rpm -ivh http://dl.fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpmyum -y install ino ...

  2. centos 6.9使用Rsync+Inotify-tools实现数据实时同步

    centos 6.9使用Rsync+Inotify-tools实现数据实时同步 说明: 操作系统:CentOS 6.9 源服务器:192.168.1.222 备份服务器:192.168.1.1.233 ...

  3. 项目cobbler+lamp+vsftp+nfs+数据实时同步(inotify+rsync)

    先配置好epel源 [root@node3 ~]#yum install epel-release -y 关闭防火墙和selinux [root@node3 ~]#iptables -F [root@ ...

  4. 真正的inotify+rsync实时同步 彻底告别同步慢

    真正的inotify+rsync实时同步 彻底告别同步慢       http://www.ttlsa.com/web/let-infotify-rsync-fast/     背景 我们公司在用in ...

  5. CentOS 6.3下rsync服务器的安装与配置[转]

    CentOS 6.3下rsync服务器的安装与配置   一.rsync 简介 Rsync(remote synchronize)是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件,也 ...

  6. 第2章 rsync(二):inotify+rsync详细说明和sersync

    本文目录: inotify+rsync 1.1 安装inotify-tools 1.2 inotifywait命令以及事件分析 1.3 inotify应该装在哪里 1.4 inotify+rsync示 ...

  7. inotify+rsync实现实时同步

    第1章 数据实时同步介绍 1.1 什么是实时同步:如何实现实时同步 A. 要利用监控服务(inotify),监控同步数据服务器目录中信息的变化 B. 发现目录中数据产生变化,就利用rsync服务推送到 ...

  8. inotify+rsync架构实现实时同步

    前序 使用inotify+rsync架构实现(文件夹/文件)实时同步, 双机之间需要ssh免密码配置(两步完成ssh免密码登录) 环境 客户端:192.168.137.176 (rsync + ino ...

  9. 【转】inotify+rsync实现实时同步

    [转]inotify+rsync实现实时同步 1.1 什么是实时同步:如何实现实时同步 要利用监控服务(inotify),监控同步数据服务器目录中信息的变化 发现目录中数据产生变化,就利用rsync服 ...

随机推荐

  1. 基础数据类型(set集合)

    认识集合 由一个或多个确定的元素所构成的整体叫做集合. 集合中的元素有三个特征: 1.确定性(集合中的元素必须是确定的) 2.互异性(集合中的元素互不相同.例如:集合A={1,a},则a不能等于1) ...

  2. Calling method 'get' is not valid without an active transaction

    在进行使用注解来配置Spring和Hibernate的整合的时候, 遇到了这个问题, 它的意思是说在调用'get'方法的时候,没有活动的事务. 原因分析: Hibernate强制要求在进行数据库操作的 ...

  3. 第1节 flume:7、flume的监控文件夹,实现数据收集到hdfs上

    1.2.2 采集案例 1.采集目录到HDFS 需求分析 结构示意图: 采集需求:某服务器的某特定目录下,会不断产生新的文件,每当有新文件出现,就需要把文件采集到HDFS中去 根据需求,首先定义以下3大 ...

  4. 收集的WEB前端程序员需要的网站整理

    前端学习资源实在是又多又广,在这样的一个知识的海洋里,我们像一块海绵一样吸收,想要快速提高效率,平时的总结不可缺少,以下总结了一些,排版自我感觉良好,推送出来. 一.插件类网站 jQuery插件库:h ...

  5. Maven实战读书笔记(二):Maven坐标与仓库

    2.1 Maven坐标 Maven坐标是Maven用来表示一个组件依赖的标示. Maven通过下面几个元素定义坐标:groupId.artifactId.version.packaging.class ...

  6. Python List extend()方法

    Python List extend()方法  Python 列表 描述 extend() 函数用于在列表末尾一次性追加另一个序列中的多个值(用新列表扩展原来的列表). 语法 extend()方法语法 ...

  7. Linux 特殊指令总结(持续更新)

    Linux 命令 1. 查看系统信息 1.uname uname (1) - print system information uname (2) - get name and information ...

  8. 使用Spring IoC进行Bean装配

    Spring概述 Spring的设计严格遵从的OCP(开闭原则),保证对修改的关闭,也就是外部无法改变spring内部的运行流程:提供灵活的扩展接口,也就是可以通过extends,implements ...

  9. Oracle开启和关闭的四种模式

    >1 启动数据库 在cmd命令窗口,直接输入"sqlplus",直接进入oracle管理界面,输入用户名和密码后,开始启动数据库,启动数据库三个步骤:启动实例.加载数据库.打 ...

  10. SpringMVC中controller的跳转

    controller中的重定向 (1)不需要传递参数重定向 方式一:使用ModelAndView        return new ModelAndView("redirect:/toLi ...