Linux学习-利用inotify和rsync实现数据的实时同步
一、inotify简介
1、inotify介绍
异步的文件系统事件监控机制,利用事件驱动机制,而无须通过诸如cron等的 轮询机制来获取事件,linux内核从2.6.13起支持 inotify,通过inotify可以监控文 件系统中添加、删除,修改、移动等各种事件
2、实现inotify的软件
inotify-tools,sersync,lrsyncd
3、查看内核是否支持inotify
Linux下支持inotify的内核最小为2.6.13,使用uname -r 可查看内核版本
使用 ls /proc/sys/fs/inotify/ 查看,如果列出下面的文件,则说明服务器内核支持inotify
max_queued_events:inotify事件队列最大长度,如值太小会出现 Event Queue Overflow 错误,默认值: 16384
max_user_watches:可以监视的文件数量(单进程),默认值: 8192
max_user_instances:每个用户创建inotify实例最大值,默认值: 128
二、同步实现方法
1、基本方案
inotify 对同步数据目录信息的监控
rsync 完成对数据的同步
利用脚本进行结合
2、软件包
inotify-tools (epel源)
包主要文件:
inotifywait:在被监控的文件或目录上等待特定文件系统事件(open closedelete等)发生,常用于实时同步的目录监控
inotifywatch:收集被监控的文件系统使用的统计数据,指文件系统事件发生的次数统计
3、相关命令
1. inotifywait
常用选项:
-m, --monitor 始终保持事件监听
-d, --daemon 以守护进程方式执行,和-m相似,配合-o使用
-r, --recursive 递归监控目录数据信息变化
-q, --quiet 输出少量事件信息
--exclude <pattern> 指定排除文件或目录,使用扩展的正则表达式匹配的模式实现
--excludei <pattern> 和exclude相似,不区分大小写
-o, --outfile <file> 打印事件到文件中,相当于标准正确输出
-s, --syslogOutput 发送错误到syslog相当于标准错误输出
--timefmt <fmt> 指定时间输出格式
--format <fmt> 指定的输出格式;即实际监控输出内容
-e 指定监听指定的事件,如果省略,表示所有事件都进行监听
--timefmt <fmt> 时间格式,参考 man 3 strftime 例如:--timefmt "%Y-%m-%d %H:%M"
%Y 年份信息,包含世纪信息
%y 年份信息,不包括世纪信息
%m 显示月份,范围 01-12
%d 每月的第几天,范围是 01-31
%H 小时信息,使用 24小时制,范围 00-23
%M 分钟,范围 00-59
--format <fmt> 格式定义,例如 --format "%T %w%f event: %;e" 与 --format '%T %w %f'
%T 输出时间格式中定义的时间格式信息,通过 --timefmt option 语法格式指定时间信息
%w 事件出现时,监控文件或目录的名称信息
%f 事件出现时,将显示监控目录下触发事件的文件或目录信息,否则为空
%e 显示发生的事件信息,不同的事件默认用逗号分隔
%Xe显示发生的事件信息,不同的事件指定用X进行分隔
-e 选项指定的事件类型,例如: -e create,delete,moved_to,close_write, attrib
create 文件或目录创建
delete 文件或目录被删除
modify 文件或目录内容被写入
attrib 文件或目录属性改变
close_write 文件或目录关闭,在写入模式打开之后关闭的
close_nowrite 文件或目录关闭,在只读模式打开之后关闭的
close 文件或目录关闭,不管读或是写模式
open 文件或目录被打开
moved_to 文件或目录被移动到监控的目录中
moved_from 文件或目录从监控的目录中被移动
move 文件或目录不管移动到或是移出监控目录都触发事件
access 文件或目录内容被读取
delete_self 文件或目录被删除,目录本身被删除
unmount 取消挂载
相关示例
监控一次性事件
inotifywait /data
持续监控
inotifywait -mrq /data
持续后台监控,并记录日志
inotifywait -o /root/inotify.log -drq /data --timefmt "%Y-%m-%d %H:%M" --format "%T %w%f event: %e"
持续后台监控特定事件
inotifywait -mrq /data --timefmt "%F %H:%M" --format "%T %w%f event: %;e" -e create,delete,moved_to,close_write,attrib
2. rsync 基于ssh和rsh服务实现高效率的远程系统之间复制文件,使用安全的shell连接做为传输方式
常用选项
-n 模拟复制过程
-v 显示详细过程
-r 递归复制目录树
-p 保留权限
-t 保留时间戳
-g 保留组信息
-o 保留所有者信息
-l 将软链接文件本身进行复制(默认)
-L 将软链接文件指向的文件复制
-a 存档,相当于–rlptgoD,但不保留ACL(-A)和SELinux属性(-X)
-z 传输时进行压缩提高效率
--delete 以SRC为主,对DEST进行同步。多则删之,少则补之
--exclude 指定排除规则来排除不需要传输的文件
相关示例
rsync -av /etc server1:/tmp 复制目录和目录下文件
rsync -av /etc/ server1:/tmp 只复制目录下文件
三、实现步骤
系统:CentOS7.6,服务器端(192.168.214.17),客户端(192.168.214.27),实现将客户端数据同步至服务器端
1. 服务器端安装inotify-tools软件包,基于epel源安装,rsync包,基本光盘yum源
[root@centos7 ~]# cat /etc/yum.repos.d/base.repo
[development]
name=dvdbase repo
baseurl=file:///mnt/cdrom/
enabled=
gpgcheck=
gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-CentOS-7 [aliyunEpel]
name=aliyun epel
baseurl=https://mirrors.aliyun.com/epel/$releasever/$basearch
enabled=
gpgcheck=
gpgkey=https://mirrors.aliyun.com/epel/RPM-GPG-KEY-EPEL-$releasever
yum源
[root@centos7 ~]# yum install -y inotify-tools rsync
2. 服务器端生成验证文件
[root@centos7 ~]# echo "rsyncuser:centos" > /etc/rsync.pass
[root@centos7 ~]# chmod /etc/rsync.pass
3. 服务器端准备要备份的目录
[root@centos7 ~]# mkdir /data
4. 服务器端修改rsync的配置文件
[root@centos7 ~]# vim /etc/rsyncd.conf
uid = root
gid = root
use chroot = no
max connections =
ignore errors
exclude = lost+found/
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
reverse lookup = no
hosts allow = 192.168.214.0/ #允许访问的主机
[backup] #要同步的项目,与下文同步时的backup对应
path = /data/
comment = backup
read only = no
auth users = rsyncuser
secrets file = /etc/rsync.pass
5. 服务器端启动rsync服务
[root@centos7 ~]# systemctl start rsyncd #CentOS7
#或 rsync --daemon 可加入/etc/rc.d/rc.local实现开机启动
6. 客户端配置密码文件
[root@centos7- ~]# echo "centos" > /etc/rsync.pass
[root@centos7- ~]# chmod /etc/rsync.pass
7. 客户端测试同步数据 rsync -avz --password-file=/etc/rsync.pass /data/ rsyncuser@rsync服务器IP::/data
[root@centos7- ~]# cd /data
[root@centos7- data]# ls
[root@centos7- data]# touch b.txt
[root@centos7- data]# ll
total
-rw-r--r-- root root Dec : b.txt
#将本地目录同步至远程目录
[root@centos7- data]# rsync -avz --password-file=/etc/rsync.pass /data/ rsyncuser@192.168.214.17::backup #服务器端查看
[root@centos7 data]# ll #可以看到同步过来了
total
-rw-r--r-- root root Dec : b.txt
8. 客户端创建inotify_rsync.sh脚本,然后后台运行即可
[root@centos7- ~]# cat inotify_rsync.sh
#!/bin/bash SRC='/data/' #本地文件夹
DEST='rsyncuser@192.168.214.17::backup' # rsyncuser@rsync服务器IP::backup'
LOG='/var/log/changelist.log' #日志输出 inotifywait -mrq --timefmt '%Y-%m-%d %H:%M' --format '%T %w %f' -e create,delete,moved_to,close_write,attrib ${SRC} | while read DATE TIME DIR FILE;do FILEPATH=${DIR}${FILE} rsync -az --delete --password-file=/etc/rsync.pass $SRC $DEST && echo "At ${TIME} on ${DATE}, file $FILEPATH was backuped up via rsync" >> ${LOG} done
Linux学习-利用inotify和rsync实现数据的实时同步的更多相关文章
- CentOS 7 Sersync+Rsync 实现数据文件实时同步
rsync+inotify-tools与rsync+sersync架构的区别? 1.rsync+inotify-tools inotify只能记录下被监听的目录发生了变化(增,删,改)并没有把具体是哪 ...
- Sersync+Rsync实现数据文件实时同步
rsync+inotify-tools与rsync+sersync架构的区别1,rsync+inotify-tools只能记录下被监听的目录发生的变化(增删改)并没有把具体变化的文件或目录记录下来在同 ...
- rsync参数详解、利用ssh、rsync 实现数据的定时同步
rsync 简介 rsync(remote synchronize)是一个远程数据同步工具,可通过 LAN/WAN 快速同步多台主机之间的文 件.也可以使用 rsync 同步本
- 利用Inotify和Rsync将webproject文件自己主动同步到多台应用server
背景:须要搭建一套跟线上一模一样的环境,用来预公布,这是当中的web分发的一个小模块的实现过程. 1 工具以及环境简单介绍 1.1,Inotify工具 Inotify,它是一个内核用于通知用户空间程序 ...
- inotify和rsync实现数据实时同步
数据的实时同步 实现实时同步 要利用监控服务(inotify),监控同步数据服务器目录中信息的变化 发现目录中数据产生变化,就利用rsync服务推送到备份服务器上 实现实时同步的方法 ino ...
- rsync 守护进程及实时同步
目录 rsync 守护进程及实时同步 rsync简介 rsync特性 rsync应用场景 cp命令 scp命令 rsync的传输方式 rsync的传输模式 rsync实际使用 rsync命令 案例 r ...
- sersync+rsync实现服务器文件实时同步
sersync+rsync实现服务器文件实时同步 一.为什么要用rsync+sersync架构? 1.sersync是基于inotify开发的,类似于inotify-tools的工具 2.sersyn ...
- Mysql 到 Hbase 数据如何实时同步,强大的 Streamsets 告诉你
很多情况大数据集群需要获取业务数据,用于分析.通常有两种方式: 业务直接或间接写入的方式 业务的关系型数据库同步到大数据集群的方式 第一种可以是在业务中编写代码,将觉得需要发送的数据发送到消息队列,最 ...
- 利用inotify和rsync服务实现数据实时同步
文件定时同步的实现: 利用rsync结合cron计划任务实现: rsync -av --delete /data/ 10.0.0.12:/back -a:保留文件属性 -v:显示过程 -delete: ...
随机推荐
- Selenium学习之==>ActionChainsApi接口详解
ActionChains UI自动化测试过程中,经常遇到那种,需要鼠标悬浮后,要操作的才会元素出现的这种场景,那么我们就要模拟鼠标悬浮到某一个位置,做一系列的连贯操作,Selenium给我们提供了Ac ...
- RESR API (一)之Requests
Requests 如果您正在做基于REST的Web服务,您应该忽略request.POST. - Malcom Tredinnick,Django开发团队 REST框架的Request类扩展了标准的H ...
- Flink集群环境搭建
环境准备 master:171:slave:171,172:flink版本:1.3.0 下载地址:http://archive.apache.org/dist/flink/flink-1.3.0/ 集 ...
- 爬虫二之Requests
requests 实例引入 import requests response = requests.get('https://www.baidu.com') response.status_code ...
- 应用安全 - 工具 - Adobe - Adobe Flash Player - 漏洞 - 汇总
CVE-2018-4878 Date 类型软件漏洞可被用于钓鱼 影响范围Flash Player版本28.0.0.137以及之前的所有版本 复现 分析
- 【Qt开发】QT中显示图像数据
一般图像数据都是以RGBRGBRGB--字节流的方式(解码完成后的原始图像流),我说成字节流,那就表明R,G,B的值各占一个字节,在编程时表示的就是unsigned char * data. 我们先来 ...
- WCF书籍
<WCF 服务编程> <WCF 全面解析> <WCF全面解析(套装上下册)>
- spring boot 异常汇总
spring boot JPA 异常: org.springframework.data.mapping.PropertyReferenceException: No property role fo ...
- [Git] 022 没有人是一座孤岛
0.回顾 [Git] 015 远程仓库篇 第二话 关联与推送 的 "2" 中介绍过 git remote git remote -v 与 "status" 不同 ...
- uboot启动第一阶段分析
一. uboot第一阶段初识 1.1. 什么是uboot第一阶段 1.1.1. 启动os三个阶段 1.1.1.1. bl0阶段 a. 这段代码是三星固化到iROM中,可以查看<S5PV210_i ...