6、inotify实时备份
备份用户nfs共享文件系统,存储单点解决方案inotify+rsync(增量,无差异备份),inotify是单线程,
inotify是一种强大的,细粒度的,异步的文件系统事件监控机制,通过加入了inotify可以实时监控文件
系统中添加,删除,修改,移动等各种事件 ,sersync比inotify有更多功能;
6.1、实现从nfs(rsync)存储端到rsync(rsync --daemon)服务器的数据传送 :
6.2、在nfs服务器上安装inotify服务,实现nfs客户端对nfs目录文件系统事件的实时监控:
1、查看nfs服务器是否支持inotify
ls -l /proc/sys/fs/inotify/
2、安装inotify包
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo #安装第三方源
yum -y install inotify-tools
[root@nfs01 ~]# rpm -qa inotify-tools
inotify-tools-3.14-1.el6.x86_64
3、工具介绍
inotifywait:在被监控的文件或目录上等待待定文件系统事件(open,close,delete等)发生,
执行后处于阻塞状态,适用在shell脚本中使用;
-r#递归查询目录
-q#打印很少的信息,仅仅打印监控事件的信息
-m#始终保持事件监听状态
--excludei#排除文件或目录时不区分大小写
--timefmt#指定时间输出的格式
--format#打印使用指定的输出类似格式的字符串
-e#通过此参数可以指定需要监控的事件
access#文件或目录被读取
modify#文件或目录内容被修改
close_write:修改
inotifywatch:收集被监视的文件系统,使用统计数据,指文件系统时间发生的次数;
举例:
[root@nfs01 ~]# inotifywait -mrq --timefmt '%F %H:%M' --format '%T %w%f' -e close_write,create,delete /tmp
2018-10-14 15:47 /tmp/a
--timefmt:时间的格式;
--format:对设置的格式进行执行,%T代表时间,%w%f代表目录和文件;
4、当客户端监控到nfs共享文件系统事件变化后,触发rsync推送数据:
vim /server/scripts/inotify.sh
#!/bin/sh
export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin
Path=/data
Ip=172.16.1.41
/usr/bin/inotifywait -mrq --format '%w%f' -e close_write,create,delete $Path/ \
|while read file;do
if [ -f $file ];then #$file读取的是‘%w%f’的地址格式
rsync -az $file --delete rsync_backup@$Ip::nfsbackup/ --password-file=/etc/rsync.password >/dev/null 2>&1 &
else
rsync -az $Path/ --delete rsync_backup@$Ip::nfsbackup/ --password-file=/etc/rsync.password >/dev/null 2>&1 &
fi
done
#/usr/bin/inotifywait -mrq --timefmt '%F %H%M' --format '%T %w%f' -e close_write,create,delete $Path/ \
chown u+x inotify.sh
4、启动脚本:
sh inotify.sh
[root@nfs01 ~]# ps -ef | grep inotify
root 2034 1972 0 13:25 pts/0 00:00:00 sh /server/scripts/inotify.sh
root 2035 2034 0 13:25 pts/0 00:00:00 /usr/bin/inotifywait -mrq --format %w%f -e close_write,create,delete /data/
root 2036 2034 0 13:25 pts/0 00:00:00 sh /server/scripts/inotify.sh
root 2063 2039 0 13:25 pts/1 00:00:00 grep inotify
4、加入到 开机自启动中:
echo “/bin/sh /server/scripts/inotify.sh”>/etc/rc.local
5、在backup服务器上进行查看watch ls 每两秒刷新一次
6.3、inotify系统调优:
1、在/proc/sys/fs/inotify 目录下有三个文件,对inotify机制有一定的限制:
[root@nfs01 inotify]# ls -l /proc/sys/fs/inotify/
总用量 0
-rw-r--r-- 1 root root 0 10月 15 13:13 max_queued_events #默认是16334
-rw-r--r-- 1 root root 0 10月 15 13:13 max_user_instances #128
-rw-r--r-- 1 root root 0 10月 15 13:13 max_user_watches #8192
max_queued_events:设置inotify实例事件(event)队列可容纳的事件数量
max_user_watches:设置inotifywait或inotifywatch命令可以监视的文件数量
max_user_instance:设置每个用户可以运行的inotifywait或intoifywait命令的进程数
2、最好写入到/etc/rc.local自启文件中,防止重启后失效:
echo '655350'> /proc/sys/fs/inotify/max_queued_events
echo '655350' > /proc/sys/fs/inotify/max_user_watches
6、inotify实时备份的更多相关文章
- sersync+inotify实时备份数据
Sersync项目简介与框架 简介 Sersync项目利用inotify与rsync技术实现对服务器数据实时同步的解决方案,其中inotify用于监控sersync所在服务器上文件系统的事件变化,rs ...
- 实时备份工具之inotify+rsync
1.inotify简介 inotify 是一个从 2.6.13 内核开始,对 Linux 文件系统进行高效率.细粒度.异步地监控机制, 用于通知用户空间程序的文件系统变化.可利用它对用户空间进行安全. ...
- 通过rsync+inotify实现数据的实时备份
我讲到过利用rsync实现数据的镜像和备份,但是要实现数据的实时备份,单独靠rsync还不能实现,本文就讲述下如何实现数据的实时备份. 一.rsync的优点与不足 与传统的cp.tar备份方式相比,r ...
- rsync+inotify实现数据的实时备份
一.rsync概述 1.1.rsync的优点与不足 rsync与传统的cp.tar备份方式相比,rsync具有安全性高.备份迅速.支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需 ...
- 通过rsync+inotify实现数据的实时备份(多台备份机)
在前面的博文中,我讲到过利用rsync实现数据的镜像和备份,但是要实现数据的实时备份,单独靠rsync还不能实现,本文就讲述下如何实现数据的实时备份. 一.rsync的优点与不足 与传统的cp.ta ...
- 通过rsync+inotify实现数据的实时备份 【转载】
在前面的博文中,我讲到过利用rsync实现数据的镜像和备份,但是要实现数据的实时备份,单独靠rsync还不能实现,本文就讲述下如何实现数据的实时备份. 一.rsync的优点与不足 与传统的cp ...
- 搭建rsync+inotify实现实时备份
一.环境搭建说明 系统环境 CentOS7.5 备份节点 主机名:backup01 IP地址:172.16.2.41 数据节点 主机名:nfs-master IP地址:172.16.2.31 二.在备 ...
- rsync+inotify实时同步环境部署记录
随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足.首先,rsync在同步数据时,需要扫描所有文件后进行比对,进行差量传输.如果文件 ...
- CentOS6.5实现rsync+inotify实时同步
参考博文: 参考1:CentOS6.5实现rsync+inotify实时同步 参考2:inotify-tools+rsync实时同步文件安装和配置 CentOS 6.3下rsync服务器的安装与配置 ...
随机推荐
- centos下查看网卡,主板,CPU,显卡,硬盘型号等硬件信息
centos下查看网卡,主板,CPU,显卡,硬盘型号等硬件信息 rose_willow rose_willow 发布于 2016/06/16 11:32 字数 902 阅读 405 收藏 0 点赞 0 ...
- 关于UCOSII的学习资料
UCOSII学习资料: 在战舰的A盘资料包中 ->软件资料->ucosii 有一个叫做简易OS讲解的文档,此文从简单的OS将其,通俗易懂的讲解大体的OS运行原理,任务调度的实现过程,是入门 ...
- gpcj-07.为什么是连锁零售类公司
1.量化分析的真面目 本课的目的: ·理解零售类公司价值分析的逻辑·学会量化分析公司的思路和原理前言的前沿 和大部分投资者不同,我们的投资核心之一,就是从下而上的分析.宏观经济对我们公司分析影响极少. ...
- LESS语法学习笔记
LESS 通过编写less文件来快速生成css文件,对css的语法进行了扩展 Less语法 注释 单行注释不会被编译,多行才会被编译 变量 less:定义变量用@ scss:定义变量用$ @num: ...
- idea配置javaweb项目(最新版)
idea(最新版)配置javaweb项目 本篇文章使用Maven构建javaweb环境 最新版maven压缩包 链接:https://pan.baidu.com/s/1El7b3YzPTZX-7QRE ...
- Windows 下QT程序发布
方法1:利用QT自带打包工具 1.新建文件夹,把编译好的exe文件放入该文件夹 2.使用QT下的命令行 3.进入该exe所在文件,执行windeployqt xxx.exe,若出现找不到命令的情况 4 ...
- [leetcode] 33. 搜索旋转排序数组(Java)
33. 搜索旋转排序数组 说实话这题我连题都没有看懂....真是醉了 二分,没意思,直接交了- - https://www.jiuzhang.com/solutions/search-in-rotat ...
- GO学习-(12) Go语言基础之函数
Go语言基础之函数 函数是组织好的.可重复使用的.用于执行指定任务的代码块.本文介绍了Go语言中函数的相关内容. 函数 Go语言中支持函数.匿名函数和闭包,并且函数在Go语言中属于"一等公民 ...
- SQL Server 将两行或者多行拼接成一行数据
一个朋友,碰到一个问题. 就是查询出来的结果集,需要每隔三行.就将这三行数据以此拼接为一行显示.起初我想着用ROW_NUMBER加CASE WHEN去做,发现结果并非我预期那样. 结果如下: 由于别人 ...
- SpringBoot原理深入及源码剖析(一) 依赖管理及自动配置
前言 传统的Spring框架实现一个Web服务需要导入各种依赖jar包,然后编写对应的XML配置文件等,相较而言,SpringBoot显得更加方便.快捷和高效.那么,SpringBoot究竟是如何做到 ...