Linux 期中架构 inotify

全网备份数据同步方案

备份网站内部人员信息  不能解决外部（人员）上传数据的备份

定时任务最短执行的周期为一分钟，采用定时任务方式，有时可能造成一分钟内的数据丢失

因此对于重要数据需要采用实时同步的方案

#数据同时同步方法

##什么是实时同步：如何实现实时同步数据备份

###1  利用监控服务  监控同步数据目录信息的变化

###2  发现目录中数据产生变化  就利用rsync服务推送数据到备份服务器上

##实时同步工作原理概念

1）进行数据信息的监控

2）将变化的数据进行推送备份--利用Rsync

##实现实时同步的技术手段：

1-->inotify+rsync

2-->sersync

实时同步服务拓扑示意图

服务架构

软件名称：inotify-tools

intify主要是监控   rsync是传输

TIP：异步就是将所有请求先放入内存当中

修改1个文件名称是什么行为

inotify只是监控软件（事件驱动机制）   同步是rsync做的

事件驱动机制：

中小型比较适合前2款

####实现实时同步的方法

01    intofy  对同步数据目录信息的监控

02   rsync    完成对数据信息的实时同步

intify+rsync   利用脚本进行结合

第一个里程碑：部署rsync服务

客户端

服务端

第二个里程碑：部署inotify软件

部署数据监控服务（inotify）

1）安装inotify软件（检查是否安装）

yum install inotify-tools -y  --- 基于epel源（/etc/yum.repos.d/ 源文件保存目录）

备注：安装在NFS上

centos系统安装软件方式

1）yum安装软件方式

和rpm -ivh安装软件命令对比

yum安装软件可以解决软件之间依赖关系

rpm安装软件只能安装指定的软件，不会安装依赖包

使用yum安装软件：

01  具有yum仓库：存储所有软件的仓库

02  具有yum源文件：利用yum源文件  决定使用哪个yum仓库  进行软件下载

/etc/yum.d/   放置源文件

yum repolist --显示本台主机的所有可用yum源信息

2）编译安装软件

3）利用二进制包方式安装软件

安装采用绿色版本软件，进行安装

rpm -ql inotify-tools

[root@nfs01 ~]# rpm -ql inotify-tools

/usr/bin/inotifywait

/usr/bin/inotifywatch

/usr/lib64/libinotifytools.so.0

/usr/lib64/libinotifytools.so.0.4.1

/usr/share/doc/inotify-tools-3.14

/usr/share/doc/inotify-tools-3.14/AUTHORS

/usr/share/doc/inotify-tools-3.14/COPYING

/usr/share/doc/inotify-tools-3.14/ChangeLog

/usr/share/doc/inotify-tools-3.14/NEWS

/usr/share/doc/inotify-tools-3.14/README

/usr/share/man/man1/inotifywait.1.gz

/usr/share/man/man1/inotifywatch.1.gz

inotifywait    在被监控的文件或目录上等待特定文件系统事件（open close delete 等）发生 ，执行后处于阻塞状态，使用shell脚本中使用，通过此命令。实现对目录或文件的监控

inotifywatch   收集被监控的文件系统使用的统计数据，指文件系统时间发生的次数统计、统计文件数据信息变化的数量

[root@nfs01 ~]# ll /proc/sys/fs/inotify/

total 0

-rw-r--r-- 1 root root 0 May 20 10:36 max_queued_events

-rw-r--r-- 1 root root 0 May 20 10:36 max_user_instances

-rw-r--r-- 1 root root 0 May 20 10:36 max_user_watches

max_user_watches:        设置inotifywait或inotifywatch命令可以监视的文件数量（单进程）

8192

max_user_instances：设置每个用户可以运行的inotifywait或inotifywatch命令的进程数

128

max_queued_events:        设置inotify实例事件（event）队列可容纳的事件数量

16384

参数说明：

-m  表示始终保持事件的监听状态

-r   递归监控目录数据信息变化

-q   输出信息少（只打印事件信息）

-timefmt   指定时间输出格式

-format    打印使用指定的输出类似格式字符串：即实际监控输出的内容

-e         指定监听的指定的文件，如果省略，表示所有事件都进行监听

-m|--monitor     --- 始终保持监视状态，默认对目录只监视一次

-r               --- 表示进行递归监控（目录1/目录2/目录3/file）

-q|--quiet       --- 将没有信息不要输出在屏幕上显示 &>/dev/null

--timefmt <fmt>  --- 时间格式信息（date）

--format         --- 输出内容的格式信息

-e               --- 指定监控的事件信息（如果不指定此参数，表示所有事件都监控）

指定的事件：

创建1个文件的逻辑

[root@nfs01 ~]# inotifywait -m /data    ###   -m表示一直显示

Setting up watches.

Watches established.

/data/ CREATE 0603-1.txt

/data/ OPEN 0603-1.txt

/data/ ATTRIB 0603-1.txt

/data/ CLOSE_WRITE,CLOSE 0603-1.txt

删除1个文件的逻辑

/data/ OPEN,ISDIR

/data/ CLOSE_NOWRITE,CLOSE,ISDIR

/data/ DELETE 0603-1.txt

修改1个文件的逻辑

/data/ OPEN 0603.txt

/data/ MODIFY 0603.txt

/data/ CLOSE_WRITE,CLOSE 0603.txt

重命名一个文件，会触发什么事件？

2018-05-09 /data/file01 事件信息:MOVED_FROM

2018-05-09 /data/file10 事件信息:MOVED_TO

sed命令替换文件信息原理过程

2018-05-09 /data/file10 事件信息:OPEN

2018-05-09 /data/sedRSK9Gs 事件信息:CREATE

2018-05-09 /data/sedRSK9Gs 事件信息:OPEN

2018-05-09 /data/file10 事件信息:ACCESS

2018-05-09 /data/sedRSK9Gs 事件信息:MODIFY

2018-05-09 /data/sedRSK9Gs 事件信息:ATTRIB

2018-05-09 /data/sedRSK9Gs 事件信息:ATTRIB

2018-05-09 /data/file10 事件信息:CLOSE_NOWRITE,CLOSE

2018-05-09 /data/sedRSK9Gs 事件信息:CLOSE_WRITE,CLOSE

2018-05-09 /data/sedRSK9Gs 事件信息:MOVED_FROM

2018-05-09 /data/file10 事件信息:MOVED_TO

创建目录

/data/ CREATE,ISDIR 01

基本用法：用-mrq 参数

[root@nfs01 ~]# inotifywait -mrq /data

/data/ OPEN,ISDIR

/data/ CLOSE_NOWRITE,CLOSE,ISDIR

/data/01/ CREATE ceshi.txt

/data/01/ OPEN ceshi.txt

/data/01/ ATTRIB ceshi.txt

/data/01/ CLOSE_WRITE,CLOSE ceshi.txt

inotifywait -mrq /data/   --- 实现数据监控最重要的三个参数

inotifywait -mrq --timefmt "%F" --format "%T %w%f 事件信息:%e" /data/   ---详细监控命令

-e create     -e参数指定监控的事件  监控的目录

实时同步命令参数示意图

常用的时间参数参照表

第三个里程碑：编写inotify+rsync脚本

01 inotify使用方法

inotifywait -mrq
--format "%w%f" -e create,close_write,delete,moved_to /data/

02 rsync 使用方法

初步完善后脚本：

#!/bin/bash

inotifywait -mrq
--format "%w%f" -e create,close_write,delete,moved_to /data/|\

while read line

do

rsync -az --delete
/data/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

done

快捷命令

ctrl+z  暂停运行的进程

pkill  -f  "sh -x inotify.sh"

杀手说明：杀手三人组只能杀死运行中的进程，不能杀死暂停的进程

jobs   检查放入后台运行的进程信息

bg           后台运行进程放入前台

fg            前台运行进程放入后台

sh   inotify.sh   &  
脚本运行在后台

ps -ef | grep sh

让脚本程序在后台运行的方法

1         sh inotify.sh
&

2         nohup sh
inotify.sh &

思考 screen   实现脚本后台运行

<<inotify.sh>>

#!/bin/bash

inotifywait -mrq --format "%w%f" -e create,close_write,delete,moved_to /data/|\
while read line
do
rsync -az --delete /data/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
done

[root@nfs01 scripts]# sz inotify.sh   将指定文件发送到桌面

优化配置实践

sersync部分

2）sersync

第一个里程碑：安装sersync软件

https://github.com/wsgzao/sersync

cd /server/tools  工具放在这个目录

01  上传软件

<<sersync_installdir_64bit.zip>>

02  解压软件包

[root@nfs01 tools]# unzip sersync_installdir_64bit.zip

Archive:  sersync_installdir_64bit.zip

creating: sersync_installdir_64bit/

creating: sersync_installdir_64bit/sersync/

creating: sersync_installdir_64bit/sersync/bin/

inflating: sersync_installdir_64bit/sersync/bin/sersync

creating: sersync_installdir_64bit/sersync/conf/

inflating: sersync_installdir_64bit/sersync/conf/confxml.xml

creating: sersync_installdir_64bit/sersync/logs/

[root@nfs01 tools]# cd sersync_installdir_64bit

[root@nfs01 sersync_installdir_64bit]# ll

total 4

drwxr-xr-x 5 root root 4096 Dec 23  2012 sersync

[root@nfs01 sersync_installdir_64bit]# tree    --软件组成

.

└── sersync

├── bin

│   └── sersync

├── conf

│   └── confxml.xml

└── logs

4 directories, 2 files

03  将软件包移动到指定目录中

[root@nfs01 sersync_installdir_64bit]# mv sersync/ /usr/local/

第二个里程碑：编写软件配置文件（难点）

配置文件位置：

[root@nfs01 conf]# ll

total 4

-rw-r--r-- 1 root root 2214 Oct 26  2011 confxml.xml

[root@nfs01 conf]# pwd

/usr/local/sersync/conf

#01 编写配置文件前先进行备份

[root@nfs01 conf]# cp confxml.xml{,.bak}

[root@nfs01 conf]# ll

total 8

-rw-r--r-- 1 root root 2214 Oct 26  2011 confxml.xml

-rw-r--r-- 1 root root 2214 Jun  3 18:27 confxml.xml.bak

#02 编写配置文件

<filter start="false">

7         <exclude expression="(.*)\.svn"></exclude>

8         <exclude expression="(.*)\.gz"></exclude>

9         <exclude expression="^info/*"></exclude>

10         <exclude expression="^static/*"></exclude>

11     </filter>

说明：表示排除同步数据

<inotify>

13         <delete start="true"/>

14         <createFolder start="true"/>

15         <createFile start="false"/>

16         <closeWrite start="true"/>

17         <moveFrom start="true"/>

18         <moveTo start="true"/>

19         <attrib start="false"/>

20         <modify start="false"/>

21     </inotify>

说明：指定监控的事件信息

23     <sersync>

24         <localpath watch="/opt/tongbu">       --监控的目录

25             <remote ip="127.0.0.1" name="tongbu1"/>   --推送的远程主机和目录

26             <!--<remote ip="192.168.8.39" name="tongbu"/>-->   --注释信息

27             <!--<remote ip="192.168.8.40" name="tongbu"/>-->

28         </localpath>

说明：定义监控的目录信息   指定推送的备份服务器IP地址与目录信息

<rsync>

30             <commonParams params="-artuz"/>

31             <auth start="false" users="root" passwordfile="/etc/rsync.pas"/>

32             <userDefinedPort start="false" port="874"/><!-- port=874 -->

33             <timeout start="false" time="100"/><!-- timeout=100 -->

34             <ssh start="false"/>

35         </rsync>

说明rsync部分：定义rsync数据推送时的参数信息

第三个里程碑：启动sersync软件服务

01   先给与执行权限：

[root@nfs01 bin]# pwd

/usr/local/sersync/bin

[root@nfs01 bin]# chmod +x sersync

[root@nfs01 bin]# ll

total 1768

-rwxr-xr-x 1 root root 1810128 Oct 26  2011 sersync

02  查看帮助信息：

[root@nfs01 bin]# ./sersync -h

set the system param

execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches

execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events

parse the command param

_______________________________________________________

参数-d:启用守护进程模式

参数-r:在监控前，将监控目录与远程主机用rsync命令推送一遍

c参数-n: 指定开启守护线程的数量，默认为10个

参数-o:指定配置文件，默认使用confxml.xml文件

参数-m:单独启用其他模块，使用 -m refreshCDN 开启刷新CDN模块

参数-m:单独启用其他模块，使用 -m socket 开启socket模块

参数-m:单独启用其他模块，使用 -m http 开启http模块

不加-m参数，则默认执行同步程序

________________________________________________________________

03  正式启动

[root@nfs01 bin]# ./sersync -dro /usr/local/sersync/conf/confxml.xml

set the system param

execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches

execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events

parse the command param

option: -d         run as a daemon

option: -r         rsync all the local files to the remote servers before the sersync work

option: -o         config xml name：  /usr/local/sersync/conf/confxml.xml

daemon thread num: 10

parse xml config file

host ip : localhost        host port: 8008

daemon start，sersync run behind the console

use rsync password-file :

user is        rsync_backup

passwordfile is         /etc/rsync.password

config xml parse success

please set /etc/rsyncd.conf max connections=0 Manually

sersync working thread 12  = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads)

Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads)

please according your cpu ，use -n param to adjust the cpu rate

------------------------------------------

rsync the directory recursivly to the remote servers once

working please wait...

execute command: cd /data && rsync -az -R --delete ./ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password >/dev/null 2>&1

run the sersync:

watch path is: /data

至此可以进行测试