Linux实时同步
实时同步
一、概述
背景:
- 以前，通过rsync+定时任务实现对文件的定时备份/同步
- 现在，对于NFS来说，需要进行实时同步
选择：
- 分布式存储
- 使用实时同步服务+NFS
- 选择公有云对象存储OSS，七牛云存储，腾讯存储COS
- NFS+实现同步工具
- inotify：是个命令，监控指定目录是否发生变化（有缺陷，不推荐使用）
- sersync：国产开源，内置inotify+rsync命令
- lsyncd
二、Sersync原理
三、Sersync同步架构
四、上手指南
1.rsync服务准备
1.1 rsync服务端
[root@backup ~]# cat /etc/rsyncd.conf
[nfsbackup]
comment = "nfs备份文件夹"
path = /nfsbackup
[root@backup ~]# mkdir -p /nfsbackup
[root@backup ~]# chown -R rsync.rsync /nfsbackup/
[root@backup ~]# ll -d /nfsbackup/
drwxr-xr-x 2 rsync rsync 48 Jan 13 11:19 /nfsbackup/
1.2 rsync客户端
#客户端测试，客户端记得创建密码文件并授予权限600
[root@nfs ~]# rsync -az /etc/hostname rsync_backup@172.16.1.41::nfsbackup --password-file=/etc/rsync.client
#服务端查看
[root@backup ~]# ll /nfsbackup/
total 4
-rw-r--r-- 1 rsync rsync 0 Jan 13 10:39 1.txt
-rw-r--r-- 1 rsync rsync 0 Jan 13 10:41 2.txt
-rw-r--r-- 1 rsync rsync 4 Jan 9 11:11 hostname
2.Sersync部署
2.1 部署
#部署在nfs上，因为要监控他的目录
#sersync软件包链接：https://pan.baidu.com/s/1avBKUdGMP2TKqw2GOPsSsw 提取码：hi4x
#目录规划：
命令放在：/app/tools/sersync/bin/
配置文件放在:/app/tools/sersync/conf/
#上传软件包到家目录
#查看上传的软件包
[root@nfs ~]# ll
total 712
-rw-r--r-- 1 root root 727290 Jan 13 09:14 sersync2.5.4_64bit_binary_stable_final.tar.gz
#解压上传的软件包
[root@nfs ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@nfs ~]# ll
total 712
drwxr-xr-x 2 root root 41 Oct 26 2011 GNU-Linux-x86
-rw-r--r-- 1 root root 727290 Jan 13 09:14 sersync2.5.4_64bit_binary_stable_final.tar.gz
#创建目录
[root@nfs ~]# mkdir -p /app/tools/sersync/{bin,conf}
#移动命令和配置文件到规划好的目录里
[root@nfs ~]# mv GNU-Linux-x86/sersync2 /app/tools/sersync/bin
[root@nfs ~]# mv GNU-Linux-x86/confxml.xml /app/tools/sersync/conf/
#查看是否移动成功
[root@nfs ~]# tree -F /app/tools/
/app/tools/
└── sersync/
├── bin/
│ └── sersync2*
└── conf/
├── confxml.xml*
└── confxml.xml.bak*
3 directories, 3 files
2.2 启动服务
#给命令创建软链接
[root@nfs ~]# ln -s /app/tools/sersync/bin/sersync2 /bin/
#查看命令的参数
[root@nfs ~]# /app/tools/sersync/bin/sersync2 -h
set the system param
execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
_______________________________________________________
参数-d:启用守护进程模式
参数-r:在监控前，将监控目录与远程主机用rsync命令推送一遍
参数-n: 指定开启守护线程的数量，默认为10个
参数-o:指定配置文件，默认使用confxml.xml文件
参数-m:单独启用其他模块，使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块，使用 -m socket 开启socket模块
参数-m:单独启用其他模块，使用 -m http 开启http模块
不加-m参数，则默认执行同步程序
________________________________________________________________
#启动进程
[root@nfs ~]# sersync2 -rdo /app/tools/sersync/conf/confxml.xml
#查看进程是否启动
[root@nfs ~]# ps -ef |grep sersync
root 1468 1 0 11:14 ? 00:00:00 sersync2 -rdo /app/tools/sersync/conf/confxml.xml
root 1829 1743 0 11:28 pts/0 00:00:00 grep --color=auto sersync
#开机自启，记得给执行权限
[root@nfs ~]# ll -d /etc/rc.d/rc.local
-rw-r--r--. 1 root root 473 Oct 2 2020 /etc/rc.d/rc.local
[root@nfs ~]# chmod +x /etc/rc.d/rc.local
注意事项：
同一个配置文件只能存在1个进程，否则会出现异常
如果要监控多个目录，复制多个配置文件，启动多个服务
2.3 关闭服务
[root@nfs ~]# ps -ef |grep sersync
root 1468 1 0 11:14 ? 00:00:00 sersync2 -rdo /app/tools/sersync/conf/confxml.xml
root 1829 1743 0 11:28 pts/0 00:00:00 grep --color=auto sersync
[root@nfs ~]# kill 1468 #也可以执行 pkill sersync
2.4 配置文件详解
[root@nfs ~]# cat /app/tools/sersync/conf/confxml.xml
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
<host hostip="localhost" port="8008"></host>
<debug start="false"/>
<fileSystem xfs="false"/>
#通过的时候排除什么，默认关闭。false关闭，true开启
<filter start="false">
<exclude expression="(.*)\.svn"></exclude>
<exclude expression="(.*)\.gz"></exclude>
<exclude expression="^info/*"></exclude>
<exclude expression="^static/*"></exclude>
</filter>
#配置inotify监控规则，通过事件
<inotify>
<delete start="true"/> #监控是否有删除
<createFolder start="true"/> #监控是否有创建目录
<createFile start="false"/> #监控是否创建文件
<closeWrite start="true"/> #是否有closeWrite事件，修改后的退出（文件被修改）
<moveFrom start="true"/> #移动，改名
<moveTo start="true"/> #移动，改名
<attrib start="false"/> #文件属性变化
<modify start="false"/> #文件内容修改
</inotify>
<sersync>
#监控的目录变化
<localpath watch="/opt/tongbu"> #监控哪些目录，一般为存储共享目录
<remote ip="127.0.0.1" name="tongbu1"/> #rsync服务端的ip地址和rsync服务端的模块名称
<!--<remote ip="192.168.8.39" name="tongbu"/>-->
<!--<remote ip="192.168.8.40" name="tongbu"/>-->
</localpath>
#配置rsync客户端的命令
<rsync>
<commonParams params="-artuz"/> #命令行选项，-az 默认加--delete
<auth start="false" users="root" passwordfile="/etc/rsync.pas"/>
#auth start 是否开启免密模式，一般为yes，认证用户，客户端密码文件
<userDefinedPort start="false" port="874"/><!-- port=874 --> #rsync服务端口，这里关闭，默认873
<timeout start="false" time="100"/><!-- timeout=100 --> #超时时间
<ssh start="false"/>
</rsync>
#日志
<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
<crontab start="false" schedule="600"><!--600mins-->
<crontabfilter start="false">
<exclude expression="*.php"></exclude>
<exclude expression="info/*"></exclude>
</crontabfilter>
</crontab>
<plugin start="false" name="command"/>
</sersync>
<plugin name="command">
<param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->
<filter start="false">
<include expression="(.*)\.php"/>
<include expression="(.*)\.sh"/>
</filter>
</plugin>
<plugin name="socket">
<localpath watch="/opt/tongbu">
<deshost ip="192.168.138.20" port="8009"/>
</localpath>
</plugin>
<plugin name="refreshCDN">
<localpath watch="/data0/htdocs/cms.xoyo.com/site/">
<cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
<sendurl base="http://pic.xoyo.com/cms"/>
<regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
</localpath>
</plugin>
</head>
3.NFS配置
#服务端
[root@nfs ~]# cat /etc/exports
/data/ 172.16.1.0/24(rw)
#客户端
[root@web01 ~]# mount -t nfs 172.16.1.31:/data/ /upload/
Linux实时同步的更多相关文章
- linux 实时同步inotify
#实时同步inotify 1.inotify简介inotify是一种强大的,细腻度的,异步的文件系统事件监控机制,linux内核从2.6.13起,加入了inotify支持,通过INOTIFY可以监控文 ...
- Linux下Rsync+sersync实现数据实时同步
inotify 的同步备份机制有着缺点,于是看了sersync同步,弥补了rsync的缺点.以下转自:http://www.osyunwei.com/archives/7447.html 前言: 一. ...
- Linux 下配置多机实时同步
没钱的时候,用此方案做网站内容的负载均衡.异地备份,经济实惠又方便(仅针对网站文件做实时同步,如果数据库,则考虑mysql的多主架构) 一.机器配置及机房IP A机,位于杭州,IP: 115.33.2 ...
- linux系统中rsync+inotify实现服务器之间文件实时同步
最近需要对服务器上的文件实施动态备份,我又不想每次都手动来进行备份,在网上找了挺多资料,发现使用rsync就可以实现,如果想要实现实时同步,还可以使用rsync+inotify组合,本文就是以组合方式 ...
- linux下两台服务器文件实时同步方案设计和实现
inux下两台服务器文件实时同步方案设计和实现 假设有如下需求: 假设两个服务器: 192.168.0.1 源服务器 有目录 /opt/test/ 192.168.0.2 目标服务器 有目录 /o ...
- linux rsync实时同步
rsync同步 同步与复制的差异:复制:完全拷贝源到目标同步:增量拷贝,只传输变化过的数据 同步操作:remote sync 远程同步支持本地复制,或与其他ssh,rsync主机同步.官方网站:htt ...
- Linux下Rsync+Inotify-tools实现数据实时同步
Linux下Rsync+Inotify-tools实现数据实时同步 注意:下面的三个案例都是rsync 每次都是全量的同步(这就坑爹了),而且 file列表是循环形式触发rsync ,等于有10个文件 ...
- Linux服务器间文件实时同步的实现
使用场景 现有服务器A和服务器B,如果服务器A的指定目录(例如 /home/paul/rsync/ )中的内容发生变更(增删改和属性变更),实时将这些变更同步到服务器B的目标目录中(例如 /home/ ...
- linux下两台服务器文件实时同步方案实现-乾颐堂
假设有如下需求: 假设两个服务器: 192.168.0.1 源服务器 有目录 /opt/test/ 192.168.0.2 目标服务器 有目录 /opt/bak/test/ 实现的目的就是保持这两 ...
- linux设置rsync+inotify实时同步文件
linux设置rsync+inotify实时同步文件 应用场景: 同步接收方:test01 接收目录:/opt/software/test/a/ 同步发起方:test02 同步目录:/opt/so ...
随机推荐
- 关于图计算&图学习的基础知识概览：前置知识点学习（Paddle Graph Learning (PGL)）
关于图计算&图学习的基础知识概览:前置知识点学习(Paddle Graph Learning (PGL)) 欢迎fork本项目原始链接:关于图计算&图学习的基础知识概览:前置知识点学习 ...
- 链表实现-回文palindrome判断
1.数字回文判断(逆转,分离未位,砍掉个位,保存原来) s = s * 10 + a%10 a = a/10 2.字符串判断回文 package main //思路: 开发一个栈来来存放链表的上半段f ...
- 2018 Web开发人员学习路线图
以下 Web 开发人员学习路线图是来自 Github developer-roadmap 项目,目前已经有繁体版翻译 developer-roadmap-chinese. 主要有三个方向,分别为前端开 ...
- AFL源码分析（一）
AFL源码分析(一) 文章首发于:ChaMd5公众号 https://mp.weixin.qq.com/s/E-D_M25xv5gIpRa6k8xOvw a.alf-gcc.c 1.find_as 这 ...
- jquery组件解决option选项框的样式自定义方案
记录一下今天工作中遇到的一个需求和自行找到的解决办法 需求: 在原始的select选项框中的增加一个标识.(我想增加一个具有样式的span元素,试了半天在option里无法添加span,更别说具有样式 ...
- 关于 python3 中的多线程的问题及理解
什么是 join() ? join() 有什么用? 答:join() 有一个参数是timeout 设置超时,这里的超时都是针对主线程的,当子线程设置为 join(1) 后,则主线程会等待这个线程 1 ...
- c++详细学习——引用
1 引用(reference) 引用是一个变量的别名,故引用在申明的时候必须给初始值,从此他们就建立了"不能离婚的婚姻关系",改变引用就会改变被引用的原变量 1 int main( ...
- 快速创建Jenkins Job
Jenkins Job 类型 **1.Freestyle project ** 这个是jenkins的基础功能,可以用它来执行各种构建任务,他只能构建在一个电脑上,如果没有太多的需求,这个job基本够 ...
- vue3 第二天vue响应式原理以及ref和reactive区别
前言: 前天我们学了 ref 和 reactive ,提到了响应式数据和 Proxy ,那我们今天就来了解一下,vue3 的响应式 在了解之前,先复习一下之前 vue2 的响应式原理 vue2 的响应 ...
- 复现MySQL的索引选择失误以及通过OPTIMIZER_TRACE分析过程
复现MySQL的索引选择失误以及通过OPTIMIZER_TRACE分析过程 验证环境:MySQL 5.7.39 windows-pc 一.构造数据(生成150万数据) 构建一张账户表,带有一级部门id ...