Rsync+Sersync数据实时同步(双向)

服务介绍

一、为什么要用rsync+sersync架构?

  • 1、sersync是基于inotify开发的,类似于inotify-tools的工具

  • 2、sersync可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或者某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的文件或者目录

  • 3因为服务异常导致的同步失败有记录,便于恢复,确保高可用!

二、rsync+inotify-tools与rsync+sersync架构的区别?

  • 1、rsync+inotify-tools

a、inotify只能记录下被监听的目录发生了变化(增,删,改)并没有把具体是哪个文件或者哪个目录发生了变化记录下来;

b、rsync在同步的时候,并不知道具体是哪个文件或目录发生了变化,每次都是对整个目录进行同步,当数据量很大时,整个目录同步非常耗时(rsync要对整个目录遍历查找对比文件),因此效率很低

  • 2、rsync+sersync

a、sersync可以记录被监听目录中发生变化的(增,删,改)具体某个文件或目录的名字;

b、rsync在同步时,只同步发生变化的文件或目录(每次发生变化的数据相对整个同步目录数据来说很小,rsync在遍历查找对比文件时,速度很快),因此效率很高。

同步过程:

1. 在同步服务器上开启sersync服务,sersync负责监控配置路径中的文件系统事件变化;

2. 调用rsync命令把更新的文件同步到目标服务器;

3. 需要在主服务器配置sersync,在同步目标服务器配置rsync server(注意:是rsync服务)

同步过程和原理:

  • 1. 用户实时的往sersync服务器上写入更新文件数据;

  • 2. 此时需要在同步主服务器上配置sersync服务;

  • -3. 在另一台服务器开启rsync守护进程服务,以同步拉取来自sersync服务器上的数据;

通过rsync的守护进程服务后可以发现,实际上sersync就是监控本地的数据写入或更新事件;然后,在调用rsync客户端的命令,将写入或更新事件对应的文件通过rsync推送到目标服务器

节点声明

#双向备份
192.168.0.50(数据源节点、备份节点)
192.168.0.51(数据源节点、备份节点)

编译环境配置

本教程是基于CentOs 7.5系统配置的,为了适合不同环境配置的节点安装,本教程将采用编译安装的方式

[root@cosmo-0-50 bin]# cat /etc/redhat-release
CentOS Linux release 7.5.1804 (Core) # 环境检查 #查看gcc【编译器】版本
gcc -v
#查看perl【解释器】版本
perl -v # 提示无该命令则需要安装,如果有版本信息则直接执行下步操作
#安装编译器gcc: #第一步:上传gcc_rpm.tar.gz到/usr/src 下
#第二步:解压缩到/usr/local
cd /usr/src
tar -zxvf gcc_rpm.tar.gz -C /usr/local #第三步:rpm安装
cd /usr/local/gcc_rpm
rpm -Uvh *.rpm --nodeps --force #第四步:版本查看,确认是否安装成功
gcc -v 和 g++ -v #安装解释器perl[http://search.cpan.org/CPAN/authors/id/S/SH/SHAY]: #第一步:上传perl-5.26.1.tar.gz到/usr/src 下
#第二步:解压缩到 /usr/local/perl
cd /usr/src
tar -zxvf perl-5.26.1.tar.gz -C /usr/local #第三步:进入文件目录,设置config
cd /opt/perl-5.26.1/
./Configure -des -Dprefix=/usr/local/perl #第四步:编译并检测
make && make test
【出现All tests successful:编译及检测成功】 #第五步:安装
make install #第六步:验证
perl -v

安装Rsync

# 将rsync.tar包上传至安装节点/opt/cosmo/com/rsync目录下
[root@cosmo-0-50 rsync]# ls
rsync-3.0.9.tar.gz #然后解压
tar -zxvf rsync-3.0.9.tar.gz # 编译
cd rsync-3.0.9
./configure --prefix=/opt/cosmo/rsync
make && make install && echo $? # 验证
echo $?的值为0代表执行成功

编辑Rsync配置文件

192.168.0.50

[root@cosmo-0-50 bin]# cat /opt/cosmo/com/rsync/bin/rsyncd.conf
uid = root
gid = root
address =192.168.0.50
port =873
hosts allow =192.168.0.0/24
use chroot = yes
max connections =10
pid file =/var/run/rsyncd.pid
lock file =/var/run/rsync.lock
log file =/var/log/rsyncd.log
motd file =/etc/rsyncd.motd [wwwroot]
path =/opt/cosmo/test/
comment = used for web-data root
read only = false
list = yes
auth users = rsyncuser
secrets file =/etc/rsync.passwd

配置文件解析

[root@cosmo-0-50 bin]# cat /opt/cosmo/com/rsync/bin/rsyncd.conf
uid = root #运行进程的身份
gid = root #运行进程的组
address =192.168.0.50 #监听IP
port =873 #监听端口
hosts allow =192.168.0.0/24 #允许同步客户端的IP地址,可以是网段,或者用*表示所有 192.168.1.0/24或192.168.1.0/255.255.255.0
use chroot = yes #是否囚牢,锁定家目录,rsync被黑之后,黑客无法再rsync运行的家目录之外创建文件,选项设置为yes
max connections =10 #最大连接数
pid file =/var/run/rsyncd.pid #进程PID,自动生成
lock file =/var/run/rsync.lock #指max connectios参数的锁文件
log file =/var/log/rsyncd.log #日志文件位置 [wwwroot] #同步模块名称
path =/opt/cosmo/test/ #同步文件路径
comment = used for web-data root #模块描述
read only = false #设置服务端文件读写权限
list = yes #是否允许查看模块信息
auth users = rsyncuser #备份的用户,和系统用户无关
secrets file =/etc/rsync.passwd #存放用户的密码文件,格式是 用户名:密码

配置密码文件

[root@cosmo-0-50 bin]# cat /opt/cosmo/com/rsync/bin/rsync.passwd
rsyncuser:password123
#用户名:密码 [root@cosmo-0-50 bin]#chmod 600 /etc/rsync.passwd
#目录权限必须是700或者600,否则的话身份验证会失效,设置rsync user的时候 #创建sersync密码文件
[root@cosmo-0-50 bin]# cat /opt/cosmo/com/rsync/bin/rsync2.passwd
password123

启动rsync验证

#启动命令
[root@cosmo-0-50 bin]#/opt/cosmo/rsync/bin/rsync --daemon --config=/opt/cosmo/rsync/bin/rsyncd.conf # 查看进程
ps -e|grep rsync #查看端口(此命令没有的话需安装net-tools)
netstat -antup|grep 873 # 同步测试
rsync -avz /opt/cosmo/test/ root@192.168.0.51:/opt/cosmo/test/ # 设置开机自启动
echo "/opt/cosmo/rsync/bin/rsync --daemon --config=/opt/cosmo/rsync/bin/rsyncd" >> /etc/rc.local
  • 51节点rsync安装和50步骤一致

安装sersync服务

# 将sersync的软件包上传至安装节点/opt/cosmo/com下
# 解压
tar xvf sersync2.5.4_51bit_binary_stable_final.tar.gz # 修改包名
[root@cosmo-0-51 sersyncdir]# mv GNU-Linux-x86 sersyncdir
[root@cosmo-0-51 sersyncdir]# cd sersyncdir
[root@cosmo-0-51 sersyncdir]# ls
sersync [root@cosmo-0-51 sersyncdir]# cd sersync/
[root@cosmo-0-51 sersync]# ls
confxml.xml sersync2

配置sersync服务

# [root@cosmo-0-50 sersync]# cat confxml.xml 

<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
<host hostip="localhost" port="8008"></host>
<debug start="false"/>
<fileSystem xfs="false"/>
<filter start="false">
<exclude expression="(.*)\.svn"></exclude>
<exclude expression="(.*)\.gz"></exclude>
<exclude expression="^info/*"></exclude>
<exclude expression="^static/*"></exclude>
</filter>
<inotify>
<delete start="true"/>
<createFolder start="true"/>
<createFile start="false"/>
<closeWrite start="true"/>
<moveFrom start="true"/>
<moveTo start="true"/>
<attrib start="false"/>
<modify start="false"/>
</inotify> <sersync>
<localpath watch="/opt/cosmo/test">
<remote ip="192.168.0.51" name="wwwroot"/>
<!--<remote ip="192.168.8.39" name="tongbu"/>-->
<!--<remote ip="192.168.8.40" name="tongbu"/>-->
</localpath>
<rsync>
<commonParams params="-artuz"/>
<auth start="true" users="rsyncuser" passwordfile="/opt/cosmo/com/rsync/bin/rsync2.passwd"/>
<userDefinedPort start="false" port="874"/><!-- port=874 -->
<timeout start="false" time="100"/><!-- timeout=100 -->
<ssh start="false"/>
</rsync>
<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
<crontab start="false" schedule="600"><!--600mins-->
<crontabfilter start="false">
<exclude expression="*.php"></exclude>
<exclude expression="info/*"></exclude>
</crontabfilter>
</crontab>
<plugin start="false" name="command"/>
</sersync> <plugin name="command">
<param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->
<filter start="false">
<include expression="(.*)\.php"/>
<include expression="(.*)\.sh"/>
</filter>
</plugin> <plugin name="socket">
<localpath watch="/opt/tongbu">
<deshost ip="192.168.138.20" port="8009"/>
</localpath>
</plugin>
<plugin name="refreshCDN">
<localpath watch="/data0/htdocs/cms.xoyo.com/site/">
<cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
<sendurl base="http://pic.xoyo.com/cms"/>
<regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
</localpath>
</plugin>
</head>

sersync配置文件解析

# 修改24--28行
<sersync>
<localpath watch="/opt/cosmo/test"> #本地同步目录
<remote ip="192.168.0.51" name="wwwroot"/> #rsync模块名称 # 修改31--34行,认证部分【rsync密码认证】
<rsync>
<commonParams params="-artuz"/>
<auth start="true" users="rsyncuser" #修改用户名 passwordfile="/opt/cosmo/com/rsync/bin/rsync2.passwd"/> # 修改密码文件路径
<userDefinedPort start="false" port="874"/><!-- port=874 -->
<timeout start="false" time="100"/><!-- timeout=100 -->
<ssh start="false"/> </rsync>
<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once--> # **错误日志路径,用于记录和恢复同步失败的文件**

启动sersync服务

# 启动sersync服务
[root@cosmo-0-50 sersync]# /opt/cosmo/com/sersyncdir/sersync/sersync2 -r -d -o /opt/cosmo/com/sersyncdir/sersync/confxml.xml
  • 输出内容如下:

51节点的配置方法和50一致

测试同步

#在50节点的/opt/cosmo/test/进行文件修改或删除,在51节点进行观察是否同步成功
watch ls -l

作者Rich七哥
原文地址https://www.cnblogs.com/fusheng11711/p/11751930.html

Rsync+Sersync数据实时同步(双向)的更多相关文章

  1. (转)Linux系统sersync数据实时同步

    Linux系统sersync数据实时同步 原文:http://blog.csdn.net/mingongge/article/details/52985259 前面介绍了以守护进程的方式传输或同步数据 ...

  2. centos6.6配置rsync+sersync实现实时同步分布式多客户端分发同步

    1.sersync项目: sersync项目利用inotify与rsync技术实现对服务器数据实时同步到解决方案,其中inotify用于监控sersync所在服务器上文件系统的事件变化,rsync是目 ...

  3. Linux之sersync数据实时同步

    sersync其实是利用inotify和rsync两种软件技术来实现数据实时同步功能的,inotify是用于监听sersync所在服务器上的文件变化,结合rsync软件来进行数据同步,将数据实时同步给 ...

  4. centos 配置rsync+inotify数据实时同步2

    一.Rsync服务简介 1. 什么是Rsync 它是一个远程数据同步工具,它在同步文件的同时,可通过LAN/WAN快速同步多台主机间的文件.Rsync使用所谓的“rsync算法”来使本地和远程两个主机 ...

  5. Rsync+sersync文件实时同步

    一.为什么要用Rsync+sersync架构1.sersync是基于Inotify开发的,类似于Inotify-tools的工具2.sersync可以记录下被监听目录中发生变化的(包括增加.删除.修改 ...

  6. Rsync+sersync实现实时同步

    介绍: sersync主要用于服务器同步,web镜像等功能.基于boost1.43.0,inotify api,rsync command.开发.目前使用的比较多的同步解决方案是inotify-too ...

  7. rsync+sersync多线程实时同步

    一.sersync优点 1)使用c++编写,对linux系统文件产生的临时文件和重复文件操作会进行过滤,在结合rsync同步的时候,会减少运行时消耗的本地及网络资源,因此速度更快. 2)相比较inot ...

  8. inotify和rsync实现数据实时同步

    数据的实时同步 实现实时同步 要利用监控服务(inotify),监控同步数据服务器目录中信息的变化 发现目录中数据产生变化,就利用rsync服务推送到备份服务器上 实现实时同步的方法 ino ...

  9. rsync + inotify 数据实时同步

    一.rsync介绍 rsync英文全称为Remote synchronization,从软件的名称就可以看出来,Rsync具有可是本地和远程两台主机之间的数据快速复制同步镜像.远程备份的功能,这个功能 ...

随机推荐

  1. 021.Python的内置函数

    内置函数 1 abs 绝对值函数 res = abs(-9.9867) print(res) 执行 [root@node10 python]# python3 test.py 9.9867 2 rou ...

  2. component: resolve => require(['../pages/home.vue'], resolve)-装载

    import Vue from 'vue'import VueRouter from 'vue-router'// "@"相当于".."import Detai ...

  3. 云计算OpenStack共享组件---Memcache缓存系统(3)

    一.缓存系统 1.静态web页面: (1)在静态Web程序中,客户端使用Web浏览器(IE.FireFox等)经过网络(Network)连接到服务器上,使用HTTP协议发起一个请求(Request), ...

  4. 基于Centos 7.4 搭建ELK整合SpringBoot日志收集

    基于Centos 7.4搭建es7.12.0+logstash-7.12.0+kibana-7.12.0(ELK)整合SpringBoot日志收集 注:Skywalking和logstash可共用一个 ...

  5. linux动态链接库和静态链接库

    Linux下静态链接库与动态链接库的区别 引言 通常情况下,对函数库的链接是放在编译时期(compile time)完成的.所有相关的对象文件 (object file)与牵涉到的函数库(librar ...

  6. minikube与kubectl版本不一致问题

    在使用minikube学习的时候,会出现你在mac上安装的minikube默认是最新版本,但是实际情况是需要安装低一些版本.可以按照k8s官方文档安装的时候指定不同安装版本,如果很慢或者无法访问直接走 ...

  7. react-redux 源码浅析

    react-redux 版本号 7.2.3 react-redux 依赖的库: "dependencies": { "@babel/runtime": &quo ...

  8. 十二、.net core(.NET 6)添加通用的访问webapi的方法(包括HttpClient和HttpWebRequest)

    开发通用的访问webapi方法. 在common工具文件夹下,新建一个类库项目:Wsk.Core.WebHelper,并引用Package包项目,然后新建一个类HttpClientHelper,用于使 ...

  9. 构建编译TVM方法

    构建编译TVM方法 本文提供如何在各种系统上构建和安装TVM包的说明.它包括两个步骤: 1.     首先从C代码构建共享库( libtvm.so for linux, libtvm.dylib fo ...

  10. 构建可扩展的GPU加速应用程序(NVIDIA HPC)

    构建可扩展的GPU加速应用程序(NVIDIA HPC) 研究人员.科学家和开发人员正在通过加速NVIDIA GPU上的高性能计算(HPC)应用来推进科学发展,NVIDIA GPU具有处理当今最具挑战性 ...