1. sersync介绍

sersync功能：
- 实时同步；
sersync组成：
- sersync==inotify+rsync
- inotify: 监控某个目录下面"文件/目录"是否发生变化;
sersync工作原理：
- 由inotify服务监控目录，当目录/文件发生变化时触发rsync服务进行推送，完成数据同步；

2. 部署流程

参照https://www.cnblogs.com/zoe233/p/12035383.html的部署过程。
注意：部署过程中将inotify监听服务和rsync同步数据的过程的脚本/server/scripts/inotifywait_nfs_to_backup.sh

通过/etc/init.d/syncd脚本加入了chkconfig开机自启动服务，可以通过/etc/init.dsyncd [start|stop]启动或关闭服务。

为了避免冲突，将相关所有服务关闭：

chkconfig syncd off

/etc/init.d/syncd stop

2.1 安装sersync

上传sersync安装包到NFS服务端指定目录下。

一般使用rz命令上传，由于secureCRT的transfer命令在mac上出现问题，使用scp命令传输文件。

scp `pwd`/sersync_installdir_64bit.zip root@192.168.0.31:/application

在nfs-31主机上进行操作：

# 创建目录

[root@nfs-31 /]# mkdir /application -p

# 等待rz或scp上传的sersync安装压缩包

[root@nfs-31 application]# ls

sersync_installdir_64bit.zip

# uzip解压zip文件

[root@nfs-31 application]# unzip ./sersync_installdir_64bit.zip

Archive:  ./sersync_installdir_64bit.zip

   creating: sersync_installdir_64bit/

   creating: sersync_installdir_64bit/sersync/

   creating: sersync_installdir_64bit/sersync/bin/

  inflating: sersync_installdir_64bit/sersync/bin/sersync

   creating: sersync_installdir_64bit/sersync/conf/

  inflating: sersync_installdir_64bit/sersync/conf/confxml.xml

   creating: sersync_installdir_64bit/sersync/logs/

# 将sersync目录移动到/application下

[root@nfs-31 application]# ls

sersync_installdir_64bit  sersync_installdir_64bit.zip

[root@nfs-31 application]# cd sersync_installdir_64bit

[root@nfs-31 sersync_installdir_64bit]# ls

sersync

[root@nfs-31 sersync_installdir_64bit]# mv ./sersync/ /application/

[root@nfs-31 sersync_installdir_64bit]# ls

[root@nfs-31 sersync_installdir_64bit]# cd ..

[root@nfs-31 application]# ls

sersync  sersync_installdir_64bit  sersync_installdir_64bit.zip

2.2 为/application/sersync/bin下的命令增加执行权限

[root@nfs-31 bin]# ll /application/sersync/bin

total 1768

-rw-r--r-- 1 root root 1810128 Oct 26  2011 sersync

[root@nfs-31 bin]# chmod +x /application/sersync/bin/sersync

2.3 将sersync命令创建软链接到/sbin目录下

[root@nfs-31 sersync]# ln -s /application/sersync/bin/sersync /sbin/

[root@nfs-31 sbin]# ll /sbin/sersync

lrwxrwxrwx 1 root root 32 Dec 13 19:04 /sbin/sersync -> /application/sersync/bin/sersync

2.4 修改sersync配置文件（/application/sersync/conf/confxml.xml）

配置sersync之前，先单独使用rsync服务推送一次，确定rsync服务正常以及各项参数的准确。

[root@nfs-31 conf]# cat confxml.xml -n

     1  <?xml version="1.0" encoding="ISO-8859-1"?>

     2  <head version="2.5">

     3      <host hostip="localhost" port=""></host>

     4      <debug start="false"/>

     5      <fileSystem xfs="false"/>

     6      <filter start="false">  # 过滤功能。默认是false，改成true即可启动

     7          <exclude expression="(.*)\.svn"></exclude>

     8          <exclude expression="(.*)\.gz"></exclude>

     9          <exclude expression="^info/*"></exclude>

    10          <exclude expression="^static/*"></exclude>

    11      </filter>

    12      <inotify>  # 监控的事件的属性，和inotify -e 参数类似；通过修改true or false，指定事件类型

    13          <delete start="true"/>

    14          <createFolder start="true"/>

    15          <createFile start="false"/>

    16          <closeWrite start="true"/>

    17          <moveFrom start="true"/>

    18          <moveTo start="true"/>

    19          <attrib start="false"/>

    20          <modify start="false"/>

    21      </inotify>

    22

    23      <sersync>  # 同步的部分

    24          <localpath watch="/opt/tongbu">   # 同步的源，目录

    25              <remote ip="127.0.0.1" name="tongbu1"/>   # ip是推送的机器的ip，name是rsync推送指定的模块

    26              <!--<remote ip="192.168.8.39" name="tongbu"/>-->

    27              <!--<remote ip="192.168.8.40" name="tongbu"/>-->

    28          </localpath>

    29          <rsync>  # rsync命令的各个参数

    30              <commonParams params="-artuz"/>  # 参数选项

    31              <auth start="false" users="root" passwordfile="/etc/rsync.pas"/>   # 连接用户和用户的指定密码文件

    32              <userDefinedPort start="false" port=""/><!-- port=874 -->  # 是否指定端口，false使用默认端口873

    33              <timeout start="false" time=""/><!-- timeout=100 -->  # 超时设置

    34              <ssh start="false"/>

    35          </rsync>

    36          <failLog path="/tmp/rsync_fail_log.sh" timeToExecute=""/> # 失败日志
<!--default every 60mins execute once-->

    37          <crontab start="false" schedule=""><!--600mins-->  # 每600分钟重传

    38              <crontabfilter start="false">  # 定时任务排除

    39                  <exclude expression="*.php"></exclude>

    40                  <exclude expression="info/*"></exclude>

    41              </crontabfilter>

    42          </crontab>

    43          <plugin start="false" name="command"/>

    44      </sersync>

    45

    46      <plugin name="command">

    47          <param prefix="/bin/sh" suffix="" ignoreError="true"/>  <!--prefix /opt/tongbu/mmm.sh suffix-->

    48          <filter start="false">

    49              <include expression="(.*)\.php"/>

    50              <include expression="(.*)\.sh"/>

    51          </filter>

    52      </plugin>

    53

    54      <plugin name="socket">

    55          <localpath watch="/opt/tongbu">

    56              <deshost ip="192.168.138.20" port=""/>

    57          </localpath>

    58      </plugin>

    59      <plugin name="refreshCDN">

    60          <localpath watch="/data0/htdocs/cms.xoyo.com/site/">

    61              <cdninfo domainname="ccms.chinacache.com" port="" username="xxxx" passwd="xxxx"/>

    62              <sendurl base="http://pic.xoyo.com/cms"/>

    63              <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>

    64          </localpath>

    65      </plugin>

    66  </head>

修改相应配置：

    22

    23      <sersync>  # 同步的部分

    24          <localpath watch="/data">   # 同步的源，目录

    25              <remote ip="192.168.0.41" name="nfsbackup"/>   # ip是推送的机器的ip，name是rsync推送指定的模块

    28          </localpath>

    29          <rsync>  # rsync命令的各个参数

    30              <commonParams params="-az"/>  # 参数选项

    31              <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/>   # 连接用户和用户的指定密码文件

    32              <userDefinedPort start="false" port=""/><!-- port=874 -->  # 是否指定端口，false使用默认端口873

    33              <timeout start="true" time=""/><!-- timeout=100 -->  # 超时设置

    34              <ssh start="false"/>

    35          </rsync>

    36          <failLog path="/tmp/rsync_fail_log.sh" timeToExecute=""/> # 失败日志

2.5 启动sersync服务

sersync命令参数说明：

[root@nfs-31 ~]# sersync -h

set the system param

execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches  # 调整了监控文件的数量和事件的数量

execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events

parse the command param

_______________________________________________________

参数-d:启用守护进程模式

参数-r:在监控前，将监控目录与远程主机用rsync命令推送一遍

c参数-n: 指定开启守护线程的数量，默认为10个

参数-o:指定配置文件，默认使用confxml.xml文件

参数-m:单独启用其他模块，使用 -m refreshCDN 开启刷新CDN模块

参数-m:单独启用其他模块，使用 -m socket 开启socket模块

参数-m:单独启用其他模块，使用 -m http 开启http模块

不加-m参数，则默认执行同步程序

______________________________________________________________

服务启动后，将过程文件中rsync服务命令粘贴出来单独执行一遍，检验配置文件信息是否填写正确。

[root@nfs-31 ~]# sersync -rdo /application/sersync/conf/confxml.xml

set the system param

execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches

execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events

parse the command param

option: -r      rsync all the local files to the remote servers before the sersync work

option: -d      run as a daemon

option: -o      config xml name：  /application/sersync/conf/confxml.xml

daemon thread num: 10

parse xml config file

host ip : localhost     host port: 8008

daemon start，sersync run behind the console

use rsync password-file :

user is rsync_backup

passwordfile is         /etc/rsync.password

config xml parse success

please set /etc/rsyncd.conf max connections=0 Manually

sersync working thread 12  = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads)

Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads)

please according your cpu ，use -n param to adjust the cpu rate

------------------------------------------

rsync the directory recursivly to the remote servers once

working please wait...

execute command: cd /data && rsync -az -R --delete ./  --timeout=100 rsync_backup@192.168.0.41::nfsbackup --password-file=/etc/rsync.password >/dev/null 2>&1

run the sersync:

watch path is: /data

2.6 查看sersync状态

[root@nfs-31 ~]# ps -ef|grep sersync|grep -v grep

root     20924     1  0 21:33 ?        00:00:00 sersync -rdo /application/sersync/conf/confxml.xml

2.7 开机自启动sersync服务

[root@nfs-31 ~]# tail -2 /etc/rc.local

# sersync start onboot sersync -rdo /application/sersync/conf/confxml.xml

注意：sersync服务的开机自启动和inotify的开机自启动最好不要冲突，只选其一。

【集群实战】sersync的更多相关文章

redis3.0 集群实战1 -- 安装和配置
本文主要是在centos7上安装和配置redis集群实战参考: http://hot66hot.iteye.com/blog/2050676 集群教程: http://redisdoc.com/to ...
《跟老男孩学Linux运维：Web集群实战》读书笔记
Linux 介绍 Linux 安装 Linux 调优 Web 基础 Nginx 应用 LNMP 应用 PHP 缓存加速 Nginx 调优 MySQL 应用 NFS 网络文件共享 Nginx 反向代理与 ...
MySQL/MariaDB数据库的Galera高可用性集群实战
MySQL/MariaDB数据库的Galera高可用性集群实战作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Galera Cluster概述 1>.什么是Gale ...
Haproxy+keepalived高可用集群实战
1.1 Haproxy+keepalived高可用集群实战随着互联网火热的发展,开源负载均衡器的大量的应用,企业主流软件负载均衡如LVS.Haproxy.Nginx等,各方面性能不亚于硬件负载均衡 ...
基于Ambari Server部署HDP集群实战案例
基于Ambari Server部署HDP集群实战案例作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.部署Ambari Server端博主推荐阅读: https://www.c ...
【集群实战】Rsync数据同步工具
1. Rsync介绍 1.1 什么是Rsync? Rsync是一款开源的,快速的,多功能的,可实现全量及增量的本地或远程数据同步备份的优秀工具.Rsync软件适用于unix/linux/windows ...
高负载集群实战之lvs负载均衡-技术流ken
lvs简介 LVS的英文全称是Linux Virtual Server,即Linux虚拟服务器. 特点跨平台:window,linux 作用实现负载均衡核心组件 ip_vs:linux的内核功能 ...
Mongodb 集群实战
该实战过程完全跟着官网一步一步实现 ,官网教程:https://docs.mongodb.com/manual/tutorial/atlas-free-tier-setup/ 使用Mongo Shel ...
activemq的高级特性：集群实战
高级特性实战需求当消费端是多个集群,集群A又包含多个服务. 当每个集群都要接受相同的一批消息,而集群内的每个服务都去分摊消息. 解决办法一:级联增加一个中转者.但是不是特别的优化,而且性能也不是特 ...
进阶的Redis之哈希分片原理与集群实战
前面介绍了<进阶的Redis之数据持久化RDB与AOF>和<进阶的Redis之Sentinel原理及实战>,这次来了解下Redis的集群功能,以及其中哈希分片原理. 集群分片模 ...

随机推荐

Azure SDK for Python Url
Azure SDK for Python URL 明细表 AZURE_PUBLIC_CLOUD = Cloud( 'AzureCloud', endpoints=CloudEndpoints( man ...
1089 Insert or Merge (25分)
According to Wikipedia: Insertion sort iterates, consuming one input element each repetition, and gr ...
独立Web站点的快速部署
独立Web站点的快速部署 1案例1:独立Web站点的快速部署 1.1问题本 ...
原理解密 → Spring AOP 实现动态数据源（读写分离），底层原理是什么
开心一刻女孩睡醒玩手机,收到男孩发来一条信息:我要去跟我喜欢的人表白了! 女孩的心猛的一痛,回了条信息:去吧,祝你好运! 男孩回了句:但是我没有勇气说不来,怕被打! 女孩:没事的,我相信你!此时女孩 ...
docker-compose中redis查询版本
1.查询CONTAINER ID docker ps 2.进入容器,查询版本号信息 docker exec -it CONTAINER ID /bin/bash 3.查询到redis中的redis-s ...
Windows下Python3.6.2+Django-1.11.5+httpd-2.4.27-win64-VC14部署网站
最近项目组正在上python+django.现在将部署过程总结下,相关文件也备份下,面得每次都要弄半天.网上很多不靠谱的做法,让我反复试错,浪费不少时间. 原材料: Python3.6.2 httpd ...
Linux C++ 网络编程学习系列（1）——端口复用实现
Linux C++ 网络编程学习系列(1)--端口复用实现源码地址:https://github.com/whuwzp/linuxc/tree/master/portreuse 源码说明: serv ...
xxx 表 is marked as crashed and last (automatic?) repair 解决办法
如上图出现 xxx 表 is marked xxxx 的问题运维那说是因为数据库非正常停掉时刚好有数据正在写入数据库导致的问题,这个没多大影响,需要执行命令修复数据库,至于命令是什么? ...
【高并发】高并发环境下如何防止Tomcat内存溢出？看完我懂了！！
写在前面随着系统并发量越来越高,Tomcat所占用的内存就会越来越大,如果对Tomcat的内存管理不当,则可能会引发Tomcat内存溢出的问题,那么,如何防止Tomcat内存溢出呢?我们今天就来一起 ...
[算法]Miller-Robbin素数判定
目录一.实现原理二.应用判断一个正整数是否为素数三.小结一.实现原理我们以前都是怎么判断素数的呢: 试除法: 若一个正整数N为合数,则存在一个能整除N的数k,其中\(2\leqslant ...

【集群实战】sersync