参考文档:https://vastxiao.github.io/article/2017/09/02/lsync-201709021425/

官网:https://axkibe.github.io/lsyncd/

1、使用环境

服务器角色 操作系统类型 IP地址 目录 目标
源服务器 Centos7.4 11.11.11.2 /share 实时同步到目标服务器
目标服务器 Centos7.4 11.11.11.3 /opt/share  

2、安装

2.1、目标服务器需要安装的依赖包

yum -y install lua lua-devel rsync

2.2、源服务器配置

1、配置源服务器免密码ssh登录目标服务器

如果要通过ssh的方式,从源服务器同步到目标服务器的话,需要在源服务器上配置ssh免密码登录,如果是同一台服务器的本地目录同步到另一个目录的话,不需要配置ssh免密码登录
su - root #用root用户进行远程同步
ssh-keygen -t dsa #一路回车
ssh-copy-id -i /root/.ssh/id_dsa.pub root@11.11.11.3 #将源服务器的公钥发送到目标服务器,这里需要输入目标服务器的root用户密码
ssh root@11.11.11.3 ip address #查看结果是否为目标服务器的ip地址,如果是的话,说明ssh免密钥登录配置成功

2、安装依赖包

yum -y install lua lua-devel rsyn
3、安装lsync
yum -y install lsyncd       #这条命令只适用于Centos .*版本的系统,7以上的系统会报找不到lsyncd包
#Cnetos .*版本如果要装lsyncd的话,需要先安装扩展源eple如下,然后在执行yum -y install lsyncd
# wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
# rpm -ivh epel-release-latest-.noarch.rpm

3、yum安装文件结构

        路径              说明
/etc/lsyncd.conf 主配置文件
/etc/sysconfig/lsyncd init环境变量和启动选项配置文件
/etc/logrotate.d/lsyncd 日志滚动配置文件
/usr/share/doc/lsyncd-*/examples/ 目录下有lsyncd.conf配置例子
/etc/init.d/lsyncd lsyncd的init启动脚本
/usr/bin/lsyncd lsyncd命令路径
/var/run/lsyncd/ 可放lsyncd.pid的目录
/var/log/lsyncd/ 默认的日志目录

4、文件配置

4.1、使用远程同步模式同步数据(正式用)

这里ssh端口改为22022

实现结果:对源目录下的文件进行增删改都会同步到目标服务器,但需要注意的是在启动服务后会删除目标服务指定的目录下的文件(类似于镜像文件

[root@localhost share]# cat /etc/lsyncd.conf
settings {
inotifyMode = "CloseWrite",
statusFile = "/var/log/lsyncd.status",
statusInterval = ,
logfile = "/var/log/lsyncd.log"
} sync {
default.rsyncssh,
source = "/share",
host = "11.11.11.3",
targetdir = "/opt/share/",
maxDelays = ,
delay = ,
-- init = fales,
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
verbose = true,
_extra = {"--bwlimit=2000"},
},
ssh = {
port =
}
}
[root@localhost share]#
启动服务
centos6
# /etc/init.d/lsyncd start
设置开机启动
# chkconfig lsyncd on
centos7
#systemctl start lsyncd.service
设置开机启动
systemctl enable lsyncd.service 

参数详解:

setting配置参数详解
inotifyMode: 默认是CloseWrite,还可以是Modify或者 CloseWrite or Modify
statusFile: 定义状态文件位置
statusInterval:将lsyncd的状态写入statusFile文件的建个时间,默认是10s ,对实时同步要求比较高的话,可以调小,我设置为3s。
logfile:定义日志文件的位置,同步内容也可以在此文件看到 sync配置参数详解
default.rsyncssh:同步到远程主机目录,rsync的ssh模式,需要使用key来认证
source:源目录,需要被同步的目录
host:远程备份主机IP
targetdir:远程备份目录
delay:等待rsync同步延时时间,默认15s,如果对实时同步要求比较高,可以设置相对低点,我设置的为3s
init: 默认为true,启动lsyncd服务后,同步源目录里边的所有数据,如果值为false时,只同步源目录lsyncd服务启动后改变的文件
rsync选项中参数:
binary:定义rsync的执行位置
archive:定义传输是否归档
compress:定义远程创术是否压缩,
verbose:定义同步时显示的详细信息,列出同步的文件
_extra:限制传输速度,为了不影响正常业务运行,可以做此设置,单位kb/s,与rsync相同(计算方法:10MB/s 等于 x / = 1280kb/s; 2000Kb/s 等于2000 x / = .6MB/s)
ssh选项参数
port:定义远程备份主机的远程端口,定义非22端口,如果是22端口,可以不写。

4.2、使用本地同步模式同步数据(本地备份

[root@tomcat2 ~]# cat /etc/lsyncd.conf
settings {
--pidfile = "/var/run/lsyncd/lsyncd.pid",
--nodaemon = false,
inotifyMode = "CloseWrite",
maxProcesses = ,
statusFile = "/tmp/lsyncd.status",
statusInterval = ,
logfile = "/var/log/lsyncd/lsyncd.log"
} sync {
default.rsync,
source = "/opt/webapplication",
target = "/back_up/webapplication",
delete = "false",
--exclude = { "logs" },
delay = ,
--init = true,
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
verbose = true,
bwlimit =
}
} sync {
default.rsync,
source = "/data",
target = "/back_up/data",
delete = "false",
--exclude = { "logs" },
delay = ,
--init = true,
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
verbose = true,
bwlimit =
}
}
[root@tomcat2 ~]#

4.3、其他同步方式

settings {
logfile ="/usr/local/lsyncd-2.1.5/var/lsyncd.log",
statusFile ="/usr/local/lsyncd-2.1.5/var/lsyncd.status",
inotifyMode = "CloseWrite",
maxProcesses = ,
}
-- I. 本地目录同步,direct:cp/rm/mv。 适用:+万文件,变动不大
sync {
default.direct,
source = "/tmp/src",
target = "/tmp/dest",
delay =
maxProcesses =
}
-- II. 本地目录同步,rsync模式:rsync
sync {
default.rsync,
source = "/tmp/src",
target = "/tmp/dest1",
excludeFrom = "/etc/rsyncd.d/rsync_exclude.lst",
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
bwlimit =
}
}
-- III. 远程目录同步,rsync模式 + rsyncd daemon
sync {
default.rsync,
source = "/tmp/src",
target = "syncuser@172.29.88.223::module1",
delete="running",
exclude = { ".*", ".tmp" },
delay = ,
init = false,
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
verbose = true,
password_file = "/etc/rsyncd.d/rsync.pwd",
_extra = {"--bwlimit=200"}
}
}
-- IV. 远程目录同步,rsync模式 + ssh shell
sync {
default.rsync,
source = "/tmp/src",
target = "172.29.88.223:/tmp/dest",
-- target = "root@172.29.88.223:/remote/dest",
-- 上面target,注意如果是普通用户,必须拥有写权限
maxDelays = ,
delay = ,
-- init = true, 进程启动时是否全部同步一次,默认是true
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
bwlimit =
-- rsh = "/usr/bin/ssh -p 22 -o StrictHostKeyChecking=no"
-- 如果要指定其它端口,请用上面的rsh
}
}
-- V. 远程目录同步,rsync模式 + rsyncssh,效果与上面相同
sync {
default.rsyncssh,
source = "/tmp/src2",
host = "172.29.88.223",
targetdir = "/remote/dir",
excludeFrom = "/etc/rsyncd.d/rsync_exclude.lst",
-- maxDelays = ,
delay = ,
-- init = false,
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
verbose = true,
_extra = {"--bwlimit=2000"},
},
ssh = {
port =
}
}

5、使用脚本监测lsyncd服务并设置定时任务

脚本每25秒监测一次lsyncd服务的进程是否正常,若进程不在了,则自动启动进程,正常与否都会写入日志文件
```bash
cat /opt/lsync_monitor.sh
#!/bin/bash
source /etc/profile START()
{
lsyncd -log Exec /etc/lsyncd.conf
sleep
} CHECK()
{
num=`ps -ef | grep lsyncd.conf | grep -v grep | wc -l`
if [ $num -eq ];then
{
dat=`date`
echo "$dat lsyncd stoped!!!"
return
}
elif [ $num -eq ];then
{
dat=`date`
echo "$dat lsyncd running..."
return
}
fi
} TOT()
{
CHECK
res=$? if [ $res -eq ];then
START
fi
} TOT
sleep
TOT

6、其他设置

##### 5.2 lsync_monitor.sh产生日志只保留1个月的记录
由于lsync_monitor.sh每分钟写入6行内容,所以一天下来日志量也是比较大的
```bash
cat /opt/month.sh
#!/bin/bash
source /etc/profile
mv -f /var/log/lsync_monitor.log /var/log/last_month.log
> /var/log/lsync_monitor.log
```
##### 5.3 加入crontab定时任务
```bash
crontab -e
*/ * * * * /usr/sbin/ntpdate -s 192.168.8.18
#####lsync to 10.66.84.16:/opt/share======
*/ * * * * /opt/lsync_monitor.sh >> /var/log/lsync_monitor.log
* * /opt/month.sh

FAQ:

当需要同步的数据量上百G时,进程起来一会后,自动停了。查看日志:
因为同步的数据量较大,需要lsyncd监测的inode数量超过了自身默认的最大监控数量,所以报错
```bash
tail -f /var/log/lsyncd/lsyncd.log
遇到:Error: Terminating since out of inotify watches.
Consider increasing /proc/sys/fs/inotify/max_user_watches 解决办法:
echo > /proc/sys/fs/inotify/max_user_watches
这个值改成多少需要根据源目录所在分区的的inode多少来定(使用df -i查看该分区总的inode数量)
sysctl -p
重启lsyncd

lsync目录文件实时同步工具的更多相关文章

  1. rsync+inotify 实现服务器之间目录文件实时同步(转)

    软件简介: 1.rsync 与传统的 cp. tar 备份方式相比,rsync 具有安全性高.备份迅速.支持增量备份等优点,通过 rsync 可 以解决对实时性要求不高的数据备份需求,例如定期的备份文 ...

  2. Linux服务器间文件实时同步的实现

    使用场景 现有服务器A和服务器B,如果服务器A的指定目录(例如 /home/paul/rsync/ )中的内容发生变更(增删改和属性变更),实时将这些变更同步到服务器B的目标目录中(例如 /home/ ...

  3. centos文件实时同步inotify+rsync

    我的应用场景是重要文件备份 端口:873,备份端打开即可 下载地址:https://rsync.samba.org/ftp/rsync/src/ 服务端和客户端要保持版本一致 网盘链接:https:/ ...

  4. Centos 6.5 rsync+inotify 两台服务器文件实时同步

    rsync和inotify是什么我这里就不在介绍了,有专门的文章介绍这两个工具. 1.两台服务器IP地址分别为: 源服务器:192.168.1.2 目标服务器:192.168.1.3 @todo:从源 ...

  5. rsync+sersync实现数据文件实时同步

    一.简介 sersync是基于Inotify开发的,类似于Inotify-tools的工具: sersync可以记录下被监听目录中发生变化的(包括增加.删除.修改)具体某一个文件或某一个目录的名字: ...

  6. linux下两台服务器文件实时同步方案设计和实现

    inux下两台服务器文件实时同步方案设计和实现 假设有如下需求: 假设两个服务器: 192.168.0.1 源服务器  有目录 /opt/test/ 192.168.0.2 目标服务器  有目录 /o ...

  7. sersync+rsync实现服务器文件实时同步

    sersync+rsync实现服务器文件实时同步 一.为什么要用rsync+sersync架构? 1.sersync是基于inotify开发的,类似于inotify-tools的工具 2.sersyn ...

  8. inotify用法简介及结合rsync实现主机间的文件实时同步

    一.inotify简介 inotify是Linux内核2.6.13 (June 18, 2005)版本新增的一个子系统(API),它提供了一种监控文件系统(基于inode的)事件的机制,可以监控文件系 ...

  9. (转)Linux下通过rsync与inotify(异步文件系统事件监控机制)实现文件实时同步

    Linux下通过rsync与inotify(异步文件系统事件监控机制)实现文件实时同步原文:http://www.summerspacestation.com/linux%E4%B8%8B%E9%80 ...

随机推荐

  1. The number of object passed must be even but was [1]

    1.失败,使用TransportClient public static void bulkInsert(TransportClient client) throws IOException { Li ...

  2. Ubuntu18.0.4查看显示器型号

    在官网https://launchpad.net/ubuntu/+source/xresprobe下载二进制包,apt-get目前无法安装xresprobe 输入命令sudo ddcprobe 得到如 ...

  3. Cookie的格式及组成、页面间传参实例

    做项目需要页面间参数传递,搜索了一下网上的回复,发现可以用cookie解决,借此学习cookie的格式及组成: Cookie由变量名和值组成,类似Javascript变量.其属性里既有标准的Cooki ...

  4. centOS7.2下 搭建gitlab使用git为团队管理代码

    最近更换了阿里云服务器  使用centOS7.2,目前配置1核2G,搭建gitlab有点吃力,另外如果1核1g就不要搭建了,推荐配置是2核4G以上 下面来简单记录整个搭建过程 注意: 本次实验OS为c ...

  5. [转].Net实现本地化简易教程

    本文转自:https://www.cnblogs.com/csdbfans/archive/2011/10/17/2214048.html 实现多语言版本的支持,就是所谓的国际化,也说是本地化. 今天 ...

  6. Hive,HANA可视化客户端工具

    目前市面上的Hive可视化客户端工具,大都是C/S模式的,安装使用都不是太方便,目前有一款基于WEB的可视化工具TreeSoft,通过浏览器就可以访问使用了,并且可以同时管理.维护.监控MySQL,O ...

  7. Bash:常用命令工具-tr命令

    tr命令可以用来做简单的字符替换与删除,常用的有-d, -s选项.它的替换与删除是按单个字符来的 假设有以下文本: Read from the file words.txt and output th ...

  8. 不使用JavaScript让IE浏览器支持HTML5元素——张鑫旭

    by zhangxinxu from http://www.zhangxinxu.com本文地址:http://www.zhangxinxu.com/wordpress/?p=2515 如果我们不做什 ...

  9. RequestAnimationFrame更好的实现Javascript动画

    一直以来,JavaScript的动画都是通过定时器和间隔来实现的.虽然使用CSS transitions 和 animations使Web开发实现动画更加方便,但多年来以JavaScript为基础来实 ...

  10. javascript数组元素全排列

    多个数组(数量不定)例如三个数组 {a,b} {1,2} {d}排列组合后为a,1,da,2,db,1,db,2,d是js的算法哦 var arr = [["a","b& ...