|——需求: 监控192.168.9.5[主]  下的 /data/vmeipai 目录  --> 同步到 192.168.12.8 [备] 下的 /data/vmeipai 目录 |——网络拓扑: |——准备软件 1,Rsync 2,Sersync rsync可以从[wget http://rsync.samba.org/ftp/rsync/rsync-3.0.9.tar.gz ]获取,不过我这里使用了[yum install rsync -y ] sersync 详细:[https://co…

这里有一点要特别注意了,就是在你完成备份之后,先不要把本地的文件都给删除了,先把服务停了之后再删除文件, 因为你已删除,检查到两边不一致,他又会把备份端给删除了.所以特别得注意了.这里吃过一次亏. 还有在生产的过程当中我遇到一个问题,就是我的源文件端朝所有的服务器端都可以同步文件,唯有一台不行,那台服务器的系统是centos 7 的网段是10.23.24的,我的源文件有两个网段,一个是192.168.220还有个一个10.23.24的(但是这两个网段都是可以互通的),当时我在centos 7服务…

CentOS 6.5 rsync+inotify实现数据实时同步备份 rsync    remote sync 远程同步,同步是把数据从缓冲区同步到磁盘上去的.数据在内存缓存区完成之后还没有写入到磁盘中去.所以有时候要同步到磁盘中去的,而rsync跟复制差不多能将一个文件从一个地方复制到另外一个地方,但是他也可以实现跨主机复制,兼具了cp和scp的功能,但是在跨主机时不具备scp的加密功能.    rsync有个特点,就是当你用rsync复制或跨主机复制时如果另一端也有一个同名的文件,他会先比较…

文章摘自:http://lxw66.blog.51cto.com/5547576/1331048 rsync 帮助文档:http://man.linuxde.net/rsync 最近有个想法就是部署一台监控机器,上面装zabbix,ELK,tailon插件 我想把所有服务器上当天的日志文件同步到一台机器上,然后使用tailon 插件实时的在web端展现各台机器的日志 所以这里我首先要做的是把日志文件实时同步到monitor这台机器上,怎么做呢,网上搜了一下,使用rsync+inotify的 方法…

一      Rsync + Sersync  实时同步介绍 1.Rsync 服务搭建介绍 云机上搭建Rsync server,在本地搭建Rsync Clinet. 2. Sersync 服务搭建介绍 在本地服务器上搭建 Sersync  Server  检测本地的ftp目录变化,实时同步到云机上 二.Rsync编译安装 1.检查本机是否存在 [root@云机 ~]# rpm -qa  rsync rsync-3.0.6-12.el6.x86_64 2.卸载 [root@云机 ~]# yum …

rsync 远程同步: 一款快速增量备份工具 Remote Sync,远程同步 支持本地复制,或者与其他SSH.rsync主机同步 作用:做数据备份 备份方式:      完全备份      增量备份 rsync客户端 好处: 优点:   第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件.支持增量备份          选择性的保持 : 符号链接,硬链接,文件属性,权限 及时间 等               传输前执行压缩.适用于异地备份 ,镜像服务器等应用       …

今日内容 rsync 内容详细 上一篇内容问题 1.yum源问题 2.VPN链接正常,但是没办法通过172 3.VPN链接时,出现了DNS错误 4.掩码不对 5.openvpn开启错误 复制的命令 1.cp 本机复制: 只能在本地计算机中复制目录 2.scp # ssh 自带的命令 远程复制: 可以上传文件到远程服务器,有两种复制方式 1.推(本地上传到远程服务器): scp <文件路径> <登录用户>@<ip>:<目标路径> [root@m01 ~]# s…

发送端配置: 一.配置密钥 1. 主/从服务器之间启用基于密钥的身份验证.登录发送端服务器并用 " ssh-keygen " 命令生成公共或私有的密钥. 2. 使用 " ssh-copy-id " 复制密钥文件到接收端服务器. ssh-copy-id -i /root/.ssh/id_rsa.pub root@IP 把生成的公钥发送到对方的主机上去,用ssh-copy-id命令,自动保存在对方主机的/root/.ssh/authorized_keys文件中去 [ro…

1.接受端安装rsync yum -y install rsync 2.配置同步模块 vim /etc/rsyncd.conf # any name you like [backup] # destination directory for copy path = /data/backup # hosts you allow to access hosts allow = 192.168.88.88 hosts deny = * list = true uid = root gid = root…

配置过程中遇到的错误与查看日志 以下错误是在服务正常开启的情况下发生的,请先查看服务是否正常启动. 一.错误 1. rsync: failed to set times on "." (in backup): Permission denied (13) 更新.文件的时间失败:原因是权限不够. 此处为selinux权限限制,临时更改为setenforce 0,永久更改为修改/etc/sysconfig/selinux, 将 SELINUX=enforcing 修改为 SELINUX=d…

接收端配置: 1.安装rsync yum -y install rsync 2.配置同步模块 1. 编辑同步配置文件 vi /etc/rsyncd.conf 2. 同步模块配置参数 # any name you like [backup] # destination directory for copy path = /usr/blues # hosts you allow to access hosts allow = 192.168.16.143 hosts deny = * list =…

发送端配置: 一.配置密钥 1. 主/从服务器之间启用基于密钥的身份验证.登录发送端服务器并用 " ssh-keygen " 命令生成公共或私有的密钥. 2. 使用 " ssh-copy-id " 复制密钥文件到接收端服务器. ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.16.144 二.安装rsync + lsyncd 1. 安装rsync yum -y install rsync 2. 安装Lsyncd 1…

准备三台服务器进行测试: nfs_server:192.168.12.110 web_server:192.168.12.111 rsync_server:192.168.12.112 网络规划图: 将web服务器的网页根目录/var/www挂载到nfs服务器,同时nfs服务器将文件实时备份到rsync服务器 1.在web服务器上面安装相应的web服务,例如httpd服务,产生相应的/var/www/html文件,此次备份的重点是/var/www下的文件 yum install httpd* 2…

学习教程总结: 1.主机1:172.16.1.41,安装rsync并运行rsync --daemon 配置好/etc/rsyncd.conf 和密码文件rscync.password并设置chomd 600权限.设置备份模块[nfsbackup] 2.主机2:172.16.1.31 安装nfs-utils,安装inotify-tools,设置nfs共享目录/data1.rsync密码文件/etc/rsync.password并设置chomd 600权限 实时监控脚本: #!/bin/bash i…

一.inotify简介 inotify是Linux内核2.6.13 (June 18, 2005)版本新增的一个子系统(API),它提供了一种监控文件系统(基于inode的)事件的机制,可以监控文件系统的变化如文件修改.新增.删除等,并可以将相应的事件通知给应用程序.该机制由著名的桌面搜索引擎项目beagle引入用于替代此前具有类似功能但存在诸多缺陷的dnotify. inotify既可以监控文件,也可以监控目录.当监控目录时,它可以同时监控目录及目录中的各子目录及文件的.此外,inotify…

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://linux5588.blog.51cto.com/65280/772054 拓扑图如下: 可以有多个目标服务器,本机同步也可以(要同时开sersync服务和rsync守护进程) 需求: 1.源服务器上 要备份的是/data/bookfm/doc/book 目录包括子目录下的original.xxx ,其他文件不备份 2.备份服务器上 备份的路径/backup/bookfm ,当然…

1. 共享存储服务概念: # NFS是Network File System的缩写,中文意思是网络文件系统, # 它的主要功能是通过网络(一般是局域网)让不同的主机系统之间可以共享文件或目录. 2. NFS共享存储服务的应用: # 将数据存储到一台服务器上,实现数据统一一致,共享访问 # NFS存储服务器中主要存储哪些信息:用户上传的图片 音频 视频 附件等信息 # NFS服务是分为服务端和客户端 # 存储服务器:NFS服务端 网站web服务器:NFS客户端 # 实现共享存储好处: 01. 实现…

没钱的时候,用此方案做网站内容的负载均衡.异地备份,经济实惠又方便(仅针对网站文件做实时同步,如果数据库,则考虑mysql的多主架构) 一.机器配置及机房IP A机,位于杭州,IP: 115.33.25.25 CentOS 6.4_x64 B机, 位于米为,IP: 192.8.172.133 CentOS 6.4 _x64 二.基础软件 因为要实现数据文件的实时同步,需要借助如下两个软件: 1. rsync  可以实现将本机的文件夹mirror到另外一台机器,支持多种模式,详细请man rsyn…

Linux下Rsync+Inotify-tools实现数据实时同步 注意:下面的三个案例都是rsync 每次都是全量的同步(这就坑爹了),而且 file列表是循环形式触发rsync ,等于有10个文件发生更改,就触发10次rsync全量同步(简直就是噩梦),那还不如直接写个死循环的rsync全量同步得了. 解决方法1.做判断http://www.ttlsa.com/web/let-infotify-rsync-fast/#comments2.使用金山周洋开发的一个居于inotify+rsync进…

目的,要求 nfs储存服务器与backup备份服务器,数据同步,万一nfs储存服务器挂了,数据还在 实时同步备份软件服务 1)inotify 实时同步软件 2)sersync 实时同步软件 实时同步原理过程 ①. 先看指定目录是否发生了数据信息变化 ②. 一旦产生变化,就利用rsync将变化的数据信息或者整个目录进行备份同步 /data   1.txt  2.txt 3.txt   --- 修改1.txt 1.txt ---> 实时备份传输呢 /data ---> 实时备份传输呢 inotif…

inotify是一种强大的,细粒度的,异步文件系统时间监控机制,它可以替代crond实现与rsync的触发式文件同步,从而监控文件系统中添加,删除,修改,移动等细粒事件,从LINUX 2.6.13起,就已加入了对inotify的支持,所以我们只需要安装一个第三方软件inotify-tools即可管理此服务.之前利用的rsync+crond来触发实现同步的瓶颈在于,rsync在同步数据时,需要先扫描所有文件后进行比对,而后进行差异传输,如果文件数量级别很大而且变化会很快,扫描所有文件会非常耗时,而…

因近期项目需求,需要同步云端服务器的数据给**方做大数据分析. 思路: 起初只要数据同步,准备开放数据采集接口.但实时性较差,会有延迟. 故而寻觅各种解决方案,最终确定使用 rsync 进行文件同步,otter(阿里的开源工具) 进行数据库同步 最终使用成功,同步效果显著! 本文先只介绍 rsync 的文件同步,otter 会在其他文章分享 一.简介 网上简介一堆,不过都写的很官方,下面的介绍是我自己使用后的感受. sersync 用于监控目录后调用 rsync 同步命令,进行文件传输! 可以监…

前言: 一.为什么要用Rsync+sersync架构? 1.sersync是基于Inotify开发的,类似于Inotify-tools的工具 2.sersync可以记录下被监听目录中发生变化的(包括增加.删除.修改)具体某一个文件或某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的这个文件或者这个目录. 二.Rsync+Inotify-tools与Rsync+sersync这两种架构有什么区别? 1.Rsync+Inotify-tools (1):Inotify-tools只能记录…

一．为什么要用Rsync+sersync架构1．sersync是基于Inotify开发的,类似于Inotify-tools的工具2．sersync可以记录下被监听目录中发生变化的(包括增加.删除.修改)具体某一个文件或某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的这个文件或者这个目录. 二．Rsync+Inotify-tools与Rsync+sersync这两种架构有什么区别1．Rsync+Inotify-tools(1):Inotify-tools只能记录下被监听的目录发生了…

一.简介 sersync是基于Inotify开发的,类似于Inotify-tools的工具: sersync可以记录下被监听目录中发生变化的(包括增加.删除.修改)具体某一个文件或某一个目录的名字: rsync在同步的时候,只同步发生变化的这个文件或者这个目录(每次发生变化的数据相对整个同步目录数据来说是很小的,rsync在遍历查找比对文件时,速度很快),因此,效率很高: 注:当同步的目录数据量不大时,建议使用Rsync+Inotify-tools:当数据量很大(几百G甚至1T以上).文件很多时…

一.概述 1.Rsync+Sersync 是什么? 1)Sersync使用c++编写基于inotify开发的触发机制: 2)Sersync可以监控所监听的目录发生的变化(包括新建.修改.删除),具体到一个文件名或目录名,然后触发rsync同步,只同步发生改变的文件或目录.如果只是目录下的文件发生变化,则只会同步变化的文件而不会同步目录.只有目录本身发生变化的时候才会同步目录. 3)自带crontab功能,只需在 xml配置文件中开启,即可按您的要求,隔一段时间整体同步一次.无需再额外配置cron…

本次实验的主要目的: 1.搭建web服务,使用nfs服务共享的/data目录挂载到web站点目录上. 2.nfs服务器与backup服务器使用sersync实时同步/data目录中的文件. 3.backup服务器作为rsync服务端,全网服务器定时备份到backup上,并且给web服务提供备用nfs共享.     服务器主机名及IP划分: web服务器:hostname:web01 WAN IP:10.0.0.7/24 LAN IP:172.16.1.7/24 nfs服务器:hostname:n…

软件简介: 1.rsync 与传统的 cp. tar 备份方式相比,rsync 具有安全性高.备份迅速.支持增量备份等优点,通过 rsync 可 以解决对实时性要求不高的数据备份需求,例如定期的备份文件服务器数据到远端服务器,对本地磁盘定 期做数据镜像等. 随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync 在高端业务系统中 也逐渐暴露出了很多不足,首先,rsync 同步数据时,需要扫描所有文件后进行比对,进行差量传输.如 果文件数量达到了百万甚至千万量级,扫描所有…

rsync+inotify-tools文件实时同步案例 全量备份 Linux下Rsync+sersync实现数据实时同步完成. 增量备份 纯粹的使用rsync做单向同步时,rsync的守护进程是运行在文件推送的服务器上,而接收的服务器是运行rsync客户端.使用sersync做文件实时同步刚好相反,用于接收文件的服务器运行rsync守护进程.…

最近需要对服务器上的文件实施动态备份,我又不想每次都手动来进行备份,在网上找了挺多资料,发现使用rsync就可以实现,如果想要实现实时同步,还可以使用rsync+inotify组合,本文就是以组合方式来完成的. 先介绍一下rsync与inotify. 1.rsync 与传统的cp.tar备份方式相比,rsync具有安全性高.备份迅速.支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,例如定期的备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等.随着应用系统规模的不…