Rsync+Sersync实时同步数据目录
第1章 Rsync简介
1.1 Rsync基本概述
rsync是一款开源的备份工具,可以在不同主机之间进行同步,可实现全量备份与增量备份
全量:将全部数据,进行传输覆盖
增量:只传输差异部分的数据
1.2 实现增量复制的原理
Rsync通过其独特的“quick check”算法,实现增量传输数据
在同步备份数据时,默认情况下,Rsync通过其独特的“quick check”算法,它仅同步大小或者最后修改时间发生变化的文件或目录,当然也可根据权限,属主等属性的变化同步,但需要指定相应的参数,甚至可以实现只同步一个文件里有变化的内容部分,所以,可以实现快速的同步备份数据。
1.3 Rsync软件功能介绍
类似于 cp 命令 -- 实现本地备份传输数据
类似于scp 命令 -- 远程备份传输数据
类似于 rm 命令 -- 实现无差异同步备份
类似于 ls 命令 -- 本地文件信息查看
rsync 命令属于1 v 4 的命令
1.4 远程拷贝
#使用rsync拷贝41主机上/root目录下的oldboyedu.com文件,拷贝至本地当前目录
rsync -avz root@172.16.1.41:/root/oldboyedu.com ./ #拷贝文件
rsync -avz root@172.16.1.41:/root/ /backup/ #拉取远程目录下的所有文件
rsync -avz root@172.16.1.41:/root /backup/ #拉取远程目录以及目录下的所有文件
注意:远程拷贝目录需要注意 /
# 将本地/backup/2018-07-23这个目录以及目录下的内容,推送至于41服务器的/tmp目录下
rsync -avz /backup/2018-07-23 root@172.16.1.41:/tmp/
问题:
1.使用的ssh系统用户,不安全
2.必须通过ssh协议才可以传输
1.5 守护进程拷贝
守护进程拷贝很安全,是使用虚拟用户
//将本地数据推送至backup服务器
rsync -avz /mnt/ rsync_backup@172.16.56.11::backup/
//将backup服务器数据拉至本地服务器
rsync -avz rsync_backup@172.16.56.11::backup/ /mnt/
第2章 Rsync服务器端安装
2.1 系统环境
[root@rsync-server ~]# cat /etc/redhat-release
CentOS Linux release 7.1.1503 (Core)
[root@rsync-server ~]# uname -r
3.10.0-229.el7.x86_64
[root@rsync-server ~]# systemctl status firewalld
firewalld.service - firewalld - dynamic firewall daemon
Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled)
Active: inactive (dead)
[root@rsync-server ~]# getenforce
Disabled
2.2 安装rsync
2.2.1 检查和安装
$ rpm -qa|grep rsync #检查是否安装,如安装请忽略下面步骤,没有则安装
rsync-3.1.2-4.el7.x86_64
$ yum -y install rsync
2.2.2 添加配置文件
$ vim /etc/rsyncd.conf
uid = rsync #不一定是rsync,可以是www等,设置和你站点目录一样的属主最合适
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
hosts allow = 172.16.1.0/24 #修改一下允许访问的网段,根据实际情况填写
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
log file = /var/log/rsyncd.log
#####################################
[backup] #模块名称
comment = welcome to oldboyedu backup!
path = /backup #备份目录
2.2.3 创建虚拟用户
$ useradd -M -s /sbin/nologin rsync
2.2.4 建立虚拟账户对应的用户名与密码(用于客户端连接的账户和密码)
$ vim /etc/rsync.password
rsync_backup:123456
$ chmod 600 /etc/rsync.password
2.2.5 创建仓库目录,授权属主和属组
$ mkdir /backup
$ chown -R rsync.rsync /backup/
2.2.6 启动
$ systemctl start rsyncd #启动
$ systemctl enable rsyncd #开机自启动
#检查端口是否已经启动
$ netstat -lntup|grep 873
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 1861/rsync
tcp6 0 0 :::873 :::* LISTEN 1861/rsync
第3章 客户端配置
3.1 客户端配置,实现无密码推送或拉去数据
$ echo "123456" > /etc/rsync.password
$ chmod 600 /etc/rsync.password
客户端测试推送文件
$ rsync -avz /etc/hosts rsync_backup@10.0.0.10::backup
Password: #密码是文件里面的密码,不是linux服务器的密码,我这里是123456
sending incremental file list sent 42 bytes received 20 bytes 17.71 bytes/sec
total size is 158 speedup is 2.55
#这个就代表已经传过去了,可以去服务器目录查看是否有这个文件了
第4章 安装Sersync实时监控并同步
4.1 安装
4.1.1 sersync安装在你需要监控的服务器上,如这个目录经常变动(客户端)
$ mkdir /server/tools –p
$ cd /server/tools
$ wget https://raw.githubusercontent.com/wsgzao/sersync/master/sersync2.5.4_64bit_binary_stable_final.tar.gz #下载sersync
$ tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz
$ mv GNU-Linux-x86/ /usr/local/sersync
$ cd /usr/local/sersync/
$ cp confxml.xml confxml.bak #x修改前备份配置文件
4.1.2 配置
$ vim confxml.xml
5 <fileSystem xfs="true"/> <!-- 文件系统 -->
6 <filter start="false"> <!-- 排除不想同步的文件-->
7 <exclude expression="(.*)\.svn"></exclude>
8 <exclude expression="(.*)\.gz"></exclude>
9 <exclude expression="^info/*"></exclude>
10 <exclude expression="^static/*"></exclude>
11 </filter> 12 <inotify> <!-- 监控的事件类型 -->
13 <delete start="true"/>
14 <createFolder start="true"/>
15 <createFile start="true"/>
16 <closeWrite start="true"/>
17 <moveFrom start="true"/>
18 <moveTo start="true"/>
19 <attrib start="false"/>
20 <modify start="false"/>
21 </inotify> 23 <sersync>
24 <localpath watch="/var/www"> <!-- 监控的目录 -->
25 <remote ip="10.0.0.10" name="backup"/> <!-- backup的IP以及模块 -->
26 <!--<remote ip="192.168.8.39" name="tongbu"/>-->
27 <!--<remote ip="192.168.8.40" name="tongbu"/>-->
28 </localpath> 29 <rsync> <!-- rsync的选项 -->
30 <commonParams params="-az"/>
31 <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/>
32 <userDefinedPort start="false" port="874"/><!-- port=874 -->
33 <timeout start="true" time="100"/><!-- timeout=100 -->
34 <ssh start="false"/>
35 </rsync> <!-- 每60分钟执行一次同步-->
36 <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--def
ault every 60mins execute once-->
4.1.3 启动
$ ./sersync2 –h
set the system param
execute:echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute:echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
_______________________________________________________
参数-d:启用守护进程模式
参数-r:在监控前,将监控目录与远程主机用rsync命令推送一遍
c参数-n: 指定开启守护线程的数量,默认为10个
参数-o:指定配置文件,默认使用confxml.xml文件
参数-m:单独启用其他模块,使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块,使用 -m socket 开启socket模块
参数-m:单独启用其他模块,使用 -m http 开启http模块
不加-m参数,则默认执行同步程序 $ /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml #启动命令
可以查看监控目录的文件是否和另一台服务器目录的文件一样了。
Rsync+Sersync实时同步数据目录的更多相关文章
- Rsync + sersync 实时同步备份
一 Rsync + Sersync 实时同步介绍 1.Rsync 服务搭建介绍 云机上搭建Rsync server,在本地搭建Rsync Clinet. 2. Sersync 服务搭建介绍 ...
- rsync & sersync 实时同步
1.根据之前一篇关于rsync的随笔部署好rsync服务后,可以开始inotify的部署 2.sersync的部署 ①.部署服务(安装和配置过程) #Master 部署Sersync服务 mkdir ...
- rsync+sersync实时同步
A: 运行rsync daemonB: 运行sersync ,会监控目录,发现改变会更新推送到A上 rsync见上面rsync设置 sersync安装配置1.建立目录mkdir -p /opt/ser ...
- 【转】inotify+rsync实现实时同步
[转]inotify+rsync实现实时同步 1.1 什么是实时同步:如何实现实时同步 要利用监控服务(inotify),监控同步数据服务器目录中信息的变化 发现目录中数据产生变化,就利用rsync服 ...
- rsync+inotify实时同步环境部署记录
随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足.首先,rsync在同步数据时,需要扫描所有文件后进行比对,进行差量传输.如果文件 ...
- sersync 实时同步工具
出处:http://code.google.com/p/sersync/ 当前版本的sersync依赖于rsync进行同步.如下图所示,在同步主服务器上开启sersync,将监控路径中的文件同步到目标 ...
- Sersync实时同步企业应用配置实战
一.实验环境 CentOS版本: 6.6(2.6.32.-504.el6.x86_64) Rsync版本: Rsync-3.0.6(系统自带) Sersync版本:sersync2.5.4_64bi ...
- linux设置rsync+inotify实时同步文件
linux设置rsync+inotify实时同步文件 应用场景: 同步接收方:test01 接收目录:/opt/software/test/a/ 同步发起方:test02 同步目录:/opt/so ...
- sersync 实时同步
1.什么是实时同步 监控一个目录的变化, 当该目录触发事件(创建\删除\修改) 就执行动作, 这个动作可以是 rsync同步 ,也可以是其他. 2.为什么要实时同步 1.能解决nfs单点故障问题. ...
随机推荐
- Vue 组件中 data 为什么必须是函数
原文地址 vue组件中的data必须是函数 类比引用数据类型 Object是引用数据类型,如果不用function 返回,每个组件的data 都是内存的同一个地址,一个数据改变了其他也改变了; jav ...
- Dell 12V/18A电源适配器接口改造
手头有几个航模用的充电器,原来一直用实验室电源,不方便移动,为了便携省地方,就想配个合适的电源.在网上找了下,航模专用的适配器价格太高,国产的杂牌适配器功率虚标严重并且可靠性是个问题,工业用的电源基本 ...
- 前端面试经典题之apply与call的比较
在讲apply和call之前,我们需要先清楚在js中,this指向的是什么. 大家可以参考一下阮一峰老师写的关于JavaScript中this的原理讲解文章:http://www.ruanyifeng ...
- 微信小程序实现navbar导航栏
一.效果图 二.涉及到组件 1.view组件 2.swiper组件 三.原理 整体来讲是比较简单的,顶部的navbar是使用flex进行布局的:下面的内容区域则是使用到swiper组件,使用方式比较简 ...
- Error:[$injector:modulerr]错误解决方式
1.报错信息如下图所示: 问题:目前应用打包之后,在iphone6手机上打开应用白板(打开vconsole发现有如上报错 >>> 测试过多部手机,仅上面的IOS9版本出现问题) ...
- JSP基础知识补充
<meta http-equiv="Pragma" content="no-cache"><meta http-equiv="Cac ...
- ip地址查询python3小工具_V0.0.1
看到同事在一个一个IP地址的百度来确认导出表格中的ip地址所对应的现实世界的地址是否正确,决定给自己新开一个坑.做一个查询ip“地址”的python小工具,读取Excel表格,在表格中的后续列输出尽可 ...
- cxLookupComboBox控件的应用
1.Properties-DropDownListStyle:下拉列表的模式, 里面有三个值:lsEditList: lsEditFixedList lsFixedList 2.Head ...
- Tornado WebSocket简单聊天
Tornado实现了对socket的封装:tornado.web.RequestHandler 工程目录: 1.主程序 manage.py import tornado.web import torn ...
- VUE-挂载点-实例成员-数据-过滤器-文本指令-事件指令-属性指令-表单指令-01
目录 路飞项目 vue vue 导读 vue 的优势 渐进式框架 引入 vue 实例成员 - 挂载点 el js 对象(字典)补充 实例成员 - 数据 data 实例成员 - 过滤器 filters ...