通过rsync搭建一个远程备份系统(一)
前言
我公司是电子商务公司,全部是linux系统,每天的网站数都在增加,为了保证安全,需要建立一个远程容灾系统,将网站数据每天凌晨1点备份到远程服务器上,由于数据量大,每天进行进行增量备份,仅仅备份当天增加数据,当网站出现故障后,可以通过备份最大程度地恢复数据。
一 解决方案
我们这里假设有A B两地的服务器,A地的服务器为网站服务器,B地服务器为远程容灾服务器,A服务器上运行着rsync的服务端,B地服务器上运行着rsync的客户端,这样,B地服务器上就可以通过系统守护进程crontab来定时备份A地服务器上指定的数据,从而实现远程数据备份的作用。
二 A地服务器配置:
我们采用源码安装的rsync,默认情况下/etc/rsync.conf是没有这个配置文件的,所以手动创建一个,它由一个或者多个模块结构构成,包括全局参数和模块参数。
[root@salt ~]# cat /etc/rsyncd.conf
uid = nobody
gid = nobody
use chroot = no
max connections = 10
strict modes = yes
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[ixdba]
path = /test/tmp
comment = ixdba file
ignore errors
read only = no
write only = no
hosts allow = *
hosts deny = 192.168.1.1
list = false
uid = root
gid = root
auth users = backup
secrets file = /etc/server.pass
[root@salt ~]# cat /etc/server.pass # 用户认证配置文件
backup:ixdba123
[root@salt ~]# chmod 600 /etc/server.pass # 必须是600的权限,不然客户端连接即使密码正确,也会提示认证出错
参数配置解释:
- uid:指该模块传输文件时守护进程应该具有的用户ID,默认值是nobody
- gid: 此选项指定当该模块传输文件时,守护进程应该具有的用户组ID,默认值是nobody
- max connections 定义模块最大连接数,以保护服务器,超过限制的连接请求将被暂停,默认值为0,没有限制、
- strict modes 此选项指定模块的最大并发连接数,以保护服务器,反之为no,设置为yes,密码文件的权限必须是root用户权限。
- lock file 锁文件,默认值是/var/run/rsyncd.lock
- [ixdba] 表示一个模块的开始,ixdba就是对应的模块名称
- path 此选项用来指定需要备份的文件或者目录,是必须设置的项
- ignore errors 表示可以忽略一些无关的I/O错误
- read only 设置为no表示客户端可以上传文件,设置为yes表示只读。
- write only 设置为no表示客户端可以下载,设置为yes表示不能下载
- hosts allow 设置可以连接rsync服务器的主机,“*” 表示允许连接任何主机。
- hosts deny 设置禁止连接rsync服务器的主机地址
- list 此选项用户设定当客户请求可以使用的模块列表时,该模块是否被列出。默认是true,如需要建立隐藏的模块,可以设置false
- auth users,此选项用来定义可以连接该模块的用户,多个用户空格或者逗号隔开,需要注意的是,这和系统用户没有任何关系。
- secrets file 指定一个 “用户名:密码” 格式的文件,用户名就是“auth users” 选项定义的用户,密码可以随便指定,只要和客户端secrets file对应起来即可,只有在auth users被定义时,该文件才起作用,系统默认没有这个文件,手动建立即可。
启动服务:
[root@salt ~]# rsync --daemon
[root@salt ~]# netstat -lnpt
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 1519/sshd
tcp 0 0 0.0.0.0:4505 0.0.0.0:* LISTEN 1685/python2.6
tcp 0 0 0.0.0.0:4506 0.0.0.0:* LISTEN 1798/python2.6
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 14595/rsync
tcp 0 0 :::22 :::* LISTEN 1519/sshd
tcp 0 0 :::873 :::* LISTEN 14595/rsync
[root@salt ~]# ps -ef |grep rsync
root 14595 1 0 01:06 ? 00:00:00 rsync --daemon
root 14598 1997 0 01:06 pts/0 00:00:00 grep rsync
三 B地服务器配置:
在备份机上不用做任何设置,只需要执行rsync同步操作即可,为了同步过程中不用输入密码,在B系统上创建一个secrets file,此文件的内容为A地服务器rsyncd.conf文件中auth users选项指定用户的密码,而这个文件的名称以及路径可以随意指定,只要在执行rsync同步时指定即可。命令如下:
rsync -vzrtopg --delete --progress --exclude "*access*" --exclude "debug" backup@172.16.22.126::ixdba /tmp/test/ --password-file=/etc/server.pass
[root@linux-node1 ~]# cat /etc/server.pass # 注意的是这里只是填写密码罢了,没有用户名
ixdba123
[root@linux-node1 ~]# chmod 600 /etc/server.pass
命令解释:
- -vzrtopg 选项中,z表示压缩文件在传输时(compresse),r表示recursive,递归传输,t表示保持文件时间信息,o表示owner,保持文件属主信息,p表示perms ,保持文件权限,g表示group,用来保持文件的属组信息。
- --delete 选项指定以rsync服务器端为基准进行数据镜像同步,也就要保持rsync服务器端目录和客户端目录完全一致,在这里以A地服务器为准。
- --progress 用户显示数据镜像同步的过程
- --exclude 选项用户排除不需要传输的文件类型。
- backup@172.16.22.126::ixdba 表示对服务器172.16.22.126的ixdba模块进行备份,backup表示使用backup这个用户对这个模块进行备份。
- /tmp/test/ 用户指定备份文件在客户端机器上的存放路径,就是将备份的文件存放在备份机的/tmp/test/下
- --password-file=/etc/server.pass 用来指定客户机上存放密码文件的位置,这样在和客户端执行同步命令时无需再输入密码,这个密码文件可以随意指定,但是必须在客户端上存在这个文件,文件的内容仅仅为备份用户的密码。这里填写的是backup用户的密码。
执行完命令后,rsync就开始自动同步数据了,从A同步到B上。
四 设置定时策略
我们采用crontab定时任务来定时备份数据。这种备份数据对于数据安全性要求不高的业务系统中。
crontab: installing new crontab
[root@linux-node1 ~]# crontab -l
1 1 * * * rsync -vzrtopg --delete --progress --exclude "*access*" --exclude "debug" backup@172.16.22.126::ixdba /tmp/test/ --password-file=/etc/server.pass
好了 ,通过以上4步,一个远程容灾系统已经搭建完成,当然这不是一个完美的方案对于数据安全性比较高的公司,此时需要一个能够自动检测文件变更后自动更新的备份系统,那么就需要结合inotify来做了,linux内核2.6.13以后的内核就支持inotify文件系统监控机制了。
所以下面介绍rsync+inotify
通过rsync搭建一个远程备份系统(一)的更多相关文章
- 通过rsync搭建一个远程备份系统(二)
Rsync+inotify实时备份数据 rsync在同步数据的时候,需要扫描所有文件后进行对比,然后进行差量传输,如果文件达到了百万或者千万级别以上是,扫描文件的时间也很长,而如果只有少量的文件变更了 ...
- 阿里云有奖体验:用PolarDB-X搭建一个高可用系统
体验简介 场景将提供一台配置了CentOS 8.5操作系统和安装部署PolarDB-X集群的ECS实例(云服务器).通过本教程的操作,带您体验如何使用PolarDB-X搭建一个高可用系统,通过直接ki ...
- 【分分钟内搭建一个带用户系统的博客程序(一)用户系统】asp.net core的Identity真香,EF真香!
不用不知道,一用香到爆. 老哥是个屌丝前端,但也想写点web应用耍一耍.之前弄过了NodeJs,也弄过JAVA,最近由于写游戏的原因用C#,索性上手一波asp.net core. 这篇博客记录的是,如 ...
- ubuntu下配置rsync,实现远程备份
rysnc(remote synchronize)在CentOS系统默认安装在/usr/bin,此外rysnc在windows平台下也有相应版本.主页地址为: http://rsync.samba.o ...
- linux 中部署 rsync 实现文件远程备份及 同步
客户端:数据源:服务端:数据接收方 rsync官方文档:https://www.samba.org/ftp/rsync/rsync.html 手动测试用“通过远程外壳访问"里的语法: 参考1 ...
- 流媒体技术的应用,如何搭建一个SimpleNVR流媒体服务系统
Onvif/RTSP流媒体服务 SimpleNVR Onvif/RTSP流媒体服务是一款软硬一体音视频流媒体服务软件.它是在5G.AI.云计算.大数据.物联网等网络技术大规模商用后,用户要求视频随时随 ...
- 用django搭建一个简易blog系统(翻译)(四)
12. Create the templates 你需要做三件事来去掉TemplateDoesNotExist错误 第一件,创建下面目录 * netmag/netmag/templates * net ...
- 用django搭建一个简易blog系统(翻译)(三)
06. Connecting the Django admin to the blog app Django 本身就带有一个应用叫作Admin,而且它是一个很好的工具 在这一部分,我们将要激活admi ...
- 用django搭建一个简易blog系统(翻译)(二)
03. Starting the blog app 在这部分,将要为你的project创建一个blog 应用,通过编辑setting.py文件,并把它添加到INSTALLED_APPS. 在你的命令行 ...
随机推荐
- retrofit2中ssl的Trust anchor for certification path not found问题
在retrofit2中使用ssl,刚刚接触,很可能会出现如下错误. java.security.cert.CertPathValidatorException: Trust anchor for ce ...
- js10秒倒计时鼠标点击次数统计
<html> <head> <meta charset="utf-8"/> <script type="text/javascr ...
- 13-mv 命令总结
- Android下的数据储存方式
安卓系统默认提供了一下几种数据储存的方式: Shared Preferences 内部储存 外部储存 SQLite数据库 保存到网络服务器 使用Shared Preferences ...
- linux 安装samba
1. yum -y install samba 2. 配置 vi /etc/samba/smb.conf [global] 下面的 修改 workgroup = MYGROUPsecurity = s ...
- struts2上传的问题
5. 在这里我加一个struts2的一个上传验证的问题 上传时我们可以这样来验证 //判断上传的文件是否合要求 public boolean filterType(String []types){ / ...
- 使用D3绘制图表(3)--添加坐标轴和文本标签
上一篇是曲线的绘制,这样仅仅只是有一条线,完全先是不出数据想要表现的内容,于是我们要添加坐标系,添加坐标系和画线类似. 1.还是没有变化的html页面 <!DOCTYPE html> &l ...
- this Activity.this Activity.class
1. this 与 Activity.this this是你当前对象的引用,在你的例子中你肯定在内部类ClickEvent里面实现intent,他指向的是ClickEvent,而不是你要传入的Acti ...
- Android PNG透明图片转JPG格式背景变黑
Android PNG透明图片转JPG格式背景变黑 在上传图片是,需要把PNG格式转换成JPG格式的,但是在遇上透明背景时,转过来就变成黑色底图了! 原因是PNG支持透明图而 JPG格式不支持透明底 ...
- C#.NET里面抽象类和接口有什么区别?
声明方法的存在而不去实现它的类被叫做抽象类(abstract class),它用于要创建一个体现某些基本行为的类,并为该类声明方法,但不能在该类中实现该类的情况.不能创建abstract 类的实例.然 ...