rsync数据备份方案

原文:http://blog.51cto.com/irow10/1826458

最近整理了下公司的数据备份情况。以下是部分操作的过程

1、rsync数据备份,具体备份过程就不详细介绍。数据都备份在/bakup目录下

2、删除过期数据及空目录

公司的备份数据量比较大,必须及时清除过期数据。

1
2
3
4
5
6
7
echo "日期:$(date +%Y-%m-%d);以下是以过期31天的文件:" /var/log/delete.log
find /bakup -mtime +31 -name "*" >> /var/log/delete.log
find /bakup -mtime +31  -name "*" -type f  -exec rm -f {} \;
#删除bakup目录下的所有空目录(会逐级递删直到不存在任何空目录)
echo "日期:$(date +%Y-%m-%d);以下是需要删除的空目录:" >> /var/log/delete.log
find /bakup -type d -empty >> /var/log/delete.log
find /bakup -depth  -empty -type d -exec rm -r {} ';'

3、使用tree命令打印备份目录的结果

1
/usr/bin/tree -shtN /bakup/data >> /var/index.txt

当备份目录中存在多份备份数据,打印出来的数据将大量重复。我们只想看到最新的数据

1
2
3
cd /bakup/data
day=`ls -lt|awk 'NR==2'|awk '{print $9}'`
/usr/bin/tree -shtN /bakup/data/$day >> /var/index.txt

tree命令简单介绍下

参数

-a:显示所有文件和目录;

-A:使用ASNI绘图字符显示树状图而非以ASCII字符组合;

-C:在文件和目录清单加上色彩,便于区分各种类型;

-d:先是目录名称而非内容; -D:列出文件或目录的更改时间;

-f:在每个文件或目录之前,显示完整的相对路径名称;

-F:在执行文件,目录,Socket,符号连接,管道名称名称,各自加上"*","/","@","|"号;

-g:列出文件或目录的所属群组名称,没有对应的名称时,则显示群组识别码;

-i:不以阶梯状列出文件和目录名称;

-l:<范本样式> 不显示符号范本样式的文件或目录名称;

-l:如遇到性质为符号连接的目录,直接列出该连接所指向的原始目录;

-n:不在文件和目录清单加上色彩;

-N:直接列出文件和目录名称,包括控制字符;

-p:列出权限标示;

-P:<范本样式> 只显示符合范本样式的文件和目录名称;

-q:用“?”号取代控制字符,列出文件和目录名称;

-s:列出文件和目录大小;

-t:用文件和目录的更改时间排序;

-u:列出文件或目录的拥有者名称,没有对应的名称时,则显示用户识别码;

-x:将范围局限在现行的文件系统中,若指定目录下的某些子目录,其存放于另一个文件系统上,则将该目录予以排除在寻找范围外。

这条命令中打印出来的树结构包含了目录和文件的大小

1
/usr/bin/tree -shtN /bakup/data/$day >> /var/index.txt

用这条语句把目录的大小[4.0K]替换掉,出来的结果就是只显示文件大小的树结构。

1
/bin/sed  -i 's/\[4\.0K\]  //g' /var/index.txt

你可以在页面上显示出来,也可以定时邮件发送给运维人员!

1
/bin/mail -s "备份数据" "****@qq.com" /var/index.txt

(转)rsync数据备份方案的更多相关文章

  1. 开源服务专题之-------rsync数据备份

    RSYNC是Remote Sync 远程同步的简称,与SCP的比较,SCP= 无法备份大量数据,类似windows的复制,而rsync=边复制 ,边统计,边比较,可以备份大量数据.可以镜像保存整个目录 ...

  2. 混合云存储组合拳:基于云存储网关与混合云备份的OSS数据备份方案

    前言 阿里云对象存储(OSS)用户众多.很多用户因为业务或者合规性需求,需要对OSS内的数据做备份,无论是线上备份,还是线下备份.用户可以选择使用OSS的开放API,按照业务需求,做数据的备份,也可以 ...

  3. 13.在项目中部署redis企业级数据备份方案以及各种踩坑的数据恢复容灾演练

    到这里为止,其实还是停留在简单学习知识的程度,学会了redis的持久化的原理和操作,但是在企业中,持久化到底是怎么去用得呢? 企业级的数据备份和各种灾难下的数据恢复,是怎么做得呢? 1.企业级的持久化 ...

  4. 04.简单了解一下Redis企业级数据备份方案

    一.企业级的持久化的配置策略 (1)每隔1分钟去检查如果超过10000个可以变更,则生成一个快照.RDB最多丢1分钟的数据. save 60 10000 (2)AOF一定要打开,fsync,every ...

  5. Rsync数据备份工具

    Rsync数据备份工具 1.Rsync基本概述 rsync是一款开源的备份工具,可以在不同主机之间进行同步(windows和Linux之间 Mac和 Linux Linux和Linux),可实现全量备 ...

  6. Oracle DataGuard数据备份方案详解

    Oracle DataGuard是一种数据库级别的HA方案,最主要功能是冗灾.数据保护.故障恢复等. 在生产数据库的"事务一致性"时,使用生产库的物理全备份(或物理COPY)创建备 ...

  7. MySQL 大数据备份方案之Percona XtraBackup

    Xtrabackup介绍 1.Xtrabackup是什么 Xtrabackup是一个对InnoDB做数据备份的工具,支持在线热备份(备份时不影响数据读写),是商业备份工具InnoDB Hotbacku ...

  8. rsync 数据备份+cron+mailx案例

    大家都知道数据非常重要的,需要经常备份,如果备份了,但无法恢复还原,那就证明你备份的很失败,所有当我们备份了数据需要检查是否备份完整,是否可用可恢复.以下为一个企业案例: 某公司里有一台Web服务器, ...

  9. rsync数据备份

    scp远程复制 scp是 secure copy的缩写, scp是linux系统下基于ssh登陆进行安全的远程文件拷贝命令. 命令格式: scp local_file remote_username@ ...

随机推荐

  1. MVC小记备忘

    1,页面用<dl><dt><dd>和Bootstrap的"dl-horizontal"类布局页面,使每一个属性名和属性值占一行 <dl c ...

  2. 动态变更GridView控件列名

    近段时间,确是很多专案要写,客户的个性化要求也越来越多.举个例子吧,就是从数据库取出来的字段名,在显示在GridView时,需要全部更为另外一个名称.下面的样例,并非是专案的内容,而是Insus.NE ...

  3. 运维利器:钉钉机器人脚本告警(Linux Shell 篇)

    写在前面的话 目前换了几家公司,且最近几家都是以钉钉作为公司 OA 聊天工具,总的来说还是很不错的.最近去了新公司,由于公司以前没有运维,所以监控,做自动化等方面都没有实施,恰逢这个机会把最近做的关于 ...

  4. 在Linux x86_64环境下编译memcached

    Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载.它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提供动态.数据库驱动网站的速度.Memcached ...

  5. P4014 分配问题

    \(\color{#0066ff}{题目描述}\) 有 \(n\) 件工作要分配给 \(n\) 个人做.第 \(i\) 个人做第 \(j\) 件工作产生的效益为 \(c_{ij}\) .试设计一个将 ...

  6. 数据结构4:顺序表(线性表的顺序存储结构)及C语言实现

    逻辑结构上呈线性分布的数据元素在实际的物理存储结构中也同样相互之间紧挨着,这种存储结构称为线性表的顺序存储结构. 也就是说,逻辑上具有线性关系的数据按照前后的次序全部存储在一整块连续的内存空间中,之间 ...

  7. 用勤哲excel服务器开发设计燃烧器生产行业ERP

    J公司是一家专业从事设计.制造.生产及销售各类燃油燃气燃烧设备和各类冶金燃烧装置的专业公司.2011年随着企业的发展,原来手工操作模式已经很难应付日益增长的工作量. J公司希望通过软件管理实现以下几个 ...

  8. IDEA 中 使用 git(Git)

    GitLab GitLab 是一个用于仓库管理系统的开源项目,使用Git作为代码管理工具,并在此基础上搭建起来的web服务.安装方法是参考GitLab在GitHub上的Wiki页面. Git Git( ...

  9. Qt 学习之路 2(2):Qt 简介

    Home / Qt 学习之路 2 / Qt 学习之路 2(2):Qt 简介 Qt 学习之路 2(2):Qt 简介  豆子  2012年8月21日  Qt 学习之路 2  43条评论 Qt 是一个著名的 ...

  10. FPGA基础学习(1) -- FFT IP核(Quartus)

    为了突出重点,仅对I/O数据流为steaming的情况作简要说明,以便快速上手,有关FFT ip核模型及每种设置详细介绍请参考官方手册FFT MegaCore Function User Guide. ...