rsync数据备份方案

最近整理了下公司的数据备份情况。以下是部分操作的过程

1、rsync数据备份,具体备份过程就不详细介绍。数据都备份在/bakup目录下

2、删除过期数据及空目录

公司的备份数据量比较大,必须及时清除过期数据。

echo "日期:$(date +%Y-%m-%d);以下是以过期31天的文件:" > /var/log/delete.log
find /bakup -mtime +31 -name "*" >> /var/log/delete.log
find /bakup -mtime +31  -name "*" -type f  -exec rm -f {} \;
#删除bakup目录下的所有空目录(会逐级递删直到不存在任何空目录)
echo "日期:$(date +%Y-%m-%d);以下是需要删除的空目录:" >> /var/log/delete.log
find /bakup -type d -empty >> /var/log/delete.log
find /bakup -depth  -empty -type d -exec rm -r {} ‘;‘

3、使用tree命令打印备份目录的结果

/usr/bin/tree -shtN /bakup/data >> /var/index.txt

当备份目录中存在多份备份数据,打印出来的数据将大量重复。我们只想看到最新的数据

cd /bakup/data
day=`ls -lt|awk ‘NR==2‘|awk ‘{print $9}‘`
/usr/bin/tree -shtN /bakup/data/$day >> /var/index.txt

tree命令简单介绍下

参数

-a:显示所有文件和目录;

-A:使用ASNI绘图字符显示树状图而非以ASCII字符组合;

-C:在文件和目录清单加上色彩,便于区分各种类型;

-d:先是目录名称而非内容; -D:列出文件或目录的更改时间;

-f:在每个文件或目录之前,显示完整的相对路径名称;

-F:在执行文件,目录,Socket,符号连接,管道名称名称,各自加上"*","/","@","|"号;

-g:列出文件或目录的所属群组名称,没有对应的名称时,则显示群组识别码;

-i:不以阶梯状列出文件和目录名称;

-l:<范本样式> 不显示符号范本样式的文件或目录名称;

-l:如遇到性质为符号连接的目录,直接列出该连接所指向的原始目录;

-n:不在文件和目录清单加上色彩;

-N:直接列出文件和目录名称,包括控制字符;

-p:列出权限标示;

-P:<范本样式> 只显示符合范本样式的文件和目录名称;

-q:用“?”号取代控制字符,列出文件和目录名称;

-s:列出文件和目录大小;

-t:用文件和目录的更改时间排序;

-u:列出文件或目录的拥有者名称,没有对应的名称时,则显示用户识别码;

-x:将范围局限在现行的文件系统中,若指定目录下的某些子目录,其存放于另一个文件系统上,则将该目录予以排除在寻找范围外。

这条命令中打印出来的树结构包含了目录和文件的大小

/usr/bin/tree -shtN /bakup/data/$day >> /var/index.txt

用这条语句把目录的大小[4.0K]替换掉,出来的结果就是只显示文件大小的树结构。

/bin/sed  -i ‘s/\[4\.0K\]  //g‘ /var/index.txt

你可以在页面上显示出来,也可以定时邮件发送给运维人员!

/bin/mail -s "备份数据" "****@qq.com" < /var/index.txt

时间: 2024-10-06 12:26:41

rsync数据备份方案的相关文章

开源服务专题之-------rsync数据备份

RSYNC是Remote Sync 远程同步的简称,与SCP的比较,SCP= 无法备份大量数据,类似windows的复制,而rsync=边复制 ,边统计,边比较,可以备份大量数据.可以镜像保存整个目录树和文件系统.可以很容易做到保持原来文件的权限.时间.软硬链接等等.无须特殊权限即可安装.快速:第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件.压缩传输:rsync 在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽.安全:可以使用scp.ssh等方式来传输文

数据备份方案

经常有朋友发生了数据丢失时找我帮忙,我发现数据备份是最科学的解决方案.于是花时间把我这几年积累的数据备份方案整理出来,希望能帮到大家. 先看看几个典型情景: 我经常用手机拍照,万一我手机丢了,里面的照片的价值比一台新手机还大. 我把我的许多资料存在移动硬盘里了,结果今天硬盘出问题,读不出来,有什么办法可以挽回? 我的许多重要数据都存在我的个人电脑里,结果昨晚电脑被贼偷了. 我刚误修改了一份Excel文件,而且还保存了,我想要回修改前的文件. 以上是常见的几个代表情景,如果真的发生了,往往很难处理

混合云存储组合拳:基于云存储网关与混合云备份的OSS数据备份方案

前言阿里云对象存储(OSS)用户众多.很多用户因为业务或者合规性需求,需要对OSS内的数据做备份,无论是线上备份,还是线下备份.用户可以选择使用OSS的开放API,按照业务需求,做数据的备份,也可以选择OSS已有的服务进行数据备份,比如OSS的跨域复制.但是,前一种方式,存在易用性和备份效率问题:后一种方式,只是将数据存双份或者多份,无法有效规避原始数据出问题后,被复制的那份数据也出问题的风险.本文介绍的基于云存储网关和混合云备份的OSS数据备份方案,不仅能保证OSS数据按策略的多版本备份,而且

全网服务器数据备份方案(模拟生产环境)+邮件告知

使用rsync实现全网数据备份(模拟生产环境)+邮件告知 项目要求来源于网络:http://oldboy.blog.51cto.com/2561410/1856048 假定3台服务器主机名分别为web01.backup.nfs01,主机信息如下表: 服务器说明 内网IP 主机名 nginx web服务器 192.168.1.222 WEB-01 NFS存储服务器 192.168.1.233 NFS-01 rsync备份服务器 192.168.1.244 BACKUP 要求:每天晚上00点整在We

rsync+crontab备份方案

一.准备工作 1.1.安装Rsync 检查系统是否安装rsync 客户端NFS: [[email protected] ~]# rpm -qa rsync rsync-3.0.6-12.el6.x86_64 服务端rsync: [[email protected] ~]# rpm -qa rsync rsync-3.0.6-12.el6.x86_64 如果没有安装rsync服务 [[email protected] ~]# yum install rsync -y 1.2.配置rsync服务端:

企业数据备份方案

我们在选择备份设备时,应该根据企业用户需要备份数据量的大小.对备份速度的要求和对自动化程度的要求等,我们可以选择不同档次的设备.备份设备是多种多样的,主要分为磁带机.自动加载机.磁带库;而磁带库又分为入门级.企业级和超大容量等几个级别. 如果企业希望通过预先制定的备份策略,实现备份过程和备份介质的自动化管理,减少系统管理的工作量,则需要购买能够容纳多盘磁带的设备,即自动加载机或磁带库.自动加载机内一般能够容纳4-20盘磁带.它与带库的主要区别在于不是通过机械手抓取磁带,而是通过一个简单的自动传送

中小企业数据备份方案

据了解,中小企业网站大多用于品牌展示或兼有部分电子商务功能,所以数据备份显得十分重要.做好数据备份,不仅可以用于网站灾难恢复,还便于企业对网站的管理,毕竟这些数据,对于企业来说是一种无形资产. 托管数据备份 如果企业网站比较复杂,或者企业没有精力和资源去关注备份的事情,那么可以选择托管数据备份. 托管数据备份优缺点并存,最主要的就是企业需要完全信任和依赖外部的数据备份服务供应商,但无论采取何种服务方案,企业需要搞清楚的是: 数据备份服务商的备份计划,包括备份频率.备份完整度; 如果终止合同,取回

小企业数据备份方案

"互联网+"出来后,越来越多的企业投身互联网的发展,很多的小企业受政策刺激,对IT的投入也越来越大.与此同时,数据也是呈直线式的增长.那么如何掌控好这些数据呢?谁能保证不受硬件故障.人为操作错误.软件缺陷.电脑病毒等诸多因素影响呢?尤其是小型互联网企业更甚. 一.中小企业信息系统现状: 1.中小企业的应用环境一般为有一定数量的基于Windows桌面系统/linux系统的个人计算机.数台基于WINDOWS NT/2000或linux操作系统的文件服务器.WEB服务器.数据库服务器和邮件服

rsync数据备份

一 基本概念 1.1 rsync介绍 rsync,remote synchronize,是一款实现远程同步功能的软件,在同步文件的同时,可以保持原来文件的权限,时间,软硬链接等附加信息.Rsync是使用rsync算法提供一个客户机和远程文件服务器的文件同步的快速算法,而且可以同步ssh的方式来传输 rsync特点 可以镜像保存整个目录和文件系统 可以很容易做到保持原来文件的权限,时间,软硬链接等 无须特殊权限即可安装 快速:第一次同步时,rsync会复制全部的内容,但在下一次指挥复制修改过的文件