[转帖]tar高级教程：增量备份、定时备份、网络备份

tar高级教程：增量备份、定时备份、网络备份

作者: lesca 分类: Tutorials, Ubuntu 发布时间: 2012-03-01 11:42 ?浏览 27,065 次 61条评论

一、概述

备份与恢复对于系统维护而言是至关重要的事情。不合理的备份与还原会让你的数据面临丢失的风险。许多用户都在丢失重要数据后才意识到这种风险。而要从这种情况恢复数据将是非常耗时并且困难的。所以我们应该从别人的错误中吸取教训，并确保你的系统处于保护中。先考虑一些问题：

何时进行备份?

如果你可以接受一个星期的数据丢失，那么每周备份一次就足够了。但是如果你只能容忍一天的数据损失，那么你就必须每天晚上进行备份。

备份到哪？

显然备份到系统所在磁盘不是明智之举，用户应该备份到外接硬盘或者磁带上面。
为了让文章看上去更简单，本文所做的例子并没有备份到外接设备上，而是在/backup目录下。

要备份什么？

我们要备份整个系统，因此这里需要考虑的是不必备份的目录：

  • /backup
  • /proc
  • /lost+found
  • /sys
  • /mnt
  • /media
  • /dev
  • /tmp

备份方式

tar支持三种方式进行备份：
1.完整备份：备份指定的所有目标文件或文件夹
2.增量备份：仅备份atime与上次备份不同的文件或文件夹
3.差异备份：与增量备份差不多，只是增加了对Windows文件系统的支持

本文主要阐述如何用tar对系统进行增量备份，以及如何利用cron设置定时备份。

二、基础知识

mtime, atime, ctime

Linux的文件系统会记录以下三种时间
mtime： 文件修改时间。当文件内容呢发生改变时更新。 ls -l默认显示mtime
atime： 文件访问时间。当文件被访问时自动更新。要查看文件的atime，执行ls -lu。
　　　　/!\注意：atime可能在tar进行备份时可能发生变化（和文件系统和tar版本有关），可以用–atime-preserve防止这种更新。
ctime： 文件属性修改时间。当文件属性或权限发生变化时更新。要查看文件的atime，执行ls -lc。

三、开始增量备份

GNU tar使用--listed-incremental选项（缩写为-g）进行增量备份：

tar -czvpf /backup/backup.tar.gz -g /backup/snapshot.snar --exclude=/backup --exclude=/proc --exclude=/lost+found --exclude=/sys --exclude=/mnt --exclude=/media --exclude=/dev --exclude=/tmp /

三、需要了解的

1.最后一个斜杠“/”告诉tar要从根目录进行备份。
2.tar非常依赖atime，以下情况会导致归档数据文件不一致：
　(1)备份期间对文件的任何访问
　(2)备份期间将系统时间调慢
3.tar假设待备份的文件所在磁盘设备ID是不变的，但NFS等某些文件系统并不属于这种情况，可以用--no-check-device阻止tar进行检查
4.除非情况紧急，并且你充分信任tar，否则你最好在备份时使用--verify选项（缩写为-W）以确保数据正确地进行备份。但不幸的是它并不支持所有的存储介质（比如磁带）。

5.–listed-incremental与–incremental（-g与-G）的区别

–listed-incremental（缩写为-G）是该参数是–listed-incremental（缩写为-g）的快捷选项，不需要指定增量文件。它也是旧版本的tar增量备份遗留下来的。现在常常用于解压增量备份，或者列出增量备份的文件列表。
-G与-g相比，-g能通过复制snar文件的方式创建多层次的增量备份文件，而-G却只能用level0

四、列出备份文件列表

tar -tGvvf backup.tar.gz

-t 等价于 –list
-Gvv 一种固定用法，列出文件属性的同时还显示备份属性：
Y – 该文件在归档文件中
N – 该文件不在归档文件中
D – 文件夹

五、数据恢复还原

数据恢复无需为tar指定增量文件snar，因为tar所需的信息已经包含在打包的文件中了。
要恢复数据，以下三种方式都是可行的：

方法一：

将增量文件指定为/dev/null

tar -xzvpf /backup/backup.tar.gz -g /dev/null -C /

方法二：

使用--incremental参数（缩写为-G）

tar -xzvpGf /backup/backup.tar.gz -C /

方法三：

某些情况下，你还可以省略-G选项，但这不是推荐的版本：

tar -xzvpf /backup/backup.tar.gz -C /

六、利用cron定时备份

新建cron计划任务非常简单，以下方法都可以完成：

方法一：

$ crontab -e

方法二：

# vi /etc/crontab

在笔者的Linux上，方法一只能以当前用户的权限运行计划的任务；方法二可以指定程序以哪个用户执行，但是必须以root身份编辑该文件。
在此，因为要对整个文件系统进行备份，因此仅以/etc/crontab为例进行介绍：

# m h dom mon dow user  command
　1　3　*　　*　　*　root　/root/scripts/daily_backup

这行配置表明，在每天3:01分执行/root/scripts/daily_backup这个脚本里的文件。

七、讨论

tar, cpio, rsync, dump

之前有人使用cpio进行备份，但是后来发现cpio格式无法提取单个文件。但是tar也有自己的缺点：
1.它过度依赖于atime
2.如果将归档文件恢复到一个新的文件系统中，所有文件的atime和ctime都被刷新。对于新系统，旧的增量备份文件不再适用，得重新做一遍。
相比之下，rsync似乎很好解决这个问题，而且具有较快的速度。
而dump是所有流行的备份软件中对文件完整性表现最好的[3]

八、Script（脚本）

利用tar内置的增量备份功能进行备份

本代码完成以下任务：

  • 找到备份数据库bkdb（记录当前备份的level），如果没有则从level 0开始备份
  • 以当前时间和level为备份文件以及snar文件命名
  • 复制旧版本的snar，从而提升level
  • 将新的snar指定给tar，进行备份

/!\注意：请将本脚本放置在/backup目录下运行
[bash]
#!/bin/bash
# system backup
# Sun Feb 19 00:34:42 CST 2012
# by lesca

# Read db file and config
if [ -f "bkdb" ]; then
eval `grep VER bkdb`
eval `grep NAME bkdb`
OLD=$VER
NEW=$((OLD+1))
else
NEW=0
fi

DATE=`date +%Y%m%d-%H%M%S`
BKFILE=$DATE-$NEW.tar.gz
NEWSNAP=$DATE-$NEW.snar
OLDSNAP=$NAME.snar

# Create new snapshot
if [ -e "$OLDSNAP" ]; then
cp $OLDSNAP $NEWSNAP
fi

tar -czvpf /backup/$BKFILE -g /backup/$NEWSNAP –exclude=/backup –exclude=/proc –exclude=/lost+found –exclude=/sys –exclude=/mnt –exclude=/media –exclude=/dev –exclude=/tmp /

echo VER=$NEW > bkdb
echo NAME=$DATE-$NEW >> bkdb
echo Archived $BKFILE with snapshot $NEWSNAP
[/bash]

恢复增量备份文件

本代码完成以下任务：

  • 找到备份数据库bkdb（记录当前备份的level），如果没有则结束
  • 根据bkdb指定的信息，找到备份文件和snar，进行还原
  • 检查排除备份的文件夹是否存在，不存在则创建

/!\注意：还原会刷新atime和ctime
[bash]
#!/bin/bash

end() {
echo $1
exit
}

nameOf() {
ls -1 | grep $1.tar.gz | cut -c1-15
}

if [ -f "bkdb" ]; then
eval `grep VER bkdb`
if [ $# -eq "1" ] && [ $1 -le $VER ]; then
VER=$1
fi
else
end "Error: No backup archives."
fi

ver=0
while [ $ver -le "$VER" ]; do
ARCHIVE=`nameOf $ver`-$ver.tar.gz
echo $ARCHIVE
tar -xzvpGf $ARCHIVE -C /
ver=$((ver+1))
done
NAME=`nameOf $VER`-$VER
echo VER=$VER > bkdb
echo NAME=$NAME >> bkdb

if [ ! -e /proc ]; then
mkdir /proc
fi

if [ ! -e /lost+found ]; then
mkdir /lost+found
fi

if [ ! -e /sys ]; then
mkdir /sys
fi

if [ ! -e /mnt ]; then
mkdir /mnt
fi

if [ ! -e /media ]; then
mkdir /media
fi

if [ ! -e /dev ]; then
mkdir /dev
fi

if [ ! -e /tmp ]; then
mkdir /tmp
fi
[/bash]

改进版本：利用find仅备份mtime更新的文件

本代码[4]完成以下任务：

  • 载入当前日期到环境变量
  • 每周日进行一次完全备份，删除之前的增量备份
  • 平时进行增量备份

[bash]
#!/bin/bash
#
# creates backups of essential files
#
DATA="/home /root /usr/local/httpd"
LIST="/tmp/backlist_$$.txt"
#
set $(date)
#
if test "$1" = "Sun" ; then
# weekly a full backup of all data and config. settings:
#
tar -czvf "/backup/data/data_full_$6-$2-$3.tgz" $DATA
rm -f /backup/data/data_diff*
else
# incremental backup:
#
find $DATA -depth -type f \( -ctime -1 -o -mtime -1 \) -print > $LIST
tar -czTvf "backup/data/data_diff_$6-$2-$3.tgz" "$LIST"
rm -f "$LIST"
fi
[/bash]

九、tar高级技巧

1.档案分割

创建时分割：

tar -cvpz <put options here> / | split -d -b 3900m - /name/of/backup.tar.gz

创建后分割：

split -d -b 3900m /path/to/backup.tar.gz /name/of/backup.tar.gz

2.通过netcat进行网络备份

发送端

tar -czvp <all other options> / | nc -q 0 <receiving host> 1024

接收端

nc -l 1024 > backup.tar.gz

/!\注意：由于通过网络备份tar不再需要参数-f执行备份档案名称，该名称由接收端的nc重定向指定
{i}参数说明：
-q 0: wait 0 second on QUIT
-l 1024: Listen port 1024

3.通过netcat进行网络恢复

发送端

cat backup.tar.gz | nc -q 0 <receiving host> 1024

接收端

nc -l 1024 | tar -xzvpf - -C /

4.通过SSH进行网络备份与恢复

在安装了SSH服务的主机（SSH Server）上，客户端只需直接发起连接并传送命令到目标计算机（SSH Server），就能完成操作。所有数据通过“管道”传送，用户不需要了解通过哪个端口备份（当然您也可以自行指定），而且所有传输的数据都是加密的。因此通过SSH备份，更安全、更方便、只需一人就能完成备份工作。请在准备备份的计算机上执行以下命令：

tar -cvpz <all other options> / | ssh <backuphost> "( cat > ssh_backup.tar.gz )"

要恢复文件，请执行以下命令：

cat ssh_backup.tar.gz | ssh <receivinng host> "( tar -xzvp -C / )"

想了解更多关于SSH的内容，请参看SSH端口转发（本地端口转发、远程端口转发、动态端口转发）工作原理、应用详解

References

[1] Ubuntu – BackupYourSystem
[2] GNU – Performing Backups and Restoring Files
[3] FreeBSD – 19.12 Backup Basics
[4] Backup script for Linux using tar and find

Copyright

本文永久链接: https://lesca.me/archives/how-to-incrementally-backup-linux-with-gnu-tar.html

原文地址：https://www.cnblogs.com/jinanxiaolaohu/p/10442611.html

时间： 2024-11-09 21:09:45

[转帖]tar高级教程：增量备份、定时备份、网络备份的相关文章

tar高级教程：增量备份、定时备份、网络备份

一.概述 备份与恢复对于系统维护而言是至关重要的事情.不合理的备份与还原会让你的数据面临丢失的风险.许多用户都在丢失重要数据后才意识到这种风险.而要从这种情况恢复数据将是非常耗时并且困难的.所以我们应该从别人的错误中吸取教训,并确保你的系统处于保护中.先考虑一些问题: 何时进行备份? 如果你可以接受一个星期的数据丢失,那么每周备份一次就足够了.但是如果你只能容忍一天的数据损失,那么你就必须每天晚上进行备份. 备份到哪? 显然备份到系统所在磁盘不是明智之举,用户应该备份到外接硬盘或者磁带上面. 为

linux自动代码增量备份 结合 全量备份

需求说明 系统环境:linux(centos7)备份内容:增量备份 结合 全量备份 公司中的生产服务器数据非常重要,所以我们需要通过备份服务器将生产服务器的数据进行备份. rsync的增量备份,不单单会同步新增的内容,就连删除的内容也会同步.假如管理代码人员误操作将代码误删除,那么备份服务器检测到备份原的数据产生变化后,也会与其同步,此时生产服务器与备份服务器的代码都会丢失. 增量备份要求的频率较高,但在生产与备份服务器之间的网络资源消耗较少,所以我们可以使用rsync来做增量备份,然后结合在备

MPLS VPN 高级教程（张洋讲解演示版）

MPLS VPN 高级教程(张洋讲解演示版) 课程目标: ü        LDP的实施和特性 ü        PE-CE路由协议以的实施,以及它们在MPLS VPN中的特性: ü        如何通过MPLS网络运载IPv6,6PE和6VPE的含义和它的运作过程: ü        MPLS VPN的各种配置方案 适合人群:希望深入理解MPLS-VPN的人群. 课程位置: http://edu.51cto.com/course/course_id-5737.html 具体内容:   第一课

Swift研究之编程高级教程（二）属性，存储属性详解

 属性 属性是依赖于某个特定的类.结构体或者枚举类型的值.Swift有两种属性:存储类型和计算类型.其中存储类型可以作为实例的一部分存放变量或者常量的值,而计算类型的属性值是通过运算的来的.计算类型的属性可以在类.结构体和枚举类型中出现,但存储类型只可能出现在类和结构体类型中. 属性一般依赖于一个特定类型的实例,但是也可以依赖于类本身.依赖于类型本身的属性称为类型属性. 可以定义属性观察者来监督属性值的改变,从而作出响应.对集合不明白的看集合类型-数组详解 存储属性 常量属性let的值在初始

shell脚本 每天定时进行自动备份实战脚本~~~

定时备份脚本 在每天设定的时间内,准时准点的对我们要备份的数据信息进行备份:正因为每天备份大量的数据信息会叠加,对我们的磁盘产生负担,为了能够减轻我们磁盘容量的负担,又能实现我们每天的数据备份:我们今天开发的脚本呢,就是为了实现这样的需求:每天实现自动备份,当备份到第五天的时候,就把第一天的备份进行删除,只备份四天的备份,以此类推. 这样做的好处既不会影响我们的备份信息,又不会给我们的磁盘造成负担... 脚本代码 [[email protected] order]# vim back-up.sh

千锋《Java高级教程+分布式+springcloud+微信支付》

课程目录:├─千锋Java高级教程-cas单点登录(完结-8集)│      01单点登录介绍│      02cas介绍│      03tomcat搭建https│      04cas server搭建│      05Cas 配置 jdbc 连接数据库│      06Cas 密码 MD5值│      07 Cas 整合shiro1│      07 Cas 整合shiro2│      ├─千锋Java高级教程-dubbo+zookeeper分布式系统架构基础(11集)│      

计算机网络高级教程考点个人总结

计算机网络高级教程 选择题 50~60分 论述题:40~50分 个人总结仅供参考 论述题范围 1.  google公司,IBM公司.微软公司.苹果公司.华为公司.百度公司的技术发展方向. 2.5G的特点及其产业应用. 3.智慧城市的应用探索. 4.机器人技术与应用探索. Google公司市值6819.40亿美元,IBM市值1450亿美元,苹果8000亿美元,微软5400亿美元,阿里3632.63亿美元,腾讯3462亿美元,京东600亿美元,百度600亿美元,华为没有上市,没有市值. 选择题范围

下载快速上手数据挖掘之solr搜索引擎高级教程（Solr集群、KI分词、项目实战）

Solr是一个高性能,采用Java开发,基于Lucene的全文搜索服务器.同时对其进行了扩展,提供了比Lucene更为丰富的查询语言,同时实现了可配置.可扩展并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文搜索引擎. 快速上手数据挖掘之solr搜索引擎高级教程(Solr集群.KI分词.项目实战),刚刚入手,转一注册文件,视频的确不错,可以先下载看看:http://pan.baidu.com/s/1jIdgtWM 密码:s1t3

Net并行编程高级教程--Parallel

Net并行编程高级教程--Parallel 一直觉得自己对并发了解不够深入,特别是看了<代码整洁之道>觉得自己有必要好好学学并发编程,因为性能也是衡量代码整洁的一大标准.而且在<失控>这本书中也多次提到并发,不管是计算机还是生物都并发处理着各种事物.人真是奇怪,当你关注一个事情的时候,你会发现周围的事物中就常出现那个事情.所以好奇心驱使下学习并发.便有了此文. 一.理解硬件线程和软件线程 多核处理器带有一个以上的物理内核--物理内核是真正的独立处理单元,多个物理内核使得多条指令能够