rsync常用命令及格式

rsync常用命令及格式

rsync在同步文件夹内容这个工作上应用非常广泛,但是rsync本身命令还是比较复杂,本文总结一下:

rsync = remote sync的简称 ,它 被用于在linux/unix系统中执行备份操作。rsnync用于从一个位置到另外一个位置同步文件和文件夹。备份的地址可以是本地也可以是remote server。

rsync的重要功能:

speed

首次使用时,rsync在source和destination folder之间复制全部内容。下次使用时,rsync只传输变更的块或字节到目的地,而这个机制将大大提升传输速度

security

rsync允许对数据使用ssh协议加密

less bandwidth

rsync使用对数据块压缩和解压缩的办法降低带宽需求。

privileges

无需特殊的特权来运行rsync

语法

$ rsync options source destination
source和destination可以是本地或者远程目录。对于远程的情况,需要指定login name, remote server name and location

例1:在本地服务器上同步两个目录

在本地机器上同步两个目录,使用rsync -zvr命令

$ rsync -zvr /var/opt/installation/inventory/ /root/temp
building file list ... done
sva.xml
svB.xml
.
sent 26385 bytes  received 1098 bytes  54966.00 bytes/sec
total size is 44867  speedup is 1.63
$

上述命令中:

-z  打开压缩功能

-v verbose更多打印信息

-r recursive

执行上述命令后,你会发现rsync copy会影响到文件的timestamp信息,这时因为默认rsync并不保护timestamp信息

例2:在sync时,保留时间戳 -a(achive mode:recursive mode, 保留符号链接,保留权限信息,时间戳,以及owner,group信息)

$ rsync -azv /var/opt/installation/inventory/ /root/temp/
building file list ... done
./
sva.xml
svB.xml
.
sent 26499 bytes  received 1104 bytes  55206.00 bytes/sec
total size is 44867  speedup is 1.63
$注意这时你会发现source,dest文件的时间戳等信息是不变的
$ ls -l /var/opt/installation/inventory/sva.xml /root/temp/sva.xml
-r--r--r-- 1 root  bin  949 Jun 18  2009 /var/opt/installation/inventory/sva.xml
-r--r--r-- 1 root  bin  949 Jun 18  2009 /root/temp/sva.xml

例3:只同步一个文件

只要在rsync命令中指定文件名称即可:

$ rsync -v /var/lib/rpm/Pubkeys /root/temp/
Pubkeys
sent 42 bytes  received 12380 bytes  3549.14 bytes/sec
total size is 12288  speedup is 0.99

例4:从本地到远端

$ rsync -avz /root/temp/ [email protected]:/home/thegeekstuff/temp/
Password:
building file list ... done
./
rpm/
rpm/Basenames
rpm/Conflictname
sent 15810261 bytes  received 412 bytes  2432411.23 bytes/sec
total size is 45305958  speedup is 2.87

当执行和remote server同步的动作时,你需要指定username,ip。也要指定远程服务器上的目的地目录,格式是: [email protected]:Path

这个过程中,rsync会要求输入密码。但是如果你有一个脚本自动运行这个备份动作,你可能希望不要手动输入密码,这时可以参考: http://www.thegeekstuff.com/2008/11/3-steps-to-perform-ssh-login-without-password-using-ssh-keygen-ssh-copy-id/

例5:从远程到本地

$ rsync -avz [email protected]:/var/lib/rpm /root/temp
Password:
receiving file list ... done
rpm/
rpm/Basenames
.
sent 406 bytes  received 15810230 bytes  2432405.54 bytes/sec
total size is 45305958  speedup is 2.87

例6:remote shell for synchronization

rsync允许你指定你想使用的remote shell,你可以使用rsync -e ssh来enable the secured remote connection

$ rsync -avz -e ssh [email protected]:/var/lib/rpm /root/temp
Password:
receiving file list ... done
rpm/
rpm/Basenames
sent 406 bytes  received 15810230 bytes  2432405.54 bytes/sec
total size is 45305958  speedup is 2.87

例7:不覆盖目的地址上已经修改过的文件

典型情况下,如果一个文件在destination被修改的话,我们可能并不希望使用来自source的老文件去覆盖修改

使用rsync -u选项达到这个目的(即:如果目的地上修改过,那么不要覆盖它)在下面的例子中,Basenames文件在destination上做了修改,因此如果使用-u选项,则不会被修改

$ ls -l /root/temp/Basenames
total 39088
-rwxr-xr-x 1 root root        4096 Sep  2 11:35 Basenames
$ rsync -avzu [email protected]:/var/lib/rpm /root/temp
Password:
receiving file list ... done
rpm/
sent 122 bytes  received 505 bytes  114.00 bytes/sec
total size is 45305958  speedup is 72258.31
$ ls -lrt
total 39088
-rwxr-xr-x 1 root root        4096 Sep  2 11:35 Basenames

例8:只同步目录tree structure(而不同步文件)

使用-d想想将只从source到destination同步文件夹的tree structure,下面的例子,只会递归同步目录树,而目录中的文件不会同步

$ rsync -v -d [email protected]:/var/lib/ .
Password:
receiving file list ... done
logrotate.status
CAM/
YaST2/
acpi/
sent 240 bytes  received 1830 bytes  318.46 bytes/sec
total size is 956  speedup is 0.46

例9:查看rsnync传输进度

当使用rsync来做备份时,你可能希望知道backup的进度,比如有多少个文件已经copy了,以及copy的速度等信息, rsync -progress将会打印rsync执行中的详细信息:

$ rsync -avz --progress [email protected]:/var/lib/rpm/ /root/temp/
Password:
receiving file list ...
19 files to consider
./
Basenames
     5357568 100%   14.98MB/s    0:00:00 (xfer#1, to-check=17/19)
Conflictname
       12288 100%   35.09kB/s    0:00:00 (xfer#2, to-check=16/19)
.
.
.
sent 406 bytes  received 15810211 bytes  2108082.27 bytes/sec
total size is 45305958  speedup is 2.87

例10:删除在Targe上创建的文件

如果在source这一侧并不存在一个文件,而这个文件本身又在destination上存在,那么你可以指定删除这个文件,-delete选项完成这个功能

# Source and target are in sync. Now creating new file at the target.
$ > new-file.txt
$ rsync -avz --delete [email protected]:/var/lib/rpm/ .
Password:
receiving file list ... done
deleting new-file.txt
./
sent 26 bytes  received 390 bytes  48.94 bytes/sec
total size is 45305958  speedup is 108908.55
注意:new-file.txt文件将在rsync过程中被删除

例11:在destination(target)上不创建新文件

如果你喜欢,你可以只update(sync)那些在target上已经存在的文件。如果source有新的文件,而这个文件本身在target上并不存在,那么你可以通过-existing选项避免在destination上创建这些新文件

首先在source上创建一个new-file.txt文件
[/var/lib/rpm ]$ > new-file.txt
$ rsync -avz --existing [email protected]:/var/lib/rpm/ .
[email protected]‘s password:
receiving file list ... done
./
sent 26 bytes  received 419 bytes  46.84 bytes/sec
total size is 88551424  speedup is 198991.96

例12:查看source/destination之间的变更

At source:
$ ls -l /var/lib/rpm
-rw-r--r-- 1 root root  5357568 2010-06-24 08:57 Basenames
-rw-r--r-- 1 root root    12288 2008-05-28 22:03 Conflictname
-rw-r--r-- 1 root root  1179648 2010-06-24 08:57 Dirnames
At destination:
$ ls -l /root/temp
-rw-r--r-- 1 root root        0 Sep  3 06:39 Basenames
-rw-r--r-- 1 root root    12288 May 28  2008 Conflictname
-rw-r--r-- 1 bin  bin   1179648 Jun 24 05:27 Dirnames
在这里source和destination有两个不同。owner/group,以及size不同。
$ rsync -avzi [email protected]:/var/lib/rpm/ /root/temp/
Password:
receiving file list ... done
>f.st.... Basenames
.f....og. Dirnames
sent 48 bytes  received 2182544 bytes  291012.27 bytes/sec
total size is 45305958  speedup is 20.76

在上面的例子中,在Basenames, Dirnames文件的前面有一些奇怪的信息,其实它非常重要:

> specifies that a file is being transferred to the local host.
f represents that it is a file.
s represents size changes are there.
t represents timestamp changes are there.
o owner changed
g group changed.

例13:在文件传输中包含和排除Pattern

rsync允许你给一个pattern,指定你希望在做同步过程中包含或者排除的文件或者目录

$ rsync -avz --include ‘P*‘ --exclude ‘*‘ [email protected]:/var/lib/rpm/ /root/temp/
Password:
receiving file list ... done
./
Packages
Providename
Provideversion
Pubkeys
sent 129 bytes  received 10286798 bytes  2285983.78 bytes/sec
total size is 32768000  speedup is 3.19

上面的例子中它将仅仅包含那些以P打头的文件或者文件夹并且排除所有其他文件

例14:不传输大的文件

你可以告诉rsync不要传输大于指定大小尺寸的文件,使用-max-size选项

$ rsync -avz --max-size=‘100K‘ [email protected]:/var/lib/rpm/ /root/temp/
Password:
receiving file list ... done
./
Conflictname
Group
Installtid
Name
Sha1header
Sigmd5
Triggername
sent 252 bytes  received 123081 bytes  18974.31 bytes/sec
total size is 45305958  speedup is 367.35

上面的例子使得rsync只传输那些小于100K大小的文件。你也可以指定M或G

例15:传输整个文件

rsync的一个重要功能是它只传输一个文件的变更的块到目的地,而不是传输文件本省。如果网络带宽本身并不是什么问题,你可以传输整个文件,通过-Wxuanxiang 这将加速rsync的处理速度,因为他不需要再在source和destination做checksum的运算了。

#  rsync -avzW  [email protected]:/var/lib/rpm/ /root/temp
Password:
receiving file list ... done
./
Basenames
Conflictname
Dirnames
Filemd5s
Group
Installtid
Name
sent 406 bytes  received 15810211 bytes  2874657.64 bytes/sec
total size is 45305958  speedup is 2.87
时间: 2024-08-13 23:00:27

rsync常用命令及格式的相关文章

总结Linux常用命令使用格式,并用实例说明

echo echo命令用于在shell中打印shell变量的值,或者直接输出指定的字符串.语法echo(选项)(参数)选项-e:激活转义字符. 使用-e选项时,若字符串中出现以下字符,则特别加以处理,而不会将它当成一般文字输出:\a 发出警告声:\b 删除前一个字符:\c 最后不加上换行符号:\f 换行但光标仍旧停留在原来的位置:\n 换行且光标移至行首:\r 光标移至行首,但不换行:\t 插入tab:\v 与\f相同:\ 插入\字符:\nnn 插入nnn(八进制)所代表的ASCII字符:实例

rsync 常用命令

rsync rsync -auvrtzopgP --progress --delete --exclude-from=exclude.list SRC DST \\保留原文件属性并详细输出 删除那些DST中SRC没有的文件

linux 常用命令之ls的格式和参数

ls命令就是list的缩写,缺省下ls用来打印出当前目录的清单,如果ls指定其他目录,那么就会显示指定目录里的文件及文件夹清单. 通过ls 命令不仅可以查看linux文件夹包含的文件,而且可以查看文件权限(包括目录.文件夹.文件权限),查看目录信息等等,ls 命令在日常的linux操作中用的很多,在此先给大家介绍一下ls 命令格式和参数. ls命令格式:ls [选项] [目录名]. ls命令功能:列出目标目录中所有的子目录和文件. ls 命令的参数选项说明: -a, –all 列出目录下的所有文

Hart 常用命令 命令格式+命令含义 <中文翻译>

HART通用命令一览 通用命令(0-32)在Spec127中 普通命令(33-114)在 Spec151 中 HART命令0:读标识码返回扩展的设备类型代码,版本和设备标识码.请求:无响应:    字节0:        254     字节1:        制造商ID(Enum)    字节2:        设备类型(Enum)    字节3:        请求的最小前导符数(主->从)    字节4:        通用命令文档版本号    字节5:        设备规范版本号   

rsync的常用命令,及实现远程备份

rsync rsync不但传输速度快,而且在传输时,可以比较欲复制的内容和本地端数据的差异,若有差异, 则只备份有差异的数据,若无差异,则无需要备份 二种工作方式: 1.在本机上运行,和cp命令一样:例如:rsync -av /etc /tmp 2.通过ssh方式运行在两个主机之间:例如:rsync -av -e ssh [email protected]:/etc /tmp 常用命令: -v:查看模式,可以列出很多信息 -q:与-v相反,安静模式,略过正常信息,只显示错误内容 -r:递归复制.

Maven 命令格式及一些常用命令

Maven自身指定定义了一套对项目进行编译,测试,打包,运行,部署等工作的抽象.Maven自己是不实际负责这些工作的,而是把它们交给了插件.所以Maven命令的实际工作执行者是各种各样的插件. 要了解Maven命令,还得知道Maven生命周期的概念.Maven有三套独立的生命周期:clean, default和site.每个生命周期又有不同的阶段.这三个生命周期之间是互相独立的,调用一个不会影响另一个.但是生命周期内部各个阶段之间却是有前后依赖关系:必须先执行前面的阶段,才可以执行下一阶段. c

Linux常用命令大全

系统信息 arch 显示机器的处理器架构(1) uname -m 显示机器的处理器架构(2) uname -r 显示正在使用的内核版本 dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI) hdparm -i /dev/hda 罗列一个磁盘的架构特性 hdparm -tT /dev/sda 在磁盘上执行测试性读取操作 cat /proc/cpuinfo 显示CPU info的信息 cat /proc/interrupts 显示中断 cat /proc/meminfo 校验

三十、Linux常用命令(二)

系统信息 arch 显示机器的处理器架构(1) uname -m 显示机器的处理器架构(2) uname -r 显示正在使用的内核版本 dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI) hdparm -i /dev/hda 罗列一个磁盘的架构特性 hdparm -tT /dev/sda 在磁盘上执行测试性读取操作 cat /proc/cpuinfo 显示CPU info的信息 cat /proc/interrupts 显示中断 cat /proc/meminfo 校验

10.28 rsync工具介绍 - 10.29/10.30 rsync常用选项 - 10.31 rsync通过ssh同步

- 10.28 rsync工具介绍 - 10.29/10.30 rsync常用选项 - 10.31 rsync通过ssh同步 # 10.28 rsync工具介绍 -/A目录 --> /B目录(A目录更新了一个文件,每次更新都需要把A目录拷贝到B目录),如果用cp命令 比较浪费时间,耗费磁盘空间,磁盘压力 读写之类的, -使用rsync -av /etc/passwd /tmp/1.txt -a选项就是包含了好几个选项  ,v 是可视化,可以看到拷贝的过程 ``` [[email protecte