rsync 排除指定目录或文件进行同步

很常见的情况:我想同步/myweb下的 一些php文件 ,  但是不想复制/myweb/log/里边的一些日志文件,因为这些文件太大了,备份也是没有意义的。 现在如果想避开某个路径  直接添加—exclude 即可 比如—exclude “./log” –exclude ‘./log/file’

Note: the directory path is relative to the folder you are backing up.

rsync备份时排除指定目录或文件

要排除指定目录,可以在客户端命令行中使用–exclude-from命令

例如
rsync -vzrtopg –progress –delete –exclude-from=/home/pcfile [email protected] /back/xxx

pcfile文件中,每条记录占一行,支持通配符
/tmp         ## 排除名为 tmp 的根目录
.[a-z]*     ## 不备份以点开头的隐藏文件

注意:这个路径必须是一个相对路径,不能是绝对路径

例子:源服务器/home/yjwan/bashshell有一个checkout文件夹

[[email protected] bashshell]# ls -dl checkout

drwxr-xr-x 2 root root 4096 Aug 21 09:14 checkou

现在想要完全避开复制这个文件夹内容怎么办?

目标服务器执行

rsync -av –exclude “checkout” [email protected]:/home/yjwan/bashshell /tmp

将不会复制这个文件夹

[[email protected] /tmp/bashshell]# ls -d /tmp/bashshell/checkout

ls: /tmp/bashshell/checkout: No such file or directory

注意:

1事实上,系统会把文件和文件夹一视同仁,如果checkout是一个文件,一样不会复制

2 如果想避开复制checkout里面的内容,可以这么写—exclude “checkout/123”

3 切记不可写为—exclude “/checkout”这样绝对路径

这样写 将不会避免checkout被复制

比如

[[email protected] /tmp/bashshell]# rsync -av –exclude “/checkout” [email protected]:/home/yjwan/bashshell /tmp

receiving file list … done

bashshell/checkout/

4可以使用通配符避开不想复制的内容

比如—exclude “fire*”

那么fire打头的文件或者文件夹全部不会被复制

5如果想要避开复制的文件过多,可以这么写

–exclude-from=/exclude.list

exclude.list 是一个文件,放置的位置是绝对路径的/exclude.list ,为了避免出问题,最好设置为绝对路径。

里面的内容一定要写为相对路径

比如我想避开checkout文件夹和fire打头的文件

那么/exclude.list 写为

checkout

fire*

然后执行以下命令,注意写为–exclude-from或者–exclude-from=都可以

但是不能为—exclude

rsync -av –exclude-from=”/exclude.list” [email protected]:/home/yjwan/bashshell /tmp

检查结果:确实避开了checkout文件夹和fire打头的文件

问题:如何计算对比复制以后的文件数量是否正确呢?

1 查看错误日志,看是否复制时候出问题了

2在源服务器执行可知道具体文件和文件夹的总个数

ls –AlR|grep “^[-d]”|wc

然后目标服务器在计算一遍个数

看看数字是不是能对的上就ok了

对不上再研究怎么回事

3现在的问题是:如果我使用了—exclude参数就麻烦了

我怎么知道要复制几个文件?

首先,前面命令时候提到过一种写法,就是只有源地址,没有目标地址的写法,这种写法可以用来列出所有应该被复制的文件

那么用这个命令,可以计算出这个/root/bashshell下面文件和文件夹数量

在服务器端执行

[[email protected] bashshell]# rsync -av /root/bashshell/ |grep “^[-d]” | wc

62     310    4249

和ls 得到的结果一致的

[[email protected] bashshell]# ls -AlR |grep “^[-d]“|wc

62     558    3731

因此,比如说我不要fire 打头的文件,可以在服务器端先这样计算要复制的文件

[[email protected] bashshell]# rsync -av –exclude “fire*” /root/bashshell/ |grep “^[-d]” | wc

44     220    2695

然后复制过去

看目标机器的文件和文件夹数量为

[[email protected] /tmp]# ls -AlR /tmp/bashshell/  |grep “^[-d]“|wc

44     396    2554

可以知道2者是同步的

问题:Rsync的其他几个常见参数

1

-z        –compress              compress file data during the transfer

–compress-level=NUM    explicitly set compression level

–skip-compress=LIST    skip compressing files with suffix in LIST

压缩传输,如果网络带宽不够,那么应该压缩以后传输,消耗的当然是机器资源,但是如果内网传输的话,文件数量不是很多的话,这个参数不必要的。

2

-password-file=FILE

前面说过了,只有远端机器是rsync服务器,才能用这个参数

如果你以为个FILE写的是ssh 登陆的密码,那就大错特错了,不少人犯了这个错误。

3

–stats: Adds a little more output regarding the file transfer status.

4

–progress: shows the progress of each file transfer. Can be useful to know if you have large files being backup up.

关于这个参数:

I frequently find myself adding the -P option for large transfers. It
preserves partial transfers in case of interuption, and gives a
progress report on each file as it’s being uploaded.

I move large media files back and forth on my servers, so knowing how long the transfer has remaining is very useful.

http://fukun.org/archives/09081402.html

时间: 2024-08-06 03:12:10

rsync 排除指定目录或文件进行同步的相关文章

rsync 排除指定目录

背景 将Server1上的数据同步到Server2: Server1目录结构: /us_data/yahoo └── qlib ├── calendars ├── dataset_cache ├── features ├── features_cache └── instruments Server2目录结构: data └── us_qlib_data └── yahoo └── qlib 我需要将 Server1 里的 qlib 传到 Server2 yahoo 目录下: 并且 Server

Window Linux下实现指定目录内文件变更的监控方法

转自:http://qbaok.blog.163.com/blog/static/10129265201112302014782/ 对于监控指定目录内文件变更,window 系统提供了两个未公开API:SHChangeNotifyRegister  SHChangeNotifyDeregister 分别用于注册Notify以及监视. 同时,还提供了ReadDirectoryChangesW  函数(貌似NT以上可用). 在 .net framework 中,另提供了封装好的 FileSystem

linux下rsync+inotify实现服务器之间文件实时同步

先介绍一下rsync与inotify. 1.rsync 与传统的cp.tar备份方式相比,rsync具有安全性高.备份迅速.支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,例如定期的备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等.随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足,首先,rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输.如果文件数量达到了百万甚至千万量级,扫描所

IO流中在指定目录找文件,以及递归

1.0 指定目录找文件 public class ListAllTest { public static void main(String[] args) { File dir = new File("E:\\Java"); listAll(dir, 0);         } public static void listAll(File dir, int level) { File[] files = dir.listFiles(); System.out.println(GetL

[php] PHP创建指定目录和文件

前几天看到有人问PHP环境下如何创建文件到指定目录下,正好自己最近在学习,经过一翻测试,终于出结果了,贴出来与大家分享. 目录结构:代码所在的文件wwwroot/mydir/test/test.php 创建目录:在wwwroot/mydir/下创建目录testjiang123. 创建文件:在wwwroot/mydir/testjiang123/下创建文件test.html. //创建文件夹 $username="testjiang123"; $dir="../mydir/&q

linux下自动ftp到服务器对比拷贝指定目录下文件

#!/bin/bash process=8 PWD=`pwd` DAT=`date` ftpip="192.168.1.1" user="ftp_username" password="ftp_password" local_dir="/home/" getlist() { ftp -n $ftpip <<EOF |awk '{print $9}'|sed '/^$/d' >$PWD/list user $u

用svn下载github中指定目录的文件

1.先用命令看看github的分支 svn ls https://github.com/BlueRiverInteractive/robovm-ios-bindings 输出: branches/ trunk/ 或者使用UI操作,浏览目录(一般在库下面都有两个目录:branches,trunk) 打开trunk目录下面就可以看到这个库下面的目录和文件了 然后: svn ls https://github.com/BlueRiverInteractive/robovm-ios-bindings/t

带通配符,查找 指定目录下文件的SQL存储过程

通配符查找 指定目录下文件的过程: --查找指定文件夹(目录)下的文件. ALTER PROCEDURE [FileS].[DIR_FileS] @Path nvarchar(1000) --搜索路径.         --表示[文件夹路径]必须以'\'结尾:         --表示[文件路径]不能以\结尾.(文件名可带通配符) ,@FileS nvarchar(MAX) OUTPUT --返回 找到的 文件名串 ,@Depth int=1 --搜索[文件夹]深度.不为1,将搜索[子文件夹].

IO流-获取指定目录下文件夹和文件对象【File类】

一.运用File类实现获取指定目录下文件夹和文件对象 1.File类 2.方法: 获取文件绝对路径 :getAbsolutePath 案例: import java.io.File; /** * 获取指定目录下文件夹和文件对象 * Created by lcj on 2017/11/7. */ public class fileTest03 { public static void main(String[] args) { File dirr = new File("D:\\xuexizili