rsync也可以远程数据同步

rsync简介

rsync(rem ote synchronize)是一个远程数据同步工具,可通过 LAN/WAN 快速同步多台主机之间的文件。也可以使用 rsync 同步本地硬盘中的不同目录。

rsync是用于替代rcp的一个工具,rsync 使用所谓的 rsync算法进行数据同步,这种算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度非常快。

rsync支持大多数的类 Unix 系统,无论是 LinuxSolaris 还是 BSD上 都经过了良好的测试。 CentOS系统默认就安装了rsync软件包。 此外,在windows平台下也有相应的版本,如cwrsync

rsync特点

rsync 具有如下的基本特性:

  • 可以镜像保存整个目录树和文件系统
  • 可以很容易做到保持原来文件的权限、时间、软硬链接
  • 无须特殊权限即可安装
  • 优化的流程,文件传输效率高
  • 可以使用 rshssh 方式来传输文件,当然也可以通过直接的 socket 连接
  • 支持匿名传输,以方便进行网站镜象

在使用 rsync 进行远程同步时,可以使用两种方式:远程Shell方式(建议使用 ssh,用户验证由 ssh 负责)和C/S方式(即客户连接远程 rsync 服务器,用户验证由 rsync 服务器负责)。

无论本地同步目录还是远程同步数据,首次运行时将会把全部文件拷贝一次,以后再运行时将只拷贝有变化的文件(对于新文件)或文件的变化部分(对于原有文件)。rsync 在首次复制时没有速度优势,速度不如 tar,因此当数据量很大时您可以考虑先使用 tar 进行首次复制,然后再使用 rsync 进行数据同步。

镜像、备份和归档

实施备份的两种情况:

  • 需保留备份历史归档:在备份时保留历史的备份归档,是为了在系统出现错误后能恢复到从前正确的状态。这可以使用完全备份增量备份来完成。

    • 可以使用 tar 命令保存归档文件。
    • 为了提高备份效率,也可以使用 rsync 结合 tar 来完成。
  • 无需保留备份历史归档:若无需从历史备份恢复到正确状态,则只备份系统最“新鲜”的状态即可。这可以简单地使用 rsync 同步来完成。此时通常称为镜像。镜像可以分为两种:
    • 被镜像的目录在各个主机上保持相同的位置。此时一般是为了实施负载均衡而对多个主机进行同步镜像。例如:将主机A的/srv/www 目录同步到主机B的/srv/www目录等。
    • 被镜像的目录在各个主机上不保持相同的位置。例如:主机 A 和主机 B 都运行着各自的业务,同时又互为镜像备份。此时主机A的/srv/www目录同步到主机B的/back ups/hosta/www 目录;主机B的/srv/www目录同步到主机A的/back ups/hostb/www 目录等。

rsync命令

rsync是一个功能非常强大的工具,其命令也有很多功能选项。rsync的命令格式为:

1)本地使用:
rsync [OPTION...] SRC... [DEST]
2)通过远程 Shell 使用:
拉: rsync [OPTION...] [[email protected]]HOST:SRC... [DEST]
推: rsync [OPTION...] SRC... [[email protected]]HOST:DEST
3)访问 rsync 服务器:
拉: rsync [OPTION...] [[email protected]]HOST::SRC... [DEST]
推: rsync [OPTION...] SRC... [[email protected]]HOST::DEST
拉: rsync [OPTION...] rsync://[[email protected]]HOST[:PORT]/SRC... [DEST]
推: rsync [OPTION...] SRC... rsync://[[email protected]]HOST[:PORT]/DEST

其中:

  • SRC: 是要复制的源位置
  • DEST: 是复制目标位置
  • 若本地登录用户与远程主机上的用户一致,可以省略 [email protected]
  • 使用远程 shell 同步时,主机名与资源之间使用单个冒号“:”作为分隔符
  • 使用 rsync 服务器同步时,主机名与资源之间使用两个冒号“::”作为分隔符
  • 当访问 rsync 服务器时也可以使用 rsync://URL
  • “拉”复制是指从远程主机复制文件到本地主机
  • “推”复制是指从本地主机复制文件到远程主机
  • 当进行“拉”复制时,若指定一个 SRC 且省略 DEST,则只列出资源而不进行复制

下面列出常用选项:

选项 说明
-a,--archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等价于 -rlptgoD (注意不包括 -H)
-r,--recursive 对子目录以递归模式处理
-l,--links 保持符号链接文件
-H,--hard-links 保持硬链接文件
-p,--perms 保持文件权限
-t,--times 保持文件时间信息
-g,--group 保持文件属组信息
-o,--owner 保持文件属主信息 (super-user only)
-D 保持设备文件和特殊文件 (super-user only)
-z,--compress 在传输文件时进行压缩处理
--exclude=PATTERN 指定排除一个不需要传输的文件匹配模式
--exclude-from=FILE 从FILE中读取排除规则
--include=PATTERN 指定需要传输的文件匹配模式
--include-from=FILE 从FILE中读取包含规则
--copy-unsafe-links 拷贝指向SRC路径目录树以外的链接文件
--safe-links 忽略指向SRC路径目录树以外的链接文件(默认)
--existing 仅仅更新那些已经存在于接收端的文件,而不备份那些新创建的文件
--ignore-existing 忽略那些已经存在于接收端的文件,仅备份那些新创建的文件
-b,--backup 当有变化时,对目标目录中的旧版文件进行备份
--backup-dir=DIR 与-b结合使用,将备份的文件存到 DIR 目录中
--link-dest=DIR 当文件未改变时基于 DIR 创建硬链接文件
--delete 删除那些接收端还有而发送端已经不存在的文件
--delete-before 接收者在传输之前进行删除操作 (默认)
--delete-during 接收者在传输过程中进行删除操作
--delete-after 接收者在传输之后进行删除操作
--delete-excluded 在接收方同时删除被排除的文件
-e,--rsh=COMMAND 指定替代 rsh 的 shell 程序
--ignore-errors 即使出现 I/O 错误也进行删除
--partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输
--progress 在传输时显示传输过程
-P 等价于--partial--progress
--delay-updates 将正在更新的文件先保存到一个临时目录(默认为 “.~tmp~”),待传输完毕再更新目标文件
-v,--verbose 详细输出模式
-q,--quiet 精简输出模式
-h,--human-readable 输出文件大小使用易读的单位(如,K,M等)
-n,--dry-run 显示哪些文件将被传输
--list-only 仅仅列出文件而不进行复制
--rsync-path=PROGRAM 指定远程服务器上的 rsync 命令所在路径
--password-file=FILE 从 FILE 中读取口令,以避免在终端上输入口令,通常在 cron 中连接 rsync 服务器时使用
-4,--ipv4 使用 IPv4
-6,--ipv6 使用 IPv6
--version 打印版本信息
--help 显示帮助信息

若使用普通用户身份运行rsync命令,同步后的文件的属主将改变为这个普通用户身份。

若使用超级用户身份运行rsync命令,同步后的文件的属主将保持原来的用户身份。

rsync的基本使用

在本地磁盘同步数据

# rsync -a --delete /home /backups
# rsync -a --delete /home/ /backups/home.0

在指定复制源时,路径是否有最后的 “/” 有不同的含义,例如:

  • /home: 表示将整个 /home 目录复制到目标目录
  • /home/:表示将 /home 目录中的所有内容复制到目标目录

使用基于ssh的rsync远程同步数据

1、同步静态主机表文件

# 执行“推”复制同步(centos5 是可解析的远程主机名)
[[email protected] ~]# rsync /etc/hosts centos5:/etc/hosts
# 执行“拉”复制同步(soho 是可解析的远程主机名)
[[email protected] ~]# rsync soho:/etc/hosts /etc/hosts

2、同步用户的环境文件

# 执行“推”复制同步
[[email protected] ~]$ rsync ~/.bash* centos5:
# 执行“拉”复制同步
[[email protected] ~]$ rsync soho:~/.bash* .

3、同步站点根目录

# 执行“推”复制同步
[[email protected] ~]$ rsync -avz --delete /var/www [email protected]:/var/www
# 执行“拉”复制同步
[[email protected] ~]$ rsync -avz --delete [email protected]:/var/www /var/www
  • 使用基于 ssh 的 rsync 同步数据可以使用 -essh 参数,当前的 CentOS 默认指定使用 ssh 作为远程 Shell。若您在其他系统上执行 rsync 命令,为确保使用 ssh 作为远程 Shell,请添加 -essh 参数。
  • 通常 rsync 命令在后台以 cron 任务形式执行,为了避免从终端上输入口令需要设置 ssh。ssh 的设置方法请参考安全登录守护进程

使用--exclude/--include选项

可以使用--exclude 选项排除源目录中要传输的文件;同样地,也可以使用--include 选项指定要传输的文件。

例如:下面的 rsync 命令将 192.168.0.101 主机上的 /www 目录(不包含 /www/logs 和 /www/conf 子目录)复制到本地的/back up/www/ 。

# rsync -vzrtopg --delete --exclude "logs/" --exclude "conf/" --progress [email protected]:/www/ /backup/www/

又如:下面的rsync命令仅复制目录结构而忽略掉目录中的文件。

# rsync -av --include ‘*/‘ --exclude ‘*‘ [email protected]:/www/ /backup/www-tree/

选项--include 和--exclude 都不能使用间隔符。例如:

--exclude "logs/" --exclude "conf/"

不能写成

--exclude "logs/ conf/"
时间: 2024-10-25 17:55:39

rsync也可以远程数据同步的相关文章

Linux下rsync+inotify实现实时数据同步

一. rsync 1. 什么是rsync rsync 是一个远程数据同步工具, 可以实现本主机内,或跨主机的数据同步.以服务运行时监听在TCP 873端口, rsync演算法可以达到只传送文件变化的部分,而不是整个都传送,因此速度相当的快,性能不错. 所以rsync通常可以作为备份工具来使用. 1.1 rsync基本特点: 1. 可以镜像保存整个目录树或文件系统 2. 可以很容易做到保持原来文件的权限.时间.软硬链接等; (通过rsync的一些参数, 如 -a) 3. 较高的数据传输效率 4.

Linux的rsync远程数据同步工具

Rsync(remote synchronize) 是一个远程数据同步工具,可以使用"Rsync算法"同步本地和远程主机之间的文件. rsync的好处是只同步两个文件不同的部分,相同的部分不在传递.类似于增量备份, 这使的在服务器传递备份文件或者同步文件,比起scp工具要省好多时间. OS:ubuntu server 10.04 server:192.168.64.128 client:192.168.64.145 server 1.ubuntu  server 10.04默认已安装r

本地远程数据同步之rsync

一.简介 rsync一款开源的,快速的,多功能可实现全量及增量的本地或者远程数据同步备份的优秀工具可适用于多个操作系统之上,rsync具有可以使本地和远程两台主机之间的数据快速的同步和备份的用能. 二.工作模式及其特性  1.rsync特性   支持拷贝特殊文件如链接文件设备等 可以有排除指定文件或目录同步的功能,相当于打包命令tar的排除功能 --exclude 可以实现增量同步,即只同步发生变化的数据,因此效率很高 实时备份和定时备份   2.rsync命令的工作模式: 1)shell模式,

rsync远程数据同步工具应用

一直觉得rsync这个命令复杂不好用,一直在排斥这个工具,抱怨rsync功能简单又复杂难用,这些都不是rsync的问题,只是我不愿意去man这个工具的的帮助文档,其实rsync这个工具也没有想象中那么复杂难用:rsync命令是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件.rsync使用所谓的"rsync算法"来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快. rsync是一个功能非常强大的工具,其命令

[CentOS 7系列]远程数据同步

Rsync命令是一个远程数据同步工具,可通过网络快速同步多台主机间的文件.它在同步文件的同时,可以保持原来文件的权限.时间.软硬链接等附加信息,也可以做增量的拷贝.支持通过ssh方式来传输文件,这样其保密性会非常好.rsync备份主要分为三种方式,一是本地到本地的备份,二是本地到网络的备份,三是网络到本地的备份. ▎命令格式:        Local:  rsync [OPTION...] SRC... [DEST] ##拷贝本地文件.当SRC和DES路径信息都不包含有单个冒号":"

linux之rsync远程数据同步备份

rsync服务是一种高效的远程数据备份的工具,该服务的port号为873, 是Liunx下的一种非独立服务.由xinetd超级服务管理,取代监听873port. 长处: 1.rsync能够利用ssh和ssl远程控制进行连接远程主机进行备份.依赖sshd服务 2,能够实现增量备份,在第一次建立连接时进行完整备份,以后仅仅同步变化的数据 3.能够使用自己的socket来进行同步.能够在服务端设置password限制訪问. 缺点:不能进行实时同步,须要安装lsyncd工具来辅助进行实时同步. 配置步骤

[sersync+rsync] centos6.5 远程文件同步部署记录

针对本地文件的修改,自动同步到远程文件夹,远程备份很方面.研究了下大家的主流同步方案一般是 rsync+inotify和rsync+sersync, 我这里使用sersync的方案,当然大部分都是参照前人经验,感谢他们的无私. 概述 我这里的目的是为了远程同步mysql的备份文件,centos6.5 同步到另一台centos主机 使用rsync+sersync做实时同步时,用于推送文件 的服务器运行sersync服务,用于接收文件的服务器则运行rsync守护进程,简单来说就是sersync会利用

rsync+inotify实现远程数据备份

一.rsync的基本介绍 1.  什么是rsync Rsync是一款开源的.快速的.多功能的.可以实现增量的本地货远程数据镜像同步备份的优秀工具,Rsync使用与unix,linux,windows等多种平台 2.  Rsync的特性 1)  支持拷贝特殊文件 2)  可以有排除指定文件或目录 3)  可以保持原来文件或目录的权限 4)  可以实现增量同步,即只同步变化的数据 5)  可以使用rcp,ssh等方式配合传输文件 6)  支持匿名或认证的进程模式传输 7) 传输前会进行压缩,适合异地

rsync的使用——远程服务器同步配置

一.背景介绍 由于需要和其他系统进行对接.文件的逻辑地址通过接口传递,而文件的实体需要通过服务器间的同步进行传输.在同事的建议下选择了rsync. 二.RSYNC介绍 RSYNC 有多种方式进行同步,本篇文章主要叙述的是其中,两种远程服务器的同步配置.(在客户端 注意命令中":" 冒号的个数) 要了解更多关于rsync的内容,请跳转到 http://man.linuxde.net/rsync 阅读相关文档. 三.实际操作 3.1 确认机器是否安装rsync 3.2 配置rsync的文件