Rsync企业实战之异地自动化备份

认真的测试过网上的大多数文章和版本,真正能一次性测试通过的文章太少了,需要反复的推敲,反复的查阅资料,才能真正的测试成功,所以,在此背景下,总结了Rsync,加上自己的理解分享出来;

1、 原理篇

Rsync,
故名思议,是一个远程数据同步工具,可以镜像整个目录树和文件系统,也可以保持源文件的权限,时间和软硬链接,可以优化数据,文件重复数据的删除,也可以
在LAN/WAN之间快速的同步多台主机的数据,这主要得益于Rsync的压缩和Rsync的核心算法,其算法,是本地和远程两台主机之间的文件达到同步
并保持一致,并且只传送两个文件的不同部分,而不是整个数据进行传送,所以,速度非常快;

一个Rsync server能够同时备份多个客户端数据,也可以一个客户端备份多个Rsync server的数据;

Rsync 支持搭配scp,ssh和daemon模式,默认端口是873,当第一次连接的时候,会对数据进行完整备份,之后的所有备份,都是进行增量备份,只备份又变化的数据;

Rsync只支持单向备份,不支持双向,如果需要双向同步的,可以使用Unison;如果需要实时同步的,可以结合Rsync+inotify;

Rsync服务以只读方式提供要备份的数据,避免破坏生产环境的数据;

在这里,有必要对Rsync的核心算法,进行讲解:

假定在名为 α 和 β 的两台计算机之间同步相似的文件 A 与 B,其中 α 对文件A拥有访问权,β 对文件 B 拥有访问权。并且假定主机 α 与 β 之间的网络带宽很小。那么 Rsync 算法将通过下面的五个步骤来完成:

β 将文件 B 分割成一组不重叠的固定大小为 S 字节的数据块。最后一块可能会比 S 小。  
β 对每一个分割好的数据块执行两种校验:一种是32位的滚动弱校验,另一种是128位的 MD4 强校验。    
β 将这些校验结果发给 α。    
α 通过搜索文件 A 的所有大小为 S 的数据块(偏移量可以任选,不一定非要是 S 的倍数),来寻找与文件B 的某一块有着相同的弱校验码和强校验码的数据块。这项工作可以借助滚动校验的特性很快完成。    
α 发给 β 一串指令来生成文件 A 在 β 上的备份。这里的每一条指令要么是对文件 B 经拥有某一个数据块而不须重传的证明,要么是一个数据块,这个数据块肯定是没有与文件 B 的任何一个数据块匹配上的。

Rsync适用于linux、solaris和bsd,在windows平台下,有cwRsync。

本文,将以Linux的Rsync和以window的cwRsync为例讲解。

2、 Rsync服务端

2.1、 安装

源码安装

下载rsync服务端程序,

tar zxvf rsync-2.6.9.tar.gz

cd rsync-2.6.9

./configure --prefix=/usr/local/rsync

make

make install

rpm安装

yum install rsync

本文以yum来安装

2.2、 服务器运行模式

模式选择

对于负载比较重的,选择独立服务启动

对于负载比较轻的,选择以xinet.d启动,选择此模式,记得要安装xinet.d (yum install xinet.d)

独立运行模式

/usr/bin/rsync --daemon --config=/etc/rsyncd.conf (本例选择此方法)

如果需要系统开机启动,可以把上面命令加入到/etc/rc.local文件中。

2.3、 服务器配置

创建配置文件和口令文件

touch /etc/rsyncd.conf 主要配置文件

touch /etc/rsync.pas 口令文件,此文件需要注意客户端和服务器端的格式,后续会讲解

关于配置文件rsyncd.conf讲解

Rsync的配置文件,分为两个部分,全局配置和模块配置,

#全局设置

uid = root 指定模块以root用户来传输文件,如果匿名用户的话,这里填写nobody

gid = root 指定模块以root用户组来传输文件,如果匿名传输的话,这里填写nobody

use chroot = yes 设置为YES,表示在传输文件之前,定位到根目录下,即PATH指定的目录,这样做,主要是出于安全考虑

pid file = /var/run/rsyncd.pid Rsync守护进程把其PID写入的文件

lock file = /var/run/rsync.lock 指定支持max connections的锁文件

log file = /var/log/rsyncd.log 指定Rsync守护进程产生的日志文件,而不是传送给syslog

#模块设置

[Jindie] 模块名称,后续上传下载文件配置时,直接使用此名称名来指定

path = /sda1/JDdatabase 指定此模块的根目录,即文件上传下载都是在此目录下进行

ignore errors 指定在 rsync 服务器上运行 delete 操作时是否忽略 I/O 错误

read only = false 指定是否允许上传,false代表允许上传。

write only = false 指定是否允许下载,false代表允许下载。

list = true 指定当客户请求列出可以使用的模块,该模块是否被列出。如果false,可以创建隐藏的模块。

hosts allow = 192.168.1.65 指定哪些客户端可以访问连接此模块,可以指定单个IP,整个网段,比如此例为单个IP

hosts deny = 0.0.0.0/0 指定哪些客户端不允许连接此模块,此例为0.0.0.0/0网段,代表整个网络

通常表示客户端表示方式,有如下:

单个IP:192.168.1.65

网段IP:192.168.1.0/24

可解析的主机地址:www.baidu.com

域内主机:*.wine9.com

所有主机:*

多个列表项,要用空格隔开;

auth users = xy 指定认证用户名,通常由空格或者逗号分隔用户名列表,只有这些用户可以连接此模块,用户名和密码,以明文形式,保存在口令文件中

syslog facility = local5 指定日志等级,一般指发送给rsyslog的日志等级;

secrets file = /etc/rsync.pas 指定Rsync认证口令文件,只有配置了auth users,此配置才生效,这里要注意客户端和服 务器端的配置格式。

ignore nonreadable 指定 rysnc 服务器完全忽略那些用户没有访问权限的文件,这对于在需要备份的目录中有些不应该被备份者获取的文件时非常有意义

timeout 600 设置客户端连接超时时间,确保服务器不会永远等待一个奔溃的客户端。

dont compress=*.gz 指定哪些文件在传输之前,不需要进行压缩的文件。

max connections = 4 指定此模块最大的并发连接数为4,超过的告知随后再试

exclude指定多个由空格隔开的多个文件或目录(相对路径),并将其添加到 exclude 列表中。这等同于在客户端命令中使用 –exclude 来指定模式。

Exclude from指定一个包含 exclude 规则定义的文件名,服务器从该文件中读取 exclude 列表定义

include指定多个由空格隔开的多个文件或目录(相对路径),并将其添加到 include 列表中。这等同于在客户端命令中使用 –include 来指定模式

Include from指定一个包含 include 规则定义的文件名,服务器从该文件中读取 include 列表定义

2.4、 建立Rsync口令文件

创建口令文件

touch /etc/rsync.pas #口令文件,保存Rsync用户和密码验证信息,不需要是系统账号;

vi /etc/rsync.pas

xy:abc123 #格式为 用户名:口令,此账号不用是系统账号

注意与后面的客户端口令文件的格式进行比较,相较两者不同点,这一点,有很多童鞋容易弄错了,重要的事情说三遍,注意格式,注意格式,注意格式。

2.5、 口令文件权限

口令文件,需要设置口令文件权限,这一步同样非常重要,Rsync对权限的要求还是比较敏感的。

#chown root:root /etc/rsync.pas #root:root 指的是当前启动此服务的用户,并设置为属主

#chmod 600 /etc/rsync.pas #指定启动此Rsync服务的用户的权限为只读权限,也就是前面提到的属主的权限。

3、 Rsync客户端

客户端本例,选择windows的cwrsync工具,安装不用多说。

3.1、 创建口令文件

新建rsync.pas文件,添加内如如下:

因为我使用的用户名是xy,此设置的密码,必须跟服务器端rsync.pas口令文件中设置的密码一样,比如本例口令为abc123;

那么,本例中设置为:

abc123

3.2、 口令文件权限

windows
口令文件的权限一定要设置正确,否则验证无法通过,应将口令文件c:\rsync.pas的权限加入系统登录的账号读取权限以及设置其为该文件的所有者
(这里跟服务器端有点不同,正常来说,无论windows还是liunx,服务器端的这个用户名,应该是启动Rsync服务的用户名,但是对于
windows客户端来说,一般都是系统登录账号)

定位到cwRsync客户端安装目录,C:\Program Files (x86)\cwRsync\bin

chmod 600 /cygdrive/c/rsync.pas

chown administrator /cygdrive/c/rsync.pas #如果没有chown.exe文件,可以从服务器端的安装目录的bin目录下直接复制过来就可以使用,

注:Rsync对路径的书写格式,与windows不同,它是遵循,postfix书写格式,

3.3、 同步文件

Rsync同步的六种格式

当Rsync已经做好服务器端和客户端的配置之后,接下来就是通过Rsync命令,像服务器发起命令请求,来完成文件的同步操作,Rsync的功能非常强大,提供了六种格式,来支持Rsync的六种工作方式;

rsync [OPTION]... SRC DEST  
rsync [OPTION]... SRC [[email protected]]HOST:DEST    
rsync [OPTION]... [[email protected]]HOST:SRC DEST    
rsync [OPTION]... [[email protected]]HOST::SRC DEST    
rsync [OPTION]... SRC [[email protected]]HOST::DEST    
rsync [OPTION]... rsync://[[email protected]]HOST[:PORT]/SRC [DEST]

对于以上六种命令格式,

1) rsync [OPTION]... SRC DEST

拷贝本地文件,当SRC和DEST路径信息都不包含有单个冒号“:“,就启动此工作模式,

rsync.exe –vzrtopg /data /backup

2) rsync [OPTION]... SRC [[email protected]]HOST:DEST

使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"分隔符时启动该模式。如:rsync -avz *.c foo:src

3) rsync [OPTION]... [[email protected]]HOST:SRC DEST  
使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。如:rsync -avz foo:src/bar /data

4) rsync [OPTION]... [[email protected]]HOST::SRC DEST  
从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。如:rsync -av [email protected]::www /databack,其中www是在rsync配置文件中,指定的模块的名称。

5) rsync [OPTION]... SRC [[email protected]]HOST::DEST  
从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。如:rsync -av /databack [email protected]::www,其中www是在rsync配置文件中,指定的模块的名称。

6) rsync [OPTION]... rsync://[[email protected]]HOST[:PORT]/SRC [DEST]  
列远程机的文件列表。这类似于rsync传输,不过只要在命令中省略掉本地机信息即可。如:rsync -v rsync://172.16.78.192/www

上传同步文件

rsync.exe -vzrtopg --progress --delete /cygdrive/c/test/*.txt [email protected]::Jindie --password-file=/cygdrive/c/rsync.pas

解释:

rsync.exe 即rsync命令

vzrtopg 指定参数,传输的详细信息;

--delete 删除哪些在DST中存在,而SRC中没有存在的文件或者目录

/cygdrive/c/test/*.txt 注意这里的格式,不能使用windows的格式,必须使用POSTFIX标准格式;

[email protected]::Jindie xy是有权访问服务器的用户名,192.168.31.13是服务器地址,Jindie是服务器端配置文件中指定的模块,这个模块中指定用户信息和同步路径;服务器地址和模块之间,用两个冒号隔开。

--password-file=/cygdrive/c/rsync.pas 口令文件,当中含有xy账号的密码,要与服务器端配置文件rsyncd.conf中指定的口令文件中设置的密码相同。

下载同步文件

rsync.exe -vzrtopg --progress --delete [email protected]::Jindie /cygdrive/c/test --password-file=/cygdrive/c/rsync.pas

通常,因为上传和下载的方向性不同,直接调换源文件路径和目标地址的路径,即可。

4、 定时同步备份

把上面的命令写入到批处理器文件中,比如test.bat,通过任务计划来实现定时备份。

C:\Program Files (x86)\cwRsync\bin

rsync.exe -vzrtopg --progress --delete /cygdrive/c/test/*.txt [email protected]::Jindie --password-file=/cygdrive/c/rsync.pas

复制上面命令,保存到test.bat文件中,

开始 -- 所有程序-- 附件--系统工具--任务计划程序

展开 任务计划程序库--Microsoft,右击 “创建基本任务“

创建基本任务向导,输入 ”名称”

点击 “下一步”

任务触发器,根据实际需要,设置每日,每周,每月同步,这里,我选择每日备份,可以减少带宽压力。

设置,每日启动的时间,这里设置每日,凌晨1点,点击 “下一步”

选择 “启动程序“

浏览,选择 脚本文件

点击 “完成 ”

到此,部署,已经全部完成。

时间: 2024-10-01 12:44:50

Rsync企业实战之异地自动化备份的相关文章

Rsync企业实战之自动异地备份

认真的测试过网上的大多数文章和版本,真正能一次性测试通过的文章太少了,需要反复的推敲,反复的查阅资料,才能真正的测试成功,所以,在此背景下,总结了Rsync,加上自己的理解分享出来: 1. 原理篇 Rsync,故名思议,是一个远程数据同步工具,可以镜像整个目录树和文件系统,也可以保持源文件的权限,时间和软硬链接,可以优化数据,文件重复数据的删除,也可以在LAN/WAN之间快速的同步多台主机的数据,这主要得益于Rsync的压缩和Rsync的核心算法,其算法,是本地和远程两台主机之间的文件达到同步并

Rsync企业实战之自动异地备份(转)

认真的测试过网上的大多数文章和版本,真正能一次性测试通过的文章太少了,需要反复的推敲,反复的查阅资料,才能真正的测试成功,所以,在此背景下,总结了Rsync,加上自己的理解分享出来: 1. 原理篇 Rsync, 故名思议,是一个远程数据同步工具,可以镜像整个目录树和文件系统,也可以保持源文件的权限,时间和软硬链接,可以优化数据,文件重复数据的删除,也可以 在LAN/WAN之间快速的同步多台主机的数据,这主要得益于Rsync的压缩和Rsync的核心算法,其算法,是本地和远程两台主机之间的文件达到同

SVN自动化备份、恢复脚本(下)

#!/bin/bash #本脚本是用来计算本地磁盘空间大小,并且与svn备份文件大小进行比较判断,当满足什么条件时,做出相应的响应. #第一步是检测svn服务器,svn数据文件的总量大小和本机磁盘剩余空间的大小. ##连接10.68.3.152服务器,查看最新svn文件大小,获取查看的值. datef() {         date "+%Y/%m/%d %H:%M" } password=xxxx2015 svnreport=/data/log/report_`date "

rsync+crond企业实战案例

[DB 数据同步,带宽占满,导致用户无法上网rsync scp ftp 限速功能.主要提一下rsync –bwlimit(限速)]下面进入正题: 企业案例rsync+crond定时备份某公司里有一台web服务器,里面的数据很重要,但是如果硬盘坏了,数据就会丢失,现在领导要求你把数据在其他机器上做一个周期性的定时备份.要求如下:每天晚上00点整在web服务器A上打包备份网站程序目录并通过rsync命令推送到服务器B上备份保留(备份思路可以是先在本地按日期打包,然后再利用rsync推到备份服务器上)

12.Jenkins持续集成企业实战

阅读目录: Jenkins持续集成企业实战1.1 目前主流网站部署的流程1.2 Jenkins持续集成简介1.3 Jenkins持续集成组件1.4 Jenkins平台安装部署1.5 Jenkins相关概念1.6 Jenkins平台设置1.7 Jenkins构建JOB工程1.8 Jenkins自动化部署1.9 Jenkins插件安装1.10 Jenkins邮件配置1.11 Jenkins多实例配置1.12 Jenkins+Ansible高并发构建 Jenkins持续集成企业实战 构建企业自动化部署

18道Shell高级编程企业实战题及参考答案(一)

Shell高级编程企业实战题参考解答 ########################################################################### 让我们一起感谢,本文内容答案完全来自老男孩教育的学生-张耀课前上机考试解答! ########################################################################### 目录: 1.监控MySQL主从同步... 1 2.批量创建文件及改名... 3

shell高级编程企业实战题编程---是骡子是马 牵出来溜溜!

企业合格的linux运维必会编程题,能独立完成的同学就业工资不会低于10K 这是老男孩linux运维班要求学生必会的题目,完不成的不能合格毕业,每个完成的都奖励价值500-1000元的等值礼物(以当天考试成绩宣布为准),要进要退自己抉择,伙伴们走起! 实战考试时间就在2015年4月15日上机实战,禁止大面积抄袭学习课堂笔记否则无奖励!共18道考试题,面授上课几乎全部讲解过类似的案例,考试题略微变更而已. 企业面试题1:(生产实战案例):监控MySQL主从同步是否异常,如果异常,则发送短信或者邮件

通过rsync+inotify实现文件的实时备份同步

原文参考:http://ixdba.blog.51cto.com/2895551/580280/ http://www.bamaol.com/Psy/Showposts-010000108-5048.html 一,rsync安装 目前rsync的最新版本是3.0.9 wget http://rsync.samba.org/ftp/rsync/rsync-3.0.9.tar.gz tar-xvzfrsync-3.0.9.tar.gz;cdrsync-3.0.9; ./configure;make;

通过rsync+inotify实现数据的实时备份

我讲到过利用rsync实现数据的镜像和备份,但是要实现数据的实时备份,单独靠rsync还不能实现,本文就讲述下如何实现数据的实时备份. 一.rsync的优点与不足 与传统的cp.tar备份方式相比,rsync具有安全性高.备份迅速.支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,例如定期的备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等. 随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足,首