Rsync+inotify实时同步笔记

从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。

从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。

配置文件主要内容如下:

uid = root
gid = root
port = 873
max connections = 200
timeout = 600
pid file = /var/run/rsyncd.pid
log file = /var/log/rsync.log
lockfile = /var/run/rsyncd.lock
motd file = /etc/rsyncd/rsyncd.moth
log format = %t %a %m %f %b
syslog facility = local3
host allow = 10.34.38.130
host deny = *
[test]
path = /home/rsync
ignore errors = yes
list = no
ignore errors
read only = no
auth users = root
host allow = 10.34.38.130
secrets file = /etc/rsyncd/rsyncd.secrets

启动rsync服务:

rsync  --daemon   以守护进程的方式启动rsync服务

--address  绑定指定IP地址提供服务

--config=xxx  指定配置文件路径

--port= 897    指定端口,而非默认端口时使用

rsync参数:

-a  以archive模式操作、复制目录、符号连接 相当于 -rlptgoD

-r  是递归

-l  是链接文件,意思是拷贝链接文件

-p 保持文件原有权限

-t  保持文件原有时间

-g 保持文件原有用户组

-o  保持文件原有属主

-D 相当于块设备文件

-z  传输时压缩

-P  传输进度

-V  传输时的进度等消息,和-P点关系

-e  ssh的参数建立起加密的连接

-u  只进行更新,防止本地新文件被重写,注意两者机器的时钟的同时

--progress  是指显示出详细的进度情况

--delete  是指如果服务器端删除了这一文件,那么客户端也相应把文件删除,保持真正的一致

--password-file=/password/path/file 指定密码文件,这样就可以在脚本中使用而无需交互式地输入验证密码了,这里需要注意的是这份密码文件权限属性要设得只有属主可读

--exclude  上传时不包括某文件时使用

密码文件的权限设置 为600  即 chmod   600 /etc/xxx/password

打包:

tar -zcvf html_$(date +%F).tar.gz ./html/

推送:

rsync -avzp html_2015-01-03.tar.gz [email protected]::test --password-file=/etc/rsync/rsync.password     后面为密码存放的文件目录

find /xxx -type f -name "*.gz" -mtime +7 | xargs rm -f

rsync -avzP --delete a/ b/    将a下的内容复制到b下,同时删除b中原来的文件内容

rsync -avzP --delete b/ [email protected]::test --password-file=/etc/rsync/rsync.password    将本地a中内容同步到rsync服务端,同步a中的内容,如果服务端中有其他内容也一并删除掉

Inotify工具

Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制,linux内核从2.6.13起,加入了Inotify支持,通过Inotify可以监控文件系统 中添加、删除,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools就是这样 的一个第三方软件。
在上面章节中,我们讲到,rsync可以实现触发式的文件同步,但是通过crontab守护进程方式进行触发,同步的数据和实际数据会有差异,而inotify可以监控文件系统的各种变化,当文件有任何变动时,就触发rsync同步,这样刚好解决了同步数据的实时性问题

inotifywait相关参数:

Inotifywait是一个监控等待事件,可以配合shell脚本使用它,下面介绍一下常用的一些参数:

-m, 即--monitor,表示始终保持事件监听状态

-r, 即--recursive,表示递归查询目录

-q, 即--quiet,表示打印出监控事件

-e, 即--event,通过此参数可以指定要监控的事件,常见的事件有modify、delete、create、attrib等

--timefmt:指定时间的输出格式

--format:指定变化文件的详细信息

这两个参数一般配合使用,通过指定输出格式,输出类似与:

15/04/10 00:29 /web/www/xxxx.shDELETE,ISDIR was rsynced
15/04/10 00:30 /web/www/index.htmlMODIFY was rsynced

相应的脚本为:

#!/bin/bash
src=/root/rsync/
des1=test
host=10.34.38.128
user=root
/usr/local/bin/inotifywait -mrq --timefmt ‘%d/%m/%y %H:%M‘ --format ‘%T %w%f%e‘ -e close_write,delete,create,attrib $src|while read files
do
/usr/bin/rsync -avzP --delete $src [email protected]$host::$des1 --password-file=/etc/rsync/rsync.password
echo "${files} was rsynced" >>/var/log/rsync2.log 2>&1
done
###########################################################

这个脚本的作用就是通过inotify监控文件目录的变化,进而触发rsync进行同步操作,由于这个过程是一种主动触发操作,通过系统内核完成的,所以,比起那些遍历整个目录的扫描方式,效率要高很多。

有时会遇到这样的情况:向inotify监控的目录(这里是/root/rsync)写入一个很大文件时,由于写入这个大文件需要一段时间,此时 inotify就会持续不停的输出该文件被更新的信息, 这样就会持续不停的触发rsync去执行同步操作,占用了大量系统资源,那么针对这种情况,最理想的做法是等待文件写完后再去触发rsync同步。 在这种情况下,可以修改inotify的监控事件,即:“-e close_write,delete,create,attrib”。

将此脚本/etc/rsync/inotify.sh加入系统自启动文件中

chmod +x  inotify.sh

echo  “/etc/rsync/inotify.sh &”>>/etc/rc.local

至此,即可测试同步是否成功了!!

文章参考过:http://ixdba.blog.51cto.com/2895551/580280

时间: 2024-11-24 23:05:42

Rsync+inotify实时同步笔记的相关文章

rsync+inotify实时同步环境部署记录

随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足.首先,rsync在同步数据时,需要扫描所有文件后进行比对,进行差量传输.如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的,并且正在发生变化的往往是其中很少的一部分,这是非常低效的方式.其次,rsync不能实时的去监测.同步数据,虽然它可以通过linux守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据可能出现不一致,无法在应

rsync+inotify实时同步方案

rsync+inotify实时同步,inotify可以实时监控本地文件或目录变化,当检测到本地文件变化,执行rsync同步命令,将变化的文件同步到其他服务器节点. 1.配置环境 3.在服务节点1.服务节点2.内容发布节点,都安装rsync软件:在内容发布节点再安装inotify实时监控软件.安装步骤建上篇. 4.编辑同步脚本 #!/bin/bash/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y' --format '%T %

rsync+inotify实时同步案例

rsync+inotify实时同步案例 随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足,首先,rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输.如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的.而且正在发生变化的往往是其中很少的一部分,这是非常低效的方式.其次,rsync不能实时的去监测.同步数据,虽然它可以通过linux守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务

rsync远程同步及rsync+inotify实时同步

rsync远程同步及rsync+inotify实时同步 思维代入 正确.有效的备份方案是保障系统及数据安全的重要手段.在服务器中,通常会结合计划性任务.shell脚本来执行本地备份.但有时候为了提高备份的可靠性,异地备份也是非常有必要的.那下面就给大家介绍一种异地远程备份的方法:rsync远程备份. rsync简介 rsync是一个开源的快速备份工具,可以在不同主机之间镜像同步整个目录树,支持增量备份.保持链接和权限,且采用优化的同步算法,在传输前执行压缩,因此非常适用于异地备份.镜像服务等应用

配置rsync+inotify实时同步

配置rsync+inotify实时同步Linux从2.6.13版内核开始提供了inotify通知接口,用来监控文件系统的各种变化情况,如文件的存取,删除,移动,修改内容及属性等.利用这个机制,可以实现文件异动警告,增量备份,针对目录或文件的变化及时做出响应. 将inotify机制与rsync工具结合,可以实现触发式备份(实时同步),只要原始位置的文档发生变化,则立即启动增量备份,否则处于静默等待状态,避免了按固定周期备份是存在的延迟性,周期过密等问题. 正因为inotify通知机制有Linux内

rsync+inotify实时同步

一.Rsync简介: rsync是一个远程数据同步工具,可通过lan/wan快速同步多台主机间的文件.它使用所谓的"rsync演算法"来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快.所以通常可以作为备份工具来使用. 运行rsync server的机器也叫backup server,一个rsync server可同时备份多个client的数据:也可以多个rsync server备份一个client的数据.rsync可以搭配

rsync+inotify实时同步环境部署

rsync 作用: 实现文件的备份 备份位置可以是当前主机,也可以是远程主机 备份过程可以是完全备份,也可以是增量备份 功能: 1.类似于cp的复制功能 将本地主机的一个文件复制到另一个位置下. 2.将本地主机的文件推送到远程主机,也可以从远程主机拉取文件到本地. 3.显示文件列表 使用模式 shell模式 本地复制功能 远程shell模式 可以利用ssh来实现数据的加密到远程主机 守护进程(服务器模式) rsync工作在守护进程模式下 列表模式 ls 仅仅显示内容,不做操作 确保各个主机的时间

笔记:rsync+inotify实时同步扩展思考

--------------------------------------------------------- rsync小结 1,客户端配置 配置文件:/etc/rsync_client/rsyncd.conf uid=root gid=root use chroot = no max connections = 5 pid file = /var/run/rsyncd.pid lock file = /var/run/rsync.lock log file = /var/log/rsyn

inotify介绍及rsync + inotify 实时同步备份

1.前言 rsync (remote sync)是一款非常好的数据同步工具,能够通过对比同步双方的数据变动,实现增量同步,还可以通过LAN/WAN实现远程多台主机间文件的同步,还能结合crond任务计划来执行自动备份,又可以结合ssh实现远程数据备份的安全,种种特性使他看起来相当优秀.但如果需备份数据十分庞大时,它的不足之处就显现出来了,比如每次执行同步操作时,rsync都会扫描全部数据进而计算出增量部分,而后再同步增量数据,这将会十分耗时,使其变得低效:并且受限于crond计划任务最小时间间隔