rsync+inotify实时同步文件

一、inotify简介

inotify是Linux内核2.6.13 (June 18, 2005)版本新增的一个子系统（API），它提供了一种监控文件系统（基于inode的）事件的机制，可以监控文件系统的变化如文件修改、新增、删除等，并可以将相应的事件通知给应用程序。该机制由著名的桌面搜索引擎项目beagle引入用于替代此前具有类似功能但存在诸多缺陷的dnotify。

inotify既可以监控文件，也可以监控目录。当监控目录时，它可以同时监控目录及目录中的各子目录及文件的。此外，inotify 使用文件描述符作为接口，因而可以使用通常的文件I/O操作select、poll和epoll来监视文件系统的变化。

inotify 可以监视的文件系统常见事件包括：

IN_ACCESS：文件被访问

IN_MODIFY：文件被修改

IN_ATTRIB，文件属性被修改

IN_CLOSE_WRITE，以可写方式打开的文件被关闭

IN_CLOSE_NOWRITE，以不可写方式打开的文件被关闭

IN_OPEN，文件被打开

IN_MOVED_FROM，文件被移出监控的目录

IN_MOVED_TO，文件被移入监控着的目录

IN_CREATE，在监控的目录中新建文件或子目录

IN_DELETE，文件或目录被删除

IN_DELETE_SELF，自删除，即一个可执行文件在执行时删除自己

IN_MOVE_SELF，自移动，即一个可执行文件在执行时移动自己

通过/proc接口中的如下参数设定inotify能够使用的内存大小：

1、/proc/sys/fs/inotify/max_queue_events

应用程序调用inotify时需要初始化inotify实例，并时会为其设定一个事件队列，此文件中的值则是用于设定此队列长度的上限；超出此上限的事件将会被丢弃；

2、/proc/sys/fs/inotify/max_user_instances

此文件中的数值用于设定每个用户ID（以ID标识的用户）可以创建的inotify实例数目的上限；

3、/proc/sys/fs/inotify/max_user_watches

此文件中的数值用于设定每个用户ID可以监控的文件或目录数目上限；

二、环境

rsync-3:192.168.3.54

rsync-4:192.168.3.55

需求：在rsync-3上的/data/web目录文件有变化，自动同步到rsync-4的/data/web目录下

三、在rsync-4上配置rsync服务，系统一般会默认安装。

我们使用xinetd来管理rsync服务，所有需要安装xinetd。

[[email protected] ~]# yum install xinetd -y

配置/etc/xinetd.d/rsync文件

[[email protected] ~]# vim /etc/xinetd.d/rsync 
service rsync
{
        disable = no                #将yes修改成no
        flags           = IPv6
        socket_type     = stream
        wait            = no
        user            = root
        server          = /usr/bin/rsync
        server_args     = --daemon
        log_on_failure  += USERID
}

创建rsync配置文件

[[email protected] ~]# vim /etc/rsyncd.conf
# GLOBAL OPTIONS
uid = root
gid = root
use chroot = no  
read only = no        #我们要通过inotify自动同步文件过来，这个需要有写入权限，或者在模块中添加写入权限   
#limit access to private LANs
hosts allow=192.168.3.0/255.255.0.0
hosts deny=*
max connections = 5

pid file = /var/run/rsyncd.pid   
secrets file = /etc/rsync.passwd
#lock file = /var/run/rsync.lock           
motd file = /etc/rsyncd/rsyncd.motd     
#This will give you a separate log file
log file = /var/log/rsync.log       
#This will log every file transferred - up to 85,000+ per user, per sync
transfer logging = yes        
log format = %t %a %m %f %b
syslog facility = local3
timeout = 300

# MODULE OPTIONS
[web]
path = /data/web
list=yes
ignore errors
auth users = rsync
comment = welcome to rsync server

创建rsync的认证文件/etc/rsync.passwd

[[email protected] ~]# echo "rsync:test" >>/etc/rsync.passwd        #添加用户名和密码
[[email protected] ~]# chmod 600 /etc/rsync.passwd                  #修改成600的权限

在iptables中放行873端口，并保存iptables规则

[[email protected] ~]# iptables -I INPUT -p tcp --dport 873 -j ACCEPT
[[email protected] ~]# iptables -I INPUT -p udp--dport 873 -j ACCEPT
[[email protected] ~]# service iptables save
iptables: Saving firewall rules to /etc/sysconfig/iptables:[  OK  ]

启动xinetd服务

[[email protected] ~]# service xinetd start
Starting xinetd:                                           [  OK  ]
[[email protected] ~]# netstat -anpt |grep 873
tcp        0      0 :::873                      :::*                        LISTEN      1792/xinetd

上创建共享数据

[[email protected] ~]# mkdir -p /data/web/www
[[email protected] ~]# touch  /data/web/www/web.html

四rsync-3上的操作

创建客户端密码认证文件

[[email protected] ~]# echo "test" >>/usr/local/sbin/rsync.passwd
[[email protected] ~]# chmod 600 /usr/local/sbin/rsync.passwd

在rsync-3上查看有哪些共享

[[email protected] ~]# rsync --list-only [email protected]::
web            	welcome to rsync server

同步数据

[[email protected] ~]# rsync -avzP --delete --password-file=/usr/local/sbin/rsync.passwd [email protected]::web/ /root/web

receiving incremental file list
created directory /root/web
./
www/
www/web.html
           0 100%    0.00kB/s    0:00:00 (xfer#1, to-check=0/3)

sent 80 bytes  received 176 bytes  512.00 bytes/sec
total size is 0  speedup is 0.00
[[email protected] ~]# ll
total 60
-rw-------. 1 root root  2790 May  5 10:21 anaconda-ks.cfg
-rw-r--r--. 1 root root  3305 May  5 10:21 cobbler.ks
-rw-r--r--. 1 root root 20504 May  5 10:21 install.log
-rw-r--r--. 1 root root  5882 May  5 10:20 install.log.syslog
-rw-r--r--. 1 root root  2241 May  5 10:21 ks-post.log
-rw-r--r--. 1 root root     1 May  5 10:21 ks-post-nochroot.log
-rw-r--r--. 1 root root   978 May  5 10:18 ks-pre.log
drwxr-xr-x  3 root root  4096 May  5 11:15 web
[[email protected] ~]# tree web/
web/
└── www
    └── web.html

1 directory, 1 file

到此我们的基本rsync服务已配置完成。接下来配置inotify。

因为我们是要监控rsync-3上的/data/web目录的文件变化，所有要将inotify部署在rsync-3上

五、安装inotify-tools

[[email protected] ~]# tar xf inotify-tools-3.14.tar.gz 
[[email protected] ~]# cd inotify-tools-3.14
[[email protected] inotify-tools-3.14]# ./configure 
[[email protected] inotify-tools-3.14]# make && make install

创建要同步的目录

[[email protected] ~]# mkdir -p /data/web
[[email protected]-3 ~]# touch /data/web/docker.txt
[[email protected] ~]# mkdir /data/web/kvm
[[email protected] ~]# tree /data/web/
/data/web/
├── docker.txt
└── kvm

1 directory, 1 file

创建rsync脚本

[[email protected] ~]# vim /usr/local/sbin/rsync.sh
#!/bin/bash
SRC=/data/web
DEST=web
HOST=192.168.3.55
/usr/local/bin/inotifywait -mrq --timefmt ‘%d/%m/%y %H:%M‘ --format ‘%T %w%f%e‘ -e modify,delete,create,attrib $SRC | while read files;
do
        rsync -vzrtopg --delete --progress --password-file=/usr/local/sbin/rsync.passwd $SRC/ [email protected]$HOST::$DEST &>dev/null
done

#inotifywait参数详解：
#-m，表示始终保持事件监听状态
#-r，表示递归查询目录
#-q，表示打印出监控事件
#-e，指定要监控的事件，包括modify、delete、create、attrib等
#--timefmt：指定时间的输出格式
#--format：指定变化文件的详细信息
#说明$SRC/，表示同步的是目录下面的文件，并不包含$SRC本身

赋予脚本执行权限

[[email protected] ~]# cd /usr/local/sbin/
[[email protected] sbin]# chmod +x rsync.sh

先看看/data/web目录下的文件

[[email protected] sbin]# ll /data/web/
total 4
-rw-r--r-- 1 root root    0 May  5 11:46 3.txt
drwxr-xr-x 2 root root 4096 May  5 11:37 kvm

在/data/web目录下创建一个docket.txt，删除3.txt

#先运行脚本rsync.sh 
[[email protected] sbin]# sh -x rsync.sh 

#创建文件docker，和删除文件
[[email protected] web]# touch docker.txt
[[email protected] web]# rm -rf 3.txt 

#查看脚本执行过程
[[email protected] sbin]# sh -x rsync.sh 
+ SRC=/data/web
+ DEST=web
+ HOST=192.168.3.55
+ read files
+ /usr/local/bin/inotifywait -mrq --timefmt ‘%d/%m/%y %H:%M‘ --format ‘%T %w%f%e‘ -e modify,delete,create,attrib /data/web
+ rsync -vzrtopg --delete --progress --password-file=/usr/local/sbin/rsync.passwd /data/web/ [email protected]::web

sending incremental file list
./
docker.txt
           0 100%    0.00kB/s    0:00:00 (xfer#1, to-check=1/4)

sent 122 bytes  received 31 bytes  102.00 bytes/sec
total size is 0  speedup is 0.00
+ read files
+ rsync -vzrtopg --delete --progress --password-file=/usr/local/sbin/rsync.passwd /data/web/ [email protected]::web

sending incremental file list

sent 83 bytes  received 9 bytes  184.00 bytes/sec
total size is 0  speedup is 0.00
+ read files
+ rsync -vzrtopg --delete --progress --password-file=/usr/local/sbin/rsync.passwd /data/web/ [email protected]::web

sending incremental file list
./
deleting 3.txt

sent 72 bytes  received 12 bytes  56.00 bytes/sec
total size is 0  speedup is 0.00
+ read files

#rsync-3上的/data/web目录现在结果
[[email protected] web]# ll /data/web/
total 4
-rw-r--r-- 1 root root    0 May  5 11:51 docker.txt
drwxr-xr-x 2 root root 4096 May  5 11:37 kvm

在目标机器rsync-4上查看/data/web目录

[[email protected] ~]# ll /data/web/
total 4
-rw-r--r-- 1 root root    0 May  5 11:51 docker.txt
drwxr-xr-x 2 root root 4096 May  5 11:37 kvm

通过以上步骤rsync就能实时同步文件了

最后将脚本加入到开机自动启动去

[[email protected] sbin]# echo "/usr/local/sbin/rsync.sh  &"  >>/etc/rc.local
时间： 2024-09-28 23:22:33

rsync+inotify实时同步文件的相关文章

rsync+inotify实时同步环境部署记录

随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足.首先,rsync在同步数据时,需要扫描所有文件后进行比对,进行差量传输.如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的,并且正在发生变化的往往是其中很少的一部分,这是非常低效的方式.其次,rsync不能实时的去监测.同步数据,虽然它可以通过linux守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据可能出现不一致,无法在应

rsync+inotify实时同步方案

rsync+inotify实时同步,inotify可以实时监控本地文件或目录变化,当检测到本地文件变化,执行rsync同步命令,将变化的文件同步到其他服务器节点. 1.配置环境 3.在服务节点1.服务节点2.内容发布节点,都安装rsync软件:在内容发布节点再安装inotify实时监控软件.安装步骤建上篇. 4.编辑同步脚本 #!/bin/bash/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y' --format '%T %

rsync+inotify实时同步案例

rsync+inotify实时同步案例 随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足,首先,rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输.如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的.而且正在发生变化的往往是其中很少的一部分,这是非常低效的方式.其次,rsync不能实时的去监测.同步数据,虽然它可以通过linux守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务

rsync远程同步及rsync+inotify实时同步

rsync远程同步及rsync+inotify实时同步 思维代入 正确.有效的备份方案是保障系统及数据安全的重要手段.在服务器中,通常会结合计划性任务.shell脚本来执行本地备份.但有时候为了提高备份的可靠性,异地备份也是非常有必要的.那下面就给大家介绍一种异地远程备份的方法:rsync远程备份. rsync简介 rsync是一个开源的快速备份工具,可以在不同主机之间镜像同步整个目录树,支持增量备份.保持链接和权限,且采用优化的同步算法,在传输前执行压缩,因此非常适用于异地备份.镜像服务等应用

配置rsync+inotify实时同步

配置rsync+inotify实时同步Linux从2.6.13版内核开始提供了inotify通知接口,用来监控文件系统的各种变化情况,如文件的存取,删除,移动,修改内容及属性等.利用这个机制,可以实现文件异动警告,增量备份,针对目录或文件的变化及时做出响应. 将inotify机制与rsync工具结合,可以实现触发式备份(实时同步),只要原始位置的文档发生变化,则立即启动增量备份,否则处于静默等待状态,避免了按固定周期备份是存在的延迟性,周期过密等问题. 正因为inotify通知机制有Linux内

rsync+inotify实时同步

一.Rsync简介: rsync是一个远程数据同步工具,可通过lan/wan快速同步多台主机间的文件.它使用所谓的"rsync演算法"来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快.所以通常可以作为备份工具来使用. 运行rsync server的机器也叫backup server,一个rsync server可同时备份多个client的数据:也可以多个rsync server备份一个client的数据.rsync可以搭配

CentOS5.8 x86_64下配置rsync+inotify即时同步文件

rsync可以实现触发式的文件同步,但是通过crontab守护进程方式进行触发,同步的数据和实际数据会有差异,而inotify可以监控文件系统的各种变化,当文件有任何变动时,就触发rsync同步,这样就可以解决同步数据的实时性问题.rsync+inotify我在工作中会经常用到,大家部署这种时请注意以下方面: 一.rsync服务器的uid和gid请将nobody:nobody改为www:www,因为是考虑到我们的Nginx服务器是由www:www运行的,而其对应目录很多时候有写日志或其它相关写文

rsync+inotify实时同步环境部署

rsync 作用: 实现文件的备份 备份位置可以是当前主机,也可以是远程主机 备份过程可以是完全备份,也可以是增量备份 功能: 1.类似于cp的复制功能 将本地主机的一个文件复制到另一个位置下. 2.将本地主机的文件推送到远程主机,也可以从远程主机拉取文件到本地. 3.显示文件列表 使用模式 shell模式 本地复制功能 远程shell模式 可以利用ssh来实现数据的加密到远程主机 守护进程(服务器模式) rsync工作在守护进程模式下 列表模式 ls 仅仅显示内容,不做操作 确保各个主机的时间

inotify介绍及rsync + inotify 实时同步备份

1.前言 rsync (remote sync)是一款非常好的数据同步工具,能够通过对比同步双方的数据变动,实现增量同步,还可以通过LAN/WAN实现远程多台主机间文件的同步,还能结合crond任务计划来执行自动备份,又可以结合ssh实现远程数据备份的安全,种种特性使他看起来相当优秀.但如果需备份数据十分庞大时,它的不足之处就显现出来了,比如每次执行同步操作时,rsync都会扫描全部数据进而计算出增量部分,而后再同步增量数据,这将会十分耗时,使其变得低效:并且受限于crond计划任务最小时间间隔