rsync与inotify实现数据实时同步

Rsync与Inotify

单一的rsync只可以进行数据同步,单一的inotify只可以实时监控文件,两者结合使用刚好满足数据实时同步的需求,下面就用一个数据发布服务器和两个web服务器实例解析rsync+inotify实现实时同步。

数据发布服务器 192.168.1.5 (rsync+inotify)

web服务器 192.168.1.6 192.168.1.7 (rsync)

首先在web服务器上部署rsync

192.168.1.6配置

[[email protected]~]# yum install -y rsync

[[email protected]~]# mkdir -p /var/www/001

[[email protected]~]# chmod 660 /var/www/001

[[email protected]~]# chown nobody.nobody /var/www/001

[[email protected]~]# vim /etc/rsync.conf

transfer logging = yes

log file = /var/log/rsyncd.log

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

uid = nobody

gid = nobody

user chroot = no

ignore errors

read only = no

[web1]

comment = Web comment

path = /var/www/001

auth users = tom

secrets file = /etc/rsyncd.passwd

hosts allow=192.168.1.5

hosts deny=*

list = false

[[email protected]~]# echo "tom:123456" > /etc/rsyncd.passwd

[[email protected]~]# chmod 600 /etc/rsyncd.passwd

[[email protected]~]# rsync --daemon

[[email protected]~]# echo "rsync --daemon" >> /etc/rc.local

[[email protected]~]# iptables -I INPUT -p tcp --dport 873 -j ACCEPT

[[email protected]~]# service iptables save

192.168.1.7配置

[[email protected]~]# yum install -y rsync

[[email protected]~]# mkdir -p /var/www/002

[[email protected]~]# chmod 660 /var/www/002

[[email protected]~]# chown nobody.nobody /var/www/002

[[email protected]~]# vim /etc/rsync.conf

transfer logging = yes

log file = /var/log/rsyncd.log

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

uid = nobody

gid = nobody

user chroot = no

ignore errors

read only = no

[web2]

comment = Web comment

path = /var/www/002

auth users = tom

secrets file = /etc/rsyncd.passwd

hosts allow=192.168.1.5

hosts deny=*

list = false

[[email protected]~]# echo "tom:123456" > /etc/rsyncd.passwd

[[email protected]~]# chmod 600 /etc/rsyncd.passwd

[[email protected]~]# rsync --daemon

[[email protected]~]# echo "rsync --daemon" >> /etc/rc.local

[[email protected]~]# iptables -I INPUT -p tcp --dport 873 -j ACCEPT

[[email protected]~]# service iptables save

接着在数据发布服务器下载inotify-tool,安装rsync和inotify (192.168.1.5)

[[email protected]~]# yum install -y rsync

[[email protected]~]# yum install -y automake libtool

[[email protected]~]# cd /home/soft/inotify-tools-master

[[email protected] inotify-tools-master~]# ./configure

[[email protected] inotify-tools-master~]# make && make install

[[email protected]~]# echo "123456" > /root/rsync.pass

[[email protected]~]# chmod 600 /root/rsync.pass

[[email protected]~]# vim rsync_notify.sh

#!/bin/bash

export PATH=/bin:/usr/bin:/usr/local/bin

SRC=/home/webdata/

DEST1=web1

DEST2=web2

Client1=192.168.1.6

Client2=192.168.1.7

User=tom

Passfile=/root/rsync.pass

[ ! -e $Passfile ] && exit 2

inotifywait -mrq --timefmt ‘%Y-%m-%d %H:%M‘ --format ‘%T %w%f %e‘ --event modify,create,delete,attrib $SRC|while read line

do

echo "$line" > /var/log/inotify_web 2>&1

/usr/bin/rsync -avz --delete --progress --password-file=$Passfile $SRC ${User}@$Client1::$DEST1 >> /var/log/sync_web1 2>&1

/usr/bin/rsync -avz --delete --progress --password-file=$Passfile $SRC ${User}@$Client2::$DEST2 >> /var/log/sync_web2 2>&1

done &

[[email protected]~]# chmod a+x rsync_notify.sh

[[email protected]~]# ./rsync_notify.sh

[[email protected]~]# echo "/root/rsync_notify.sh" /etc/rc.local

inotifywait用法

inotifywait [-hcmrq] [-e ] [-t ] [--format ] [--timefmt ] [ ... ]
参数:
-h,–help
输出帮助信息
@
排除不需要监视的文件,可以是相对路径,也可以是绝对路径。
–fromfile 
从文件读取需要监视的文件或排除的文件,一个文件一行,排除的文件以@开头。
-m, –monitor
接收到一个事情而不退出,无限期地执行。默认的行为是接收到一个事情后立即退出。
-d, –daemon
跟–monitor一样,除了是在后台运行,需要指定–outfile把事情输出到一个文件。也意味着使用了–syslog。
-o, –outfile 
输出事情到一个文件而不是标准输出。
-s, –syslog
输出错误信息到系统日志
-r, –recursive
监视一个目录下的所有子目录。
-q, –quiet
指定一次,不会输出详细信息,指定二次,除了致命错误,不会输出任何信息。
–exclude 
正则匹配需要排除的文件,大小写敏感。
–excludei 
正则匹配需要排除的文件,忽略大小写。
-t , –timeout 
设置超时时间,如果为0,则无限期地执行下去。
-e , –event 
指定监视的事件。
-c, –csv
输出csv格式。
–timefmt 
指定时间格式,用于–format选项中的%T格式。
–format 
指定输出格式。
%w 表示发生事件的目录
%f 表示发生事件的文件
%e 表示发生的事件
%Xe 事件以“X”分隔
%T 使用由–timefmt定义的时间格式

时间: 2024-10-11 00:38:23

rsync与inotify实现数据实时同步的相关文章

sersync基于rsync+inotify实现数据实时同步

一.环境描述 需求:服务器A与服务器B为主备服务模式,需要保持文件一致性,现采用sersync基于rsync+inotify实现数据实时同步 主服务器A:192.168.1.23 从服务器B:192.168.1.243 实时同步/var/atlassian目录到从服务器. 二.实施 1.从服务器192.168.1.243 rsync服务搭建 1.1安装软件包 wget http://rsync.samba.org/ftp/rsync/src/rsync-3.1.1.tar.gz tar xf r

利用rsync+inotify实现数据实时同步脚本文件

将代码放在Server端,实现其它web服务器同步.首先创建rsync.shell,rsync.shell代码如下: #!/bin/bash host1=133.96.7.100 host2=133.96.7.101 host3=133.96.7.102 src=/data/www/ dst1=web1 dst2=web2 dst3=web3 user1=web1 user2=web2 user3=web3 /usr/local/inotify/bin/inotifywait -mrq --ti

[转帖]sersync基于rsync+inotify实现数据实时同步

sersync基于rsync+inotify实现数据实时同步 https://www.jianshu.com/p/d532a34e5cc5 前言 提到数据同步就必然会谈到rsync,一般简单的服务器数据传输会使用ftp/sftp等方式,但是这样的方式效率不高,不支持差异化增量同步也不支持实时传输. 原文地址:https://www.cnblogs.com/nbxcnxvcnb/p/12393252.html

rsync、inotify实现web实时同步

. rsync.inotify实现web实时同步,布布扣,bubuko.com

rsync+inotify实现数据实时同步备份

在实际生产环境当中,我们总会遇见需要把一些重要数据进行备份,且随着应用系统规模的增大,对数据的安全性.可靠性.时效性要求还是比较高的, 因此我自己有在用rsync+inotify来实现数据实时同步备份,下面记录下操作步骤,以防日后自己忘记. 实验背景: 操作系统          IP         机器名        角色 CentOS 7.2       172.16.22.1     nginx01        数据源(服务器端) CentOS 7.2       172.16.22

用rsync结合inotify实现数据实时备份

系统环境:centos 6.4 需要软件:inotify,rsync 主机规划:172.16.1.220   172.16.1.218 需求:将172.16.1.218上面的/usr/local/218backup文件夹下面的数据实时同步到/usr/local/220backup文件夹下面,(生产环境慎用,因为一台服务器上面的数据丢失,可能导致远程备份服务器上面的数据也丢失). 步骤: 首先在两台主机上面分别安装rsync软件,然后在客户端,也就是218上面安装inotify软件 在172.16

rsync + inotify 实现数据实时同步

要求:两台Web服务器实现数据同步(我这里使用的是Centos 6.2-x64) 服务器一:172.16.11.126 服务器二:172.16.11.127 一.配置ssh备份源172.16.11.126(这里推荐使用专用的普通用户,注意相应的权限问题,如遇特殊情况使用root用户也可以,即不用考虑权限问题了. ) 1.新建备份用户rget rput 分别用来上传下载 [root@localhost ~]#  useradd rget [root@localhost ~]#  useradd r

rsync+inotify实现数据实时同步

inotify简介 inotify是一种强大的.细粒度的.异步的文件系统事件监控机制,Linux内核从2.6.13开始引入,允许监控程序打开一个独立文件描述符,并针对事件集监控一个或者多个文件,例如打开.关闭.移动/重命名.删除.创建或者改变属性. 配置inotify需要rsync服务能直接传输数据(免密码传输). rsync配置请参考我的另一篇利用rsync进行数据同步. 服务端已配置完毕,inotify配置在客户端. 1.[[email protected] ~]# wget http://

rsync结合inotify实现数据自动同步

rsync+inotify rsync介绍 rsync是一个远程数据同步工具,可通过lan/wan快速同步多台主机间的文件.它使用所谓的"rsync演算法"来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快.所以通常可以作为备份工具来使用. 运行rsync server的机器也叫backup server,一个rsync server可同时备份多个client的数据:也可以多个rsync server备份一个client的数