Rsync+Inotify实现文件自动同步

1》rsync概述

rsync的优点与不足

rsync与传统的cp、tar备份方式相比,rsync具有安全性高、备份迅速、支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,例如定期的       备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等。 随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务      系统中也逐渐暴露出了很多不足,首先,rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输;如果文件数量达到了百万甚至千万量级,扫描所有文件将        是非常耗时的。而且正在发生变化的往往是其中很少的一部分,这是非常低效的方式。其次,rsync不能实时的去监测、同步数据,虽然它可以通过linux守护进程的方      式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据可能出现不一致,无法在应用故障时完全的恢复数据。基于以上原因                     rsync+inotify组合出现了;

2》inotify概述

1>认识inotify     

            Inotify是一种强大的、细粒度的、异步的文件系统事件监控机制,linux内核从2.6.13起,加入了Inotify支持通过Inotify可以监控文件系统中添加、删除,修改、        移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools就是这样的一个第三方软件。在上面章节中,我        们讲到,rsync可以实现触发式的文件同步,但是通过crontab守护进程方式进行触发,同步的数据和实际数据会有差异,而inotify可以监控文件系统的各种变化,当       文件有任何变动时,就触发rsync同步,这样刚好解决了同步数据的实时性问题;

     2>inotify安装,在WEB发布管理服务器安装即可,WEB节点无需安装

           # tar–xvf inotify-tools-3.14.tar.gz
      # ./configure
   # make&& make install
     # ll /usr/local/bin/inotifywa*
    -rwxr-xr-x 1 root root 44319 4月 6 18:51 /usr/local/bin/inotifywait
    -rwxr-xr-x 1 root root 41409 4月 6 18:51 /usr/local/bin/inotifywatch
    inotifywait用于等待文件或文件集上的一个特定事件,它可以监控任何文件和目录设置,并且可以递归地监控整个目录树;inotifywatch用        于收集被监控的文件系统统计数据,包括每个inotify事件发生多少次等信息;

3》企业案例WEB内容版本发布管理

     1>环境描述

          随着企业的业务增多,为了维持所有WEB层的WEB程序保持一致,发版本的通过一台内容服务器向外进行分布和辐射所有的更新的                WEB程序,

        模拟环境如下:
    WEB1 节点 IP:192.168.1.109
    WEB2节点内容发布Server IP:192.168.1.106
  2>
安装WEB1节点

    # yum–y install rsync
    # vim/etc/web1.pass
       gongda:123
    #chmod 600 /etc/web1.pass
    # mkdir /web1/wwwroot –p
 3>配置文件:
  # vim /etc/rsyncd.conf #此配置文件没有。需要重新编辑一个

           

           uid = nobody
      gid = nobody
   usechroot = no
     max connections = 10
     strict modes = yes
     pid file = /var/run/rsyncd.pid
     lock file = /var/run/rsync.lock
     log file = /var/log/rsyncd.log

    [web1]
    path = /web1/wwwroot/
    comment = web1 file
    ignore errors
    read only = no
    write only = no
    hosts allow = 192.168.1.106
    hosts deny = *
    list = false
    uid = root
    gid = root
    auth users =gongda
    secrets file = /etc/web1.pass

       4> 启动rsync服务
    # rsync --daemon

4》安装WEB2内容管理节点

  1> # yum –y install rsync
     yum -y install automake libtool

        同步的密码,注意此处只需要写密码,和web1.pass里面的密码要以致
    # vim /etc/server.pass
      
123
    #chmod 600 /etc/server.pass

         2> 编写一个启动脚本

    # vim opt/inotify-rsync.sh
    #!/bin/bash
    host1=192.168.1.109
    #======================
    src=/web/wwwroot/
    dst1=web1
    user1=gongda
    /usr/local/bin/inotifywait -mrq --timefmt ‘%d/%m/%y %H:%M‘ --format ‘%T %w%f%e‘ -e modify,delete,create,attrib $src \|     while read files
    do
    /usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/server.pass $src [email protected]
    $host1::$dst1
    echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
    done

      启动脚本
  #cd /opt
  #chmod +x inotify-rsync.sh
  # nohup bash –x inotify-rsync.sh&

inotifywait


语法:
inotifywait [-hcmrq] [-e ] [-t ] [--format ] [--timefmt ] [ ... ]
参数:
-h,--help
输出帮助信息
@
排除不需要监视的文件,可以是相对路径,也可以是绝对路径。
--fromfile
从文件读取需要监视的文件或排除的文件,一个文件一行,排除的文件以@开头。
-m, --monitor
接收到一个事情而不退出,无限期地执行。默认的行为是接收到一个事情后立即退出。
-d, --daemon
跟–monitor一样,除了是在后台运行,需要指定–outfile把事情输出到一个文件。也意味着使用了
–syslog。
-o, --outfile
输出事情到一个文件而不是标准输出。
-s, --syslog
输出错误信息到系统日志
-r,--recursive
监视一个目录下的所有子目录。
-q,--quiet
指定一次,不会输出详细信息,指定二次,除了致命错误,不会输出任何信息。
--exclude
正则匹配需要排除的文件,大小写敏感。
--excludei
正则匹配需要排除的文件,忽略大小写。
-t , --timeout
设置超时时间,如果为0,则无限期地执行下去。
-e , --event
指定监视的事件。
-c, –csv
输出csv格式。
--timefmt
指定时间格式,用于–format选项中的%T格式。
--format
指定输出格式。
%w 表示发生事件的目录
%f 表示发生事件的文件
%e 表示发生的事件
%Xe 事件以“X”分隔
%T 使用由–timefmt定义的时间格式

inotifywatch

语法:
inotifywatch [-hvzrqf] [-e ] [-t ] [-a ] [-d ] [ ... ]
参数:
-h, –help
输出帮助信息
-v, –verbose
输出详细信息
@
排除不需要监视的文件,可以是相对路径,也可以是绝对路径。
–fromfile
从文件读取需要监视的文件或排除的文件,一个文件一行,排除的文件以@开头。
-z, –zero
输出表格的行和列,即使元素为空
–exclude
正则匹配需要排除的文件,大小写敏感。
–excludei
正则匹配需要排除的文件,忽略大小写。
-r, –recursive
监视一个目录下的所有子目录。
-t , –timeout
设置超时时间
-e , –event
只监听指定的事件。
-a , –ascending
以指定事件升序排列。
-d , –descending
以指定事件降序排列。


4》
常见错误问题一:  @ERROR: chroot failed

  rsync error: error starting client-server protocol (code 5) at main.c(1522) [receiver=3.0.3]
  原因:服务器端的目录不存在或无权限。创建目录并修正权限可解决问题。

问题二:
  @ERROR: auth failed on module tee
  rsync error: error starting client-server protocol (code 5) at main.c(1522) [receiver=3.0.3]
  原因:服务器端该模块(tee)需要验证用户名密码,但客户端没有提供正确的用户名密码,认证失败。提供正确的用户名密码解                    决此问题。

问题三:
  @ERROR: Unknown module ‘tee_nonexists’
  rsync error: error starting client-server protocol (code 5) at main.c(1522) [receiver=3.0.3]
  原因:服务器不存在指定模块。提供正确的模块名或在服务器端修改成你要的模块以解决问题。

问题四:
  password file must not be other-accessible
       continuing without password file
  Password:
  原因:这是因为rsyncd.pwd rsyncd.secrets的权限不对,应该设置为600。如:chmod 600 rsyncd.pwd

问题五:
  rsync: failed to connect to 218.107.243.2: No route to host (113)
  rsync error: error in socket IO (code 10) at clientserver.c(104) [receiver=2.6.9]
  原因:对方没开机、防火墙阻挡、通过的网络上有防火墙阻挡,都有可能。关闭防火墙,其实就是把tcpudp的873端口打开。
问题六:
  rsync error: error starting client-server protocol (code 5) at main.c(1524) [Receiver=3.0.7]
  原因:/etc/rsyncd.conf配置文件内容有错误。请正确核对配置文件。

问题七:
  rsync: chown "" failed: Invalid argument (22)
  原因:权限无法复制。去掉同步权限的参数即可。(这种情况多见于Linux向Windows的时候)
问题八:
  @ERROR: daemon security issue -- contact admin
  rsync error: error starting client-server protocol (code 5) at main.c(1530) [sender=3.0.6]
  原因:同步的目录里面有软连接文件,需要服务器端的/etc/rsyncd.conf打开use chroot = yes。掠过软连接文件。

5》相关测试:
  1>在服务端建立文件,客户端会自动产生:

           

          

         2>在服务端删除文件,客户端会自动删除:

              

                

         3>在服务端文件写入数据时,客户端文件自动同步:

               

               

  =================================================
注意:
1.两台主机都要将防火墙和SELINUX关闭;
2.资源发布器启动报错后,注意创建不存在的文件夹。
3.同步时的错误日志在/var/log文件夹下。 

时间: 2024-10-25 04:10:47

Rsync+Inotify实现文件自动同步的相关文章

Rsync+inotify实现文件实时同步

数据备份.文件备份是运维.DBA等岗位最熟悉不过的话题,这里不介绍数据库的备份,简单介绍一下文件同步工具,这样的工具有很多,Windows环境下有Goodsync.FreeFileSync等,Linux下rsync.unison等,常用的实时同步,是几种工具的组合,经过组合的工具达到文件实时同步的效果. 一.常用实时同步方案 1.NFS网络文件系统 该方案是分布式架构中,解决不同节点对同一资源访问的问题,搭建NFS服务器,将其挂载在不同的节点,每个节点将公用的数据存储在NFS服务器上,实现文件的

rsync+inotify实现文件实时同步-步骤详解

实验拓扑(centos7下):192.168.80.181 服务器端(主机名www.aa.com)192.168.80.182 客户端(主机名www.ab.com)1.使用SSH源:安装rsync,服务端和客户端同时安装,只使用客户端命令就OK了.systemctl stop firewalldsetenforce 0yum install -y rsync---以上三句在服务器端和客户端都要执行---------rsync -avz [email protected]:/tmp/ /opt/

基于rsync+inotify实现文件实时同步

rsync英文名remote  synchronization,可使本地和远程两台主机之间的数据快速复制同步镜像 远程备份的功能,rsync在拷贝时候会先比较源数据跟目标数据,不一致才复制,实现增量拷贝 监听于873/tcp rsync有许多选项: -n: 在不确定命令是否能按意愿执行时,务必要事先测试:-n可以完成此功能: -v: --verbose,详细输出模式 -q: --quiet,静默模式 尽可能输出少 -c: --checksum,开启校验功能,强制对文件传输进行校验 -r: --r

利用Inotify和Rsync将web工程文件自动同步到多台应用服务器

背景:需要搭建一套跟线上一模一样的环境,用来预发布,这是其中的web分发的一个小模块的实现过程. 1 工具以及环境简介 1.1,Inotify工具 Inotify,它是一个内核用于通知用户空间程序文件系统变化的机制.众所周知,Linux 桌面系统与 MAC 或 Windows 相比有许多不如人意的地方,为了改善这种状况,开源社区提出用户态需要内核提供一些机制,以便用户态能够及时地得知内核或底层硬件设备发生了什么,从而能够更好地管理设备,给用户提供更好的服务,如hotplug.udev 和 ino

Zabbix监控系列之-Rsync+Inotify实现文件同步更新(无防火墙版)

Rsync+inotify实现文件同步更新(无防火墙版) 目录 说明:... 2 准备工作:关闭服务器的防火墙... 2 关闭防火墙firewall2 禁止开机启动防火墙... 2 编写脚本"shut-firewall.sh". 2 发布服务器配置rsync:192.168.171.128. 2 安装配置Rsync. 2 配置rsyncd.conf文件... 2 创建认证文件:/etc/rsyncd.secrets. 3 设置文件权限... 3 启动rsync服务... 4 关闭rsy

通过rsync+inotify实现文件的实时备份同步

原文参考:http://ixdba.blog.51cto.com/2895551/580280/ http://www.bamaol.com/Psy/Showposts-010000108-5048.html 一,rsync安装 目前rsync的最新版本是3.0.9 wget http://rsync.samba.org/ftp/rsync/rsync-3.0.9.tar.gz tar-xvzfrsync-3.0.9.tar.gz;cdrsync-3.0.9; ./configure;make;

rsync+inotify实现文件同步

什么是rsync,remote synchronize远程同步简写.Linux系统上由rsync这个软件包提供.rsync有几个特点,镜像保存整个文件目录树或文件系统:有较高的数据传输效率:可以借助ssh实现安全数据传输:支持匿名传输等.rsync同步只是针对变化的文件进行传输,意味着其会在源和目标之间比较文件的异同.相对与scp来说,第一次传输两边都效率都差不多.但以后传输相同目录下的文件时,rsync只传输变化的文件,而非像scp直接覆盖.inotify是linux的一种文件变化通知机制,用

利用rsync+inotify实现数据实时同步脚本文件

将代码放在Server端,实现其它web服务器同步.首先创建rsync.shell,rsync.shell代码如下: #!/bin/bash host1=133.96.7.100 host2=133.96.7.101 host3=133.96.7.102 src=/data/www/ dst1=web1 dst2=web2 dst3=web3 user1=web1 user2=web2 user3=web3 /usr/local/inotify/bin/inotifywait -mrq --ti

rsync + inotify 实现数据时时同步,和跨系统实现数据同步。

一.rsync客户端与服务端结构图: 日常维护中,数据备份算是比较基本的一个了,rsync很好的解决了繁琐的数据时时同步,不需要手动指定变化的数据,而是由rsync自动检测,发现数据不一致时,就开始备份或者推送到其他rsync主机上.inotify是linux监控文件变化的监控工具,可以配合rsync更好的完成工作.很多公司操作系统可能都是不统一的,上面就又添加的一个windows的主机,已实现将在windows主机上将linux主机中的数据拉取到win主机上. 二.rsync简介. 1.)rs