inotify介绍及rsync + inotify 实时同步备份

1、前言

rsync （remote sync）是一款非常好的数据同步工具，能够通过对比同步双方的数据变动，实现增量同步，还可以通过LAN/WAN实现远程多台主机间文件的同步，还能结合crond任务计划来执行自动备份，又可以结合ssh实现远程数据备份的安全，种种特性使他看起来相当优秀。但如果需备份数据十分庞大时，它的不足之处就显现出来了，比如每次执行同步操作时，rsync都会扫描全部数据进而计算出增量部分，而后再同步增量数据，这将会十分耗时，使其变得低效；并且受限于crond计划任务最小时间间隔为一分钟，会导致同步源端和目的段数据不一致，这在高可用环境中是不被允许的。这个时候我们就可以构建rsync+Inotify架构来解决此应用瓶颈。

备注：关于rsync的使用请查阅http://windchasereric.blog.51cto.com/5419433/1711313

2、inotify介绍

Inotify 是一个Linux特性，是一种强大的、细粒度的、异步的文件系统监控机制，linux内核从2.6.13起便加入了Inotify支持，通过Inotify可以监控文件系统中添加、修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而Inotify-tools就是这样的一个第三方软件。Inotify反应灵敏，用法简单，并且比使用Crontab轮询高效很多。

2.1、inotify常见监控事件

• IN_ACCESS ：文件被访问
• IN_MODIFY ： 文件被修改
• IN_ATTRIB ： 文件属性被修改
• IN_CLOSE_WRITE ： 以可写方式打开的文件被关闭
• IN_CLOSE_NOWRITE ： 以不可写方式打开的文件被关闭
• IN_OPEN ： 文件被打开
• IN_MOVED_FROM ： 文件被移出监控的目录
• IN_MOVED_TO ： 文件被移入监控着的目录
• IN_CREATE ： 在监控的目录中新建文件或子目录
• IN_DELETE ： 文件或目录被删除
• IN_DELETE_SELF ： 自删除，即一个可执行文件在执行时删除自己
• IN_MOVE_SELF ： 自移动，即一个可执行文件在执行时移动自己

2.2、inotify相关的内核参数

[[email protected] ~]# ll /proc/sys/fs/inotify/-rw-r--r-- 1 root root 0 Jun 13 17:49 max_queued_events-rw-r--r-- 1 root root 0 Jun 13 17:49 max_user_instances-rw-r--r-- 1 root root 0 Jun 13 17:49 max_user_watches

• /proc/sys/fs/inotify/max_queued_events 
  该参数值是调用inotify_init时分配给实例的event队列最大值，超出该值的event被丢弃，并触发IN_Q_OVERFLOW事件。默认值：16384 
  注意，该参数定义的是events队列长度，若文件庞大且变化频繁需调整该值以适应监控。
• proc/sys/fs/inotify/max_user_instances 
  该参数值定义了用户创建inotify实例的上限。默认值：128
• /proc/sys/fs/inotify/max_user_watches 
  该参数定义了每个inotify示例可监控的最大目录数，如果监控文件庞大需调大该值。默认值：8192 
  参数调整示例： 
  可使用重定向方式修改 
  echo 10000000 > /proc/sys/fs/inotify/max_user_watches

2.3、inotify-tools介绍

Inotify-tools工具安装后提供了两个命令

• /usr/bin/inotifywait：监控文件系统变化
• /usr/bin/inotifywatch：用来统计文件系统访问的次数

2.3.1、Inotifywait用法

inotifywait  [-hcmrq] [-e <event> ] [-t <seconds> ] [--format <fmt> ] [--timefmt<fmt> ] <file> [ ... ]   -h,–help     //输出帮助信息    @          //排除不需要监视的文件，可以是相对路径，也可以是绝对路径    –fromfile    //从文件读取需要监视的文件或排除的文件，一个文件一行，排除的文件以@开头    -m,–monitor   //接收到一个事情而不退出，无限期地执行。默认行为是接收到一个事情后立即退出    -d,–daemon    //跟–monitor一样，除了是在后台运行，需要指定 –outfile把事情输出到一个文件。也意味着使用了–syslog    -o,–outfile    //输出事情到一个文件而不是标准输出。    -s,–syslog    //输出错误信息到系统日志    -r,–recursive  //监视一个目录下的所有子目录。    -q,–quiet     //指定一次，不会输出详细信息，指定二次，除了致命错误，不会输出任何信息。    –exclude      //正则匹配需要排除的文件，大小写敏感。    –excludei     //正则匹配需要排除的文件，忽略大小写。    -t，–timeout#  //设置超时时间，如果为0，则无限期地执行下去。    -e,–event    //指定监视的事件。    -c,–csv      //输出csv格式。    –timefmt     //指定时间格式，用于–format选项中的%T格式。    –format      //指定输出格式。    %w 表示发生事件的目录    %f 表示发生事件的文件    %e 表示发生的事件    %Xe 事件以“X”分隔    %T 使用由–timefmt定义的时间格式

2.3.2、inotifywatch用法

inotifywatch [-hvzrqf] [-e <event> ] [-t <seconds> ] [-a <event> ] [-d <event> ] <file> [ … ]          -h，–help    # 输出帮助信息    -v，–verbose  # 输出详细信息    @          # 排除不需要监视的文件，可以是相对路径，也可以是绝对路径。    –fromfile    # 从文件读取需要监视的文件或排除的文件，一个文件一行，排除的文件以@开头。    -z，–zero    # 输出表格的行和列，即使元素为空    –exclude     # 正则匹配需要排除的文件，大小写敏感。    –excludei    # 正则匹配需要排除的文件，忽略大小写。    -r，–recursive # 监视一个目录下的所有子目录。    -t，–timeout  # 设置超时时间    -e，–event    # 只监听指定的事件。    -a，–ascending # 以指定事件升序排列。    -d，–descending# 以指定事件降序排列

3、rsync + in otify 实时同步备份实验

3.1、实验拓扑

3.2、服务器端

1、安装超级守护进程

[[email protected] data]# yum -y install xinetd

注意：要想启动rsync服务，必须先安装此进程。rsync服务是依赖xinetd来启动

2、设置开机自动启动

[[email protected] data]# chkconfig xinetd on

3、安装rsync

[[email protected] data]# yum -y install rsync

4、查看超级守护进程下自动生成的rsync服务，并设置激活

[[email protected] data]# vim /etc/xinetd.d/rsyncservice rsync{        disable = no       # 改为no ，表示启用rsync，默认是关闭的        flags           = IPv6        socket_type     = stream        wait            = no        user            = root        server          = /usr/bin/rsync        server_args     = --daemon        log_on_failure  += USERID

5、创建共享的目录文件

[[email protected] /]# mkdir /data/

6、编辑配置文件/etc/rsyncd.conf

[[email protected] data]# vim /etc/rsyncd.conf# Global Settinguid = nobody                    #运行rsync服务器的角色名称gid = nobody                    #运行rsync服务器的组名称use chroot = no             # 是否允许使用chrootmax connections = 10            #最大的连接数strict modes = yes              # 是否启用严格检查权限，用户是否允许上传下载pid file = /var/run/rsync.pid       # pid文件路径log file = /var/log/rsyncd.log      #日志文件记录路径# Directory to be synced [tools]                     #共享存储的模块名称path = /data                    #共享文件存储路径ignore error = yes              #传输过程出现错误处理方式，yes表示忽略read only = no                  #是否只读write only = no             #是否只写，表示不允许别人看hosts allow = 192.168.80.0/24   #允许哪些主机来实现数据同步（类似白名单）hosts deny = *                  # 如果匹配到上面的就表示通过，否则就拒绝list = false                    #是否允许你列出所有 {true | false}uid = root                      #以什么身份运行，如果这里不填，将会继承上面gid = rootauth users = wqp                #认证用户secrets file = /etc/rsyncd.passwd   #认证用户密码的文件# rsyncd.passwd格式为 USERNAME:PASSWORD

注意：（此文件需要手动创建，系统不会自动生成，请注意，文件名必须是rsyncd.conf，否则rsync会无法正常读取配置文件）

7、编辑密码文件

[[email protected] /]# vim /etc/rsyncd.passwdwqp:redhat

8、启动服务

[[email protected] /]# service xinetd start

9、查看所监听的端口

[[email protected] /]# netstat -tanlp | grep xinetdtcp        0      0 :::873         :::*               LISTEN      1362/xinetd

10、使用客户端测试连接rsync服务器

[[email protected] ~]# rsync /etc/fstab [email protected]::tools

3.3、客户端配置

1、安装inotify-tools

[[email protected] ~]# yum -y install inotify-tools

备注：如果使用yum安装，需要配置好epel源

2、编辑密码文件，目的是为后面脚本自动化执行

[[email protected] ~]# vim /etc/rsyncd.passwdredhat

3、设置密码文件权限

[[email protected] ~]# chmod 600 /etc/rsyncd.passwd# 设置密码文件夹权限为600，目的是为了更安全，而且如果不设置，有可能导致脚本读取密码文件出错

4、创建监控脚本

[[email protected] ~]# vim rsyncInotify.sh#!/bin/bash                                        #host=‘192.168.80.106‘user=‘wqp‘src=‘/tmp/dir‘dest=‘tools‘passwdFile=‘/etc/rsyncd.passwd‘inotifywait -mrq -e modify,attrib,moved_to,moved_from,move,move_self,create,delete,delete_self --timefmt=‘%d/%m/%y %H:%M‘ --format=‘%T %w%f %e‘ $src  | while read chgeFiledorsync -avqz --delete --progress --password-file=$passwdFile $src [email protected]$host::$dest &>>/var/log/rsync.logdone

5、设置开机自动启动

[[email protected] ~]# echo ‘bash /root/rsyncInotify.sh &‘ >> /etc/rc.local

3.4、 验证试验结果

1、手动启动脚本

[[email protected] ~]# bash /root/rsyncInotify.sh &

2、在客户端上被监控的目录下创建文件

[[email protected] dir]# touch file{1..10}

3、查看服务器端rsyncd.log日志文件

[[email protected] data]# tail /var/log/rsyncd.log

4、查看已同步的文件