rsync+inotify
rsync介绍
rsync是一个远程数据同步工具，可通过lan/wan快速同步多台主机间的文件。它使用所谓的“rsync演算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。所以通常可以作为备份工具来使用。
运行rsync server的机器也叫backup server，一个rsync server可同时备份多个client的数据；也可以多个rsync server备份一个client的数据。rsync可以搭配ssh甚至使用daemon模式。rsync server会打开一个873的服务通道(port)，等待对方rsync连接。连接时，rsync server会检查口令是否相符，若通过口令查核，则可以开始进行文件传输。第一次连通完成时，会把整份文件传输一次，下一次就只传送二个文件之间不同的部份。
inotify介绍
inotify是一种强大的、细粒度的、异步的文件系统事件监控机制，Linux内核从2.6.13开始引入，允许监控程序打开一个独立文件描述符，并针对事件集监控一个或者多个文件，例如打开、关闭、移动/重命名、删除、创建或者改变属性。
服务器端（数据接收方）的配置
[[email protected] ~]# vim /etc/sysconfig/selinux #配置selinux
SELINUX=disabled
[[email protected] ~]#reboot #重启
[[email protected] ~]# yum -y install rsync #安装rsync,默认情况下已经安装
[[email protected] ~]# vim /etc/rsyncd.conf #编辑rsync配置文件
log file = /var/log/rsyncd.log #日志文件位置，启动rsync后自动产生这个文件，无需提前创建
pid file = /var/run/rsyncd.pid #pid文件的存放位置
lock file = /var/run/rsync.lock #支持max connections参数的锁文件
secrets file = /etc/rsync.password #用户认证配置文件，里面保存用户名称和密码
motd file = /etc/rsyncd.motd #rsync启动时欢迎信息页面文件位置（文件内容自定义）
[web_log] #定义模板，自定义名称
path = /rsydata/ #rsync服务端数据目录路径,自定义
comment = web_log #模块名称与[web_log]自定义名称相同
uid = root #设置rsync运行权限为root
gid = root #设置rsync运行权限为root
port=873 #默认端口
use chroot = false #默认为true，修改为false，增加对目录文件软连接的备份
read only = false #设置rsync服务端文件为只读权限
list = false #不显示rsync服务端资源列表
max connections = 200 #最大连接数
timeout = 600 #设置超时时间
auth users = backuser #执行数据同步的用户名，可以设置多个，用英文状态下逗号隔开
hosts allow = ip地址 #允许进行数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开
hosts deny = IP地址 #禁止数据同步的客户端IP地址，可以设置多个
[[email protected] ~]# mkdir /rsydata #创建备份目录
[[email protected] ~]# vim /etc/rsync.password #编辑用户认证配置文件
backuser:redhat
[email protected] ~]# chmod 600 /etc/rsync.password #一定要把用户认证配置文件的权限改成600
[[email protected] ~]# /usr/bin/rsync --daemon & #后台运行rsync服务
[1] 3392
[[email protected] ~]# systemctl enable rsyncd.service #设置rsync服务开机自启
[[email protected] ~]# firewall-cmd --permanent --add-port=873/tcp #配置防火墙
[[email protected] ~]# firewall-cmd --reload
客户端（数据发送方）的配置
[[email protected] ~]# yum -y install rsync #安装rsync,默认情况下已经安装
[[email protected] ~]# vim /etc/rsync.password#编辑认证文件，只保存密码
redhat
[[email protected] ~]# chmod 600 /etc/rsync.password#一定要把认证文件权限修改成600
[[email protected]~]#wget
http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz#下载inotify源码包
[[email protected] ~]# tar -xzvf inotify-tools-3.14.tar.gz -C /usr/local/#解压到/usr/logcal目录
[[email protected] ~]# mkdir /usr/local/inotify#创建安装目录
[[email protected] ~]# cd /usr/local/inotify-tools-3.14/
[[email protected] inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify#指定安装目录为/usr/local/inotify
[[email protected] inotify-tools-3.14]# make &&make install#编译安装
[[email protected] ~]# systemctl restart rsyncd
[[email protected] ~]# systemctl enable rsyncd
测试验证
[[email protected] ~]# mkdir /tmp/test
[[email protected] ~]# cd /tmp/test
[[email protected] test]# touch a{1..9}
[[email protected] test]# ls
a1 a2 a3 a4 a5 a6 a7 a8 a9
[[email protected]~]#rsync -vzrtopg --progress /tmp/test/ [email protected]::web_log --password-file=/etc/rsync.password#把客户端/tmp/test目录下的文件同步到服务器端的/rsydata目录下
[[email protected] ~]# cd /rsydata/
[[email protected] rsydata]# ls
a1 a2 a3 a4 a5 a6 a7 a8 a9 #数据已经同步
写一个脚本实现当客户端/tmp/test/下的文件有变化时，把此目录下的数据自动同步到服务器端的/rsydata下
[[email protected] ~]# vim inotify.sh
#!/bin/bash
/usr/local/inotify/bin/inotifywait -mrq --timefmt ‘%d/%m/%y %H:%M‘ --format ‘%T %w%f‘ -e modify,delete,create,attrib /tmp/test | while read file
do
/usr/bin/rsync -vzrtopg --delete /tmp/test/ [email protected]::web_log --password-file=/etc/rsync.password
echo "${files} was rsynced" >> /var/log/rsync.log 2>&1
done
[[email protected] ~]# chmod +x inotify.sh
[[email protected] ~]# sh inotify.sh & #后台运行脚本
[1] 15435
[[email protected] ~]# jobs #查看后台作业
[1]+ Running sh inotify.sh &
[[email protected] ~]# echo "/root/inotify.sh" >> /etc/rc.local #把脚本写到开机自启动文件里面
为了防止inotify服务由于意外情况停止服务，编写监控inotify进程的脚本
[[email protected] ~]# vim /root/inotify_status.sh
#!/bin/bash
ps -elf | grep inotify &> /dev/null
if [ -z $? ]
then
echo "inotify service is running"
else
/root/inotify.sh &
echo "inotify service is activing"
fi
[[email protected] ~]# chmod +x /root/inotify_status.sh
[[email protected] ~]# crontab -e #编写一个计划任务，每时每刻执行这个脚本
* * * * * /root/inotify_status.sh & > /dev/null
参数说明
语法：inotifywatch [-hvzrqf] [-e ] [-t ] [-a ] [-d ] [ ... ]
参数：
-h, –help
输出帮助信息
-v, –verbose
输出详细信息
@
排除不需要监视的文件，可以是相对路径，也可以是绝对路径。
–fromfile
从文件读取需要监视的文件或排除的文件，一个文件一行，排除的文件以@开头。
-z, –zero
输出表格的行和列，即使元素为空
–exclude
正则匹配需要排除的文件，大小写敏感。
例：要排除/home/mjb目录下的test1,test2,cc目录，可这样写--exclude="/home/mjb/(test1/|test2/|cc/)"。多个目录或文件一定要用“|”分开，不能在命令行中用两个--exclude，否则最后的--exclude会覆盖其它的。系统只是在文件路径中查找是否有上面参数指定的字符，如果有就排除。因此在test1后面加了“/”。否则/home/mjb/test123也会被排除。
–excludei
正则匹配需要排除的文件，忽略大小写。
-r, –recursive
监视一个目录下的所有子目录。
-t , –timeout
设置超时时间
-e , –event
只监听指定的事件。
-a , –ascending
以指定事件升序排列。
-d , –descending
以指定事件降序排列。
可监听事件
access 文件读取
modify 文件更改。
attrib 文件属性更改，如权限，时间戳等。
close_write 以可写模式打开的文件被关闭，不代表此文件一定已经写入数据。
close_nowrite 以只读模式打开的文件被关闭。
close 文件被关闭，不管它是如何打开的。
open 文件打开。
moved_to 一个文件或目录移动到监听的目录，即使是在同一目录内移动，此事件也触发。
moved_from 一个文件或目录移出监听的目录，即使是在同一目录内移动，此事件也触发。
move 包括moved_to和 moved_from
move_self 文件或目录被移除，之后不再监听此文件或目录。
create 文件或目录创建
delete 文件或目录删除
delete_self 文件或目录移除，之后不再监听此文件或目录
unmount 文件系统取消挂载，之后不再监听此文件系统。