inotify+rsync

今天一位CU的友友根据之前介绍过 通过rsync+inotify-tools+ssh实现触发式远程实时同步  配置分发系统,但是由于认证繁琐,很容易出错,我今天重新整理了下,用rsync密码文件pas认证的方式进行同步。

系统环境:

10.10.10.20  (发布文件服务器)  源目录:/home/httpd/20dir

10.10.10.21   (同步镜像文件服务器)                   目标目录:/home/httpd/21dir

实现目标:目录/home/httpd/20dir 通过Rysnc实时同步到/home/httpd/21dir目录

软件下载

rysnc的主页地址为:
http://rsync.samba.org/
目前最新版本为Rsync version 3.0.9。

一、配置Rysnc服务 ,实现文件密码文件认证传输。

首先在10.10.10.21上搭建rsync服务,设置同步的目录

1、在10.10.10.21上下载、安装rsync:
#tar zxvf rsync-3.0.9.tar.gz
#cd rsync-3.0.9
#./configure --prefix=/usr/local/rsync
#make 
#make install

2、配置rsync server服务:

#vim /etc/rsyncd.conf

uid = root                             //运行RSYNC守护进程的用户

gid = root                             //运行RSYNC守护进程的组

use chroot = no                  //不使用chroot

max connections=0          // 最大连接数无限制

log file=/var/log/rsyncd.log               //日志记录文件的存放位置

pid file=/var/run/rsyncd.pid              //锁文件的存放位置

lock file=/var/run/rsyncd.lock           //pid文件的存放位置

[21dir]                                  //这里是认证的模块名,在client端需要指定

path = /home/httpd/21dir/  //需要做镜像的目录,不可缺少

comment = rsync from 10.10.10.20

read only = no                              // 非只读

list = on                                         //不允许列文件

auth users = rsyncuser             //认证的用户名,如果没有这行则表明是匿名,此用户与系统无关

secrets file = /etc/21.pas                  //密码和用户名对比表,密码文件自己生成

3、设置密码文件secrets file ,编辑/etc/21.pas

#vim  /etc/21.pas

rsyncuser:123456   //用户名和密码,用”/” 隔开

并且设置600文件属性:

#chomd 600 /etc/21.pas

4、启动Rsync服务:

#/usr/local/rsync/bin/rsync --port=873 --address=10.10.10.21 –daemon

其次在10.10.10.20分发服务器上测试同步:

1、添加密码文件认证:

#vim /etc/21.pas

123456   //对应10.10.10.21 密码即可

并且设置600文件属性:

#chomd 600 /etc/21.pas

2、测试

/usr/bin/rsync -avH --delete  --progress --password-file=/etc/21.pas  /home/httpd/21dir rsyncuser @10.10.10.21::21dir

二、安装配置inotify 服务

在10.10.10.20 上搭建inotify 服务

1、下载安装

# wget http://nchc.dl.sourceforge.net/project/inotify-tools/inotify-tools/3.13/inotify-tools-3.13.tar.gz
# tar xzvf inotify-tools-3.14.tar.gz
# cd inotify-tools-3.13
# ./configure  --prefix=/usr/local/inotify
# make
# make install

2、创建inotify_rsync.sh脚本

# vim inotify_rsync.sh

#!/bin/sh

#date:2013-1-11

#function:rysnc 10.10.10.20  to  10.10.10.21

if [ ! -f /etc/21.pas ];then

echo "123456">/etc/21.pas

/bin/chmod 600 /etc/1.pas

fi

log=/usr/local/inotify/logs/rsync.log

src="/home/httpd/20dir/"

host="10.10.10.21"

module="21dir"

/usr/local/inotify/bin/inotifywait -mr --timefmt ‘%d/%m/%y %H:%M‘ --format ‘%T %w %f‘ -e close_write,modify,delete,create,attrib $src |  while read DATE TIME DIR FILE; do

FILECHANGE=${DIR}${FILE}

/usr/bin/rsync -avH --delete  --progress --password-file=/etc/21.pas $src  --exclude-from="/usr/local/inotify/logs/rules.txt" [email protected]$host::$module &

echo "At ${TIME} on ${DATE}, file $FILECHANGE was backed up via rsync" >> $log

done

相关注解如下:
/usr/local/bin/inotifywait -mrq -e modify,delete,create,attrib ${src}
-m 是保持一直监听
-r 是递归查看目录
-q 是打印出事件

-e close_write,modify,delete,create,attrib 是指 “监听 创建 移动 删除 写入 权限” 事件

/usr/bin/rsync -avH --delete  --progress --password-file
-a 存档模式
-H 保存硬连接
-delete 删除于多余文件

--password-file 密码文件

今天参数可以man rsync

要排除同步某个目录时,为rsync添加--exculde=PATTERN参数,注意,路径是相对路径,具体查看man rsync。
要排除某个目录的事件监听的处理时,为inotifywait添加--exclude或--excludei参数,具体查看man inotifywait。
--exclude-from="/usr/local/inotify/logs/rules.txt" 可以匹配过滤文件:

如排除包括 .svn的文件:

#cat /usr/local/inotify/logs/rules.txt

- *.svn*

inotifywait 命令产生三个返回值,分别是“日期,时间,文件” 这3个返回值会做为参数传给read,因此脚本中的“while read D E F” 写法细化了返回值。

赋予脚本可执行权限

#chmod +x   inotify_rsync.sh

运行

#./ inotify_rsync.sh &

时间: 2024-10-10 23:23:41

inotify+rsync的相关文章

linux inotify+rsync

一.系统环境: centos 6.5_64 更新源服务器:192.168.10.11 目的服务器:192.168.10.10 二.目的服务器配置:192.168.10.10 (rsync服务端): 1.检查rsync是否安装 rpm -qa|grep rsync 如果没有发装,执以下命令进行安装 yum -y install rsync 2.定义rsync配置文件/etc/rsyncd.conf 192.168.10.11: cat >> /etc/rsyncd.conf << E

CentOS 6.5 inotify+rsync做实时同步-企业实例(1.0)

inotify+rsync实时同步起源及简介 inotify服务机制 inotify实施准备 inotify配置是建立在rsync服务的基础上 inotify,sersync,lsyncd sersync功能更多,可以做各种过滤,但从性能上看,通过测试得出inotify性能更高,每秒钟能同步好几百张图片,inotify 150张就不能实时了 实施前检查rsync daemon是正常 [[email protected] oldboy]# ps -ef |grep daemon root     

inotify+rsync数据同步

安装常用工具: yum install tree nmap sysstat dos2unix lrzsz -y 设置两台机器主机名 hostname inotify hostname rsync 这里测试,就直接hostname修改了,要使永久生效,还需要修改 /etc/network/sysconfig和/etc/hosts文件 rsync有三种模式: 1.单个主机的本地数据传输(此事类似于cp命令) 例如:rsync -avz /etc/hosts /home/ 2.借助rpc.ssh等通道

Inotify+rsync实时同步工具实战

Inotify+rsync实时同步工具实战 分别有机器:server-178/24,client-b-179/24,client-c-180/24 中心分发服务器Master:client-c-180/24 备份服务器    :client-b-179/24和server-178/24 基于备份服务器已经提供rsync --daemon的基础上,在中心分发服务器(rsync客户端)配置inotify,监控的目录设置为/www/ 1.查看当前系统是否支持inotify ls -l /proc/sy

inotify+rsync双向同步

inotify+rsync实现双向自动同步文件,这个在实验是由于本人所在公司一项业务需要实现双向同步,inotify+rsync的大多数配置都是单向实施的,这个双向实验经过验证是可行的,对于没有共享存储的但是又需要实现数据双向一致性的场景还是比较实用的. Inotify+rsync实现双向同步实验 机器地址:192.168.14.202 192.168.14.203 目录为/var/www/html/web202和/var/www/html/web203目录的所有者和所属组为rsync 用户为:

第2章 rsync(二):inotify+rsync详细说明和sersync

本文目录: inotify+rsync 1.1 安装inotify-tools 1.2 inotifywait命令以及事件分析 1.3 inotify应该装在哪里 1.4 inotify+rsync示例脚本(不完善) 1.5 inotify的不足之处 1.5.1 inotify的bug 1.5.2 inotify+rsync的缺陷 1.6 inotify+rsync的最佳实现 sersync inotify+rsync 如果要实现定时同步数据,可以在客户端将rsync加入定时任务,但是定时任务的

Linux下同步工具inotify+rsync使用详解

Linux下同步工具inotify+rsync使用详解 Posted on 2014-12-12 |  In Linux|  9|  Visitors 438 1. rsync 1.1 什么是rsync rsync是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件.它使用所谓的"Rsync演算法"来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快.所以通常可以作为备份工具来使用. 运行Rsync serve

inotify +rsync 实时同步

1.1 inotify简介 inotify是一种强大的,细粒度的,异步的文件系统时间监控机制,Linux内核从2.6.13加入了inotify支持,通过inotify可以监控文件系统汇中添加,删除,修改,移动等各种事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools正式实施这样的监控的软件,国人周洋在金山公司开发了类似的实时同步软件sersync. 1.1.1 安装inotify 在安装inotify-tools前请先确认你的Linux内核是否达

真正的inotify+rsync实时同步 彻底告别同步慢

我们公司在用inotify+rsync做实时同步,来解决分布式集群文件一致性的问题.但当web文件越来越多(百万级数量html,jpg等小 文件),同步就越来越慢,根本做不到实时,按照网上的调优方法都尝试过,问题根本没有解决.经过我一翻细致研究,终于把慢的核心问题研究明白,先总结一句 inotifywait响应不会有延迟,rsync也很快.大家同样有慢的烦恼,那是因为网上的inotify+rsync的教程都是坑.下面我们来分 析. inotifywait 单独分析 /usr/local/bin/

lsyncd 代替inotify+rsync 配置

一.lsyncd介绍 二.lsyncd安装 三.lsyncd配置说明 四.lsyncd同步测试 1.lsyncd 介绍 Lsyncd 监视本地目录树事件监控器接口( inotify或fsevents ) .通过秒级事件聚合,然后生成一个(或多个)进程来同步变化.默认情况下为结合rsync. Lsyncd轻重量镜解决方案,安装不需要新的文件系统或块设备相对容易,并且不妨碍本地文件系统的性能. Lysncd 实际上是lua语言封装了 inotify 和 rsync 工具,采用了 Linux 内核(2