笔记:rsync+inotify实时同步扩展思考

---------------------------------------------------------

rsync小结

1,客户端配置

配置文件:/etc/rsync_client/rsyncd.conf

uid=root

gid=root

use chroot = no

max connections = 5

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

Timeout = 300

Log format = %t %a %m %f %b

密码文件:权限必须600

/etc/rsync_client/rsyncd.pass

password123

2个文件存在即可,作为客户端,rsync服务无需启动。

2,服务端配置

配置文件:/etc/rsync_serv/rsyncd.conf

uid=root

gid=root

use chroot = no

max connections = 5

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

Timeout = 300

Log format = %t %a %m %f %b

[nginx]#模块

path=/usr/local/nginx#路径

ignore errors

read only = no#需要写入权限

list = no

auth users = user123#连接认证使用的帐号

secrets file = /etc/rsync_serv/rsyncd.pass#连接认证使用的密码文件,权限必须600

hosts allow = 192.168.1.103#允许连接的客户端

hosts deny = 0.0.0.0/0#拒绝连接的IP

密码文件:/etc/rsync_serv/rsyncd.pass

user123:password123#密码信息需与客户端配置的密码一致

作为服务端,需要启动服务:

rsync --daemon --config=/etc/rsync_serv/rsyncd.conf

3,同步nginx目录的下的web文件,在客户端上执行

rsync -va --progress --password-file=/etc/rsync_client/rsyncd.pass html/* [email protected]::nginx/html/

如果是同步目录,需要在目录后面加上/

rsync -va --progress --password-file=/etc/rsync_client/rsyncd.pass conf/ [email protected]::nginx/conf

---------------------------------------------------------

实时同步脚本

#!/bin/sh

#

DESTHOST=192.168.1.108

SRCDIR=/usr/local/nginx/conf/

# --format ‘%T %w %f %e‘ 定义的变量即为while后面引用的变量

# %T 时间格式

# %w 路径

# %f 文件

# %e 事件

inotifywait -mr --timefmt ‘%Y-%m-%d_%H:%M:%S‘ --format ‘%T %w %f %e‘ -e close_write,modify,delete,create,attrib $SRCDIR |  while read DATE DIR FILE EVENTS

# while后面申明的变量即对应上面格式化后的变量

do

#echo "date: $DATE" >> /var/log/rsync-action.log

#echo "time: $TIME" >> /var/log/rsync-action.log

#echo "dir: $DIR" >> /var/log/rsync-action.log

#echo "file: $FILE" >> /var/log/rsync-action.log

#echo "--------" >> /var/log/rsync-action.log

FILE2=${DIR}${FILE}

EVENT=`echo ${EVENTS} | awk ‘{print $1}‘`        #可以在此针对不同的事件做不同的处理

rsync -vaq --password-file=/etc/rsync_client/rsyncd.pass $SRCDIR [email protected]::nginx/conf

echo "At ${DATE} on ${DESTHOST}, file $FILE2 was ${EVENT} via 103 rsync. " >> /var/log/rsync-action.log

#将变更信息邮件通知到管理员或者查询后台

#可关联邮件系统或者日志系统进行分析

# ...

done

---------------------------------------------------------

PS:需要单独安装inotify-tools工具

时间: 2024-10-20 04:57:57

笔记:rsync+inotify实时同步扩展思考的相关文章

rsync+inotify实时同步环境部署记录

随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足.首先,rsync在同步数据时,需要扫描所有文件后进行比对,进行差量传输.如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的,并且正在发生变化的往往是其中很少的一部分,这是非常低效的方式.其次,rsync不能实时的去监测.同步数据,虽然它可以通过linux守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据可能出现不一致,无法在应

rsync+inotify实时同步方案

rsync+inotify实时同步,inotify可以实时监控本地文件或目录变化,当检测到本地文件变化,执行rsync同步命令,将变化的文件同步到其他服务器节点. 1.配置环境 3.在服务节点1.服务节点2.内容发布节点,都安装rsync软件:在内容发布节点再安装inotify实时监控软件.安装步骤建上篇. 4.编辑同步脚本 #!/bin/bash/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y' --format '%T %

rsync+inotify实时同步案例

rsync+inotify实时同步案例 随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足,首先,rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输.如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的.而且正在发生变化的往往是其中很少的一部分,这是非常低效的方式.其次,rsync不能实时的去监测.同步数据,虽然它可以通过linux守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务

rsync远程同步及rsync+inotify实时同步

rsync远程同步及rsync+inotify实时同步 思维代入 正确.有效的备份方案是保障系统及数据安全的重要手段.在服务器中,通常会结合计划性任务.shell脚本来执行本地备份.但有时候为了提高备份的可靠性,异地备份也是非常有必要的.那下面就给大家介绍一种异地远程备份的方法:rsync远程备份. rsync简介 rsync是一个开源的快速备份工具,可以在不同主机之间镜像同步整个目录树,支持增量备份.保持链接和权限,且采用优化的同步算法,在传输前执行压缩,因此非常适用于异地备份.镜像服务等应用

配置rsync+inotify实时同步

配置rsync+inotify实时同步Linux从2.6.13版内核开始提供了inotify通知接口,用来监控文件系统的各种变化情况,如文件的存取,删除,移动,修改内容及属性等.利用这个机制,可以实现文件异动警告,增量备份,针对目录或文件的变化及时做出响应. 将inotify机制与rsync工具结合,可以实现触发式备份(实时同步),只要原始位置的文档发生变化,则立即启动增量备份,否则处于静默等待状态,避免了按固定周期备份是存在的延迟性,周期过密等问题. 正因为inotify通知机制有Linux内

rsync+inotify实时同步

一.Rsync简介: rsync是一个远程数据同步工具,可通过lan/wan快速同步多台主机间的文件.它使用所谓的"rsync演算法"来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快.所以通常可以作为备份工具来使用. 运行rsync server的机器也叫backup server,一个rsync server可同时备份多个client的数据:也可以多个rsync server备份一个client的数据.rsync可以搭配

rsync+inotify实时同步环境部署

rsync 作用: 实现文件的备份 备份位置可以是当前主机,也可以是远程主机 备份过程可以是完全备份,也可以是增量备份 功能: 1.类似于cp的复制功能 将本地主机的一个文件复制到另一个位置下. 2.将本地主机的文件推送到远程主机,也可以从远程主机拉取文件到本地. 3.显示文件列表 使用模式 shell模式 本地复制功能 远程shell模式 可以利用ssh来实现数据的加密到远程主机 守护进程(服务器模式) rsync工作在守护进程模式下 列表模式 ls 仅仅显示内容,不做操作 确保各个主机的时间

Rsync+inotify实时同步笔记

从远程rsync服务器中拷贝文件到本地机.当SRC路径信息包含"::"分隔符时启动该模式. 从本地机器拷贝文件到远程rsync服务器中.当DST路径信息包含"::"分隔符时启动该模式. 配置文件主要内容如下: uid = root gid = root port = 873 max connections = 200 timeout = 600 pid file = /var/run/rsyncd.pid log file = /var/log/rsync.log

inotify介绍及rsync + inotify 实时同步备份

1.前言 rsync (remote sync)是一款非常好的数据同步工具,能够通过对比同步双方的数据变动,实现增量同步,还可以通过LAN/WAN实现远程多台主机间文件的同步,还能结合crond任务计划来执行自动备份,又可以结合ssh实现远程数据备份的安全,种种特性使他看起来相当优秀.但如果需备份数据十分庞大时,它的不足之处就显现出来了,比如每次执行同步操作时,rsync都会扫描全部数据进而计算出增量部分,而后再同步增量数据,这将会十分耗时,使其变得低效:并且受限于crond计划任务最小时间间隔