linux 下rsync+inotify实现实时同步

rsync是类unix系统下的数据镜像备份工具——remote sync,inotify 是一个 Linux特性,它监控文件系统操作,比如读取、写入和创建。两者结合可以实现服务器与客户端之间的文件实时同步。

实验逻辑图

一、安装配置rsync服务

主,备服务器检查是否安装rsync服务,一般情况下系统默认安装

[[email protected] bin]# rpm -qa rsync

rsync-3.0.6-6.el5_11

1、首先对rsync-slave进行配置

添加配置rsync的文件,配置内容为/data/ 目录进行备份,虚拟用户syncuser,密码文件/etc/rsyncd.pass

vim /etc/rsyncd.conf

# Section 1: Global settings

port = 873

uid = root

gid = root

use chroot = no

read only = no

max connections = 7

pid file = /var/run/rsyncd.pid

log file = /var/log/rsyncd.log

hosts allow = *

transfer logging = yes

log format = %t %a %m %f %b

syslog facility = local3

timeout = 300

# Section 2: Directory to be synced

[data]

path = /data/

list = false

ignore errors = yes

auth users = syncuser

secrets file = /etc/rsyncd.pass

添加虚拟用户及密码 用于主备认证

vim /etc/rsyncd.pass

syncuser:12345

编辑完成后赋予600权限

chmod 600 rsyncd.pass

完成后启动rsync服务

rsync --daemon --config=/etc/rsyncd.conf

检查启动,rsync默认端口873

ps -ef |grep rsync |grep -v grep

netstat -lnt |grep 873

lsof -i tcp:873

2、配置rsync-master

添加密码验证文件,注意只需要密码

vim /etc/rsyncd.pass

12345

chmod 600 rsyncd.pass

测试rsync服务,将master端的/data/文件夹内容推送至slave端

rsync -avz -P /data/ [email protected]::data --password-file=/etc/rsyncd.pass

二、在master端安装配置inotify服务

1、查看是否支持inotify,如下说明系统支持inotify服务

[[email protected] mp3]# ls -l /proc/sys/fs/inotify/

total 0

-rw-r--r-- 1 root root 0 Apr 30 09:17 max_queued_events

-rw-r--r-- 1 root root 0 Apr 30 09:17 max_user_instances

-rw-r--r-- 1 root root 0 Apr 30 09:17 max_user_watches

2、下载安装inotify-tool工具

wget  http://nchc.dl.sourceforge.net/project/inotify-tools/inotify-tools/3.13/inotify-tools-3.13.tar.gz

下载至本地,解压并安装

# tar xzvf inotify-tools-3.14.tar.gz
# cd inotify-tools-3.14
# ./configure --prefix=/usr/local/inotify
# make &&make install
3、完成安装后,至/usr/local/inotify/bin下建立inotify监控脚本,内容检测服务端的/data与客户端/data目录是否一致,不一致进行rsync同步

[[email protected] etc]# vim /usr/local/inotify/bin/inotify_rsync.sh

#!/bin/bash

srcdir="/data/"

ip="192.168.6.128"

dstdir="data"

/usr/local/inotify/bin/inotifywait -mrq --timefmt ‘%d/%m/%y-%H:%M‘ --format ‘%T %w%f‘ -e modify,delete,create,attrib ${srcdir} | while read file;

do

for i in ${ip}

do

rsync -avz --progress --password-file=/etc/rsyncd.pass ${srcdir} [email protected]${i}::${dstdir} done

done

~

赋予脚本可执行权限

#chmod +x   inotify_rsync.sh

后台运行

#./ inotify_rsync.sh &

4、测试,通过在mater端修改/data内容,可以查看slave端/data目录内容

另外,rsync服务可以使用ssh 通道进行传输

进行ssh免密认证

服务端命令:ssh-keygen -t rsa

scp .ssh/id_rsa.pub [email protected]:~.ssh/id_rsa.pub

客户端命令:cat id_rsa.pub >> .ssh/authorized_keys

chmod 600 .ssh/authorized_keys

rsync -avz -P /本地目录 -e ‘ssh -p 22‘ 用户@ip:/目录 推送本地目录至远端

rsync -avz -P -e ‘ssh -p 22‘ 用户@ip:/目录 /本地目录 抓去远端目录至本地

时间: 2024-11-03 03:24:58

linux 下rsync+inotify实现实时同步的相关文章

Linux下rsync+inotify实现实时数据同步

一. rsync 1. 什么是rsync rsync 是一个远程数据同步工具, 可以实现本主机内,或跨主机的数据同步.以服务运行时监听在TCP 873端口, rsync演算法可以达到只传送文件变化的部分,而不是整个都传送,因此速度相当的快,性能不错. 所以rsync通常可以作为备份工具来使用. 1.1 rsync基本特点: 1. 可以镜像保存整个目录树或文件系统 2. 可以很容易做到保持原来文件的权限.时间.软硬链接等; (通过rsync的一些参数, 如 -a) 3. 较高的数据传输效率 4.

linux下rsync+inotify实现服务器之间文件实时同步

先介绍一下rsync与inotify. 1.rsync 与传统的cp.tar备份方式相比,rsync具有安全性高.备份迅速.支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,例如定期的备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等.随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足,首先,rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输.如果文件数量达到了百万甚至千万量级,扫描所

CentOS6.4_64位下搭建Rsync+Inotify实现实时同步

CentOS6.4_64位下搭建Rsync+Inotify实现实时同步 rsync是linux下的文件同步服务,功能简单来说就是服务端打开873端口,客户端连接这个端口,并对服务器端配置的目录进行同步,可以理解为客户端比对服务器端资源后,对增量或者差异的数据进行增删改操作,功能支持上传(推送)或下载(获取)比对,也就是远程数据比对本地数据而后对远程数据进行增删改操作,以及本地数据比对远程数据然后对本地数据进行增删改操作. centos6.4下默认已经安装,只需保证依赖服务xinetd开启即可.

linux rsync +inotify 实现 实时同步

前言:     rsync可以实现触发式的文件同步,但是通过crontab守护进程方式进行触发,同步的数据和实际数据会有差异,而inotify可以监控文件系统的各种变化,当文件有任何变动时,就触发rsync同步,这样刚好解决了同步数据的实时性问题. 一.基本环境 系统:CentOS 2.6.32-220.el6.x86_64软件包版本:rsync-3.0.6-12.el6.x86_64                    inotify-tools-3.14 下载链接:百度   inotify

第三十四天-rsync+inotify实现实时同步案例

推荐: Rsync结合Inotify 实时同步配置 rsync+inotify实现实时同步案例 rsync+inotify实现多台服务器之间数据实时同步 Linux下Rsync+Inotify-tools实现数据实时同步

实战:配置rsync+inotify实现实时同步备份

实战:配置rsync+inotify实现实时同步 Linux内核从2.6.13版本开始提供了inotify通知接口,用来监控文件系统的各种变化情况,如文件存取.删除.移动等.利用这一机制,可以非常方便地实现文件异动告警.增量备份,并针对目录或文件的变化及时作出响应. 使用rsync工具与inotify机制相结合,可以实现触发式备份(实时同步),只要原始位置的文档发生变化,则立即启动增量备份操作,否则处于静态等侍状态,这样一来,就避免了按固定周期备份进存在的延迟性.周期过密等问题. inotify

rsync的简单介绍及rsync+inotify实现实时同步更新

Rsync的简单介绍及rsync+inotify实现实时同步更新 rsync是类unix系统下的数据镜像备份工具--remotesync.一款快速增量备份工具 Remote Sync,远程同步支持本地复制,或者与其他SSH.rsync主机同步.Rsync是超级进程来管理的,服务端口为873. 特点: 1.可以镜像保存整个目录树或文件系统: 2.有较高的数据传输效率: 3.可借助于SSH实现安全数据传输: 4. 支持匿名传输 工作模式: 1.shell模式,也称作本地模式 2.远程shell模式,

通过rsync+inotify实现实时同步

需求:web服务器未做存储上的HA,为了保证主备服务器上目录及文件能够实时同步,当主服务器宕机时可快速切换到备服务器上,需将主服务器上的某些目录的文件实时同步到备服务器上 那么我选择了rsync+inotify实现实时同步 首先要了解是从哪台服务器同步到哪台服务器,不能弄反了,尤其是生产系统,且在生产系统中,先做测试目录,如果生产服务器上数据量不大,应先做好备份工作 先说环境 OS:linux rhel6.2 x86_64 192.168.10.72 安装rsync 配置rsync.conf19

Ubuntu 下rsync+inotify实现实时文件同步

rsync+inotify实现实时文件同步 一.rsync的优点与不足 与传统的cp.tar备份方式相比,rsync具有安全性高.备份迅速.支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,例如定期的备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等. 随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足,首先,rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输.如果文件数量达到了百万甚