rsync + notify 同步

1. 配置rysnc server:同步机,同步被同步机更新的文件,很多台
vi /etc/rsyncd.conf
uid=root
gid=root
use chroot=no
max connections=10
timeout=600
strict modes=yes
port=873
pid file=/var/run/rsyncd.pid
lock file=/var/run/rsyncd.lock
log file=/var/log/rsyncd.log
[module_pk10]
path=/data/www/DePK10
comment=rsync pk10 unity
auth users=pk10
uid=root
gid=root
secrets file=/etc/rsyncd.secrets
read only=no
list=no
hosts allow=103.x.x.x
hosts deny=0.0.0.0/32

vi /etc/rsyncd.secrets
pk10:[email protected]
chmod 600 /etc/rsyncd.secrets

启动:rsync --daemon

添加防火墙开放 873端口
-A INPUT -m state --state NEW -m tcp -p tcp -s 103.x.x.x --dport 873 -j ACCEPT

2. 客户端:被同步机一台,更新文件只需要更新到这台
vi /etc/rsync_client.pwd
[email protected]
chmod 600 /etc/rsync_client.pwd

mkdir  /etc/rsyncd.d/
touch  /etc/rsyncd.d/rsync_exclude.lst

安装inotify:yum install -y inotify-tools

监控和同步脚本:
vi rsync.sh
#rsync auto sync script with inotify

#variables
current_date=$(date +%Y%m%d_%H%M%S)
source_path=/data/www/DePK10/
log_file=/var/log/rsync_client.log

#rsync
rsync_server="xxx.xxx.xxx.xxx

xxx.xxx.xxx.xxx"

rsync_user=pk10
rsync_pwd=/etc/rsync_client.pwd
rsync_module=module_pk10
INOTIFY_EXCLUDE=‘(.*/*\.log|.*/*\.swp)$‘
RSYNC_EXCLUDE=‘/etc/rsyncd.d/rsync_exclude.lst‘

#rsync client pwd check
if [ ! -e ${rsync_pwd} ];then
    echo -e "rsync client passwod file ${rsync_pwd} does not exist!"
    exit 0
fi
#inotify_function
inotify_fun(){
    /usr/bin/inotifywait -mrq --timefmt ‘%Y/%m/%d-%H:%M:%S‘ --format ‘%T %w %f‘ \
          --exclude ${INOTIFY_EXCLUDE}  -e modify,delete,create,move,attrib ${source_path} \
          | while read file
      do
          for server in $rsync_server
          do
              /usr/bin/rsync -auvrtzopgP --exclude-from=${RSYNC_EXCLUDE} --progress --bwlimit=200 --password-file=${rsync_pwd} ${source_path} ${rsync_user}@${server}::${rsync_module}
          done
      done
}
#inotify log
inotify_fun >> ${log_file} 2>&1 &

时间: 2024-10-08 16:43:12

rsync + notify 同步的相关文章

rsync+notify 同步(异步方式)文件

同步文件,多个主机.可以做图片服务同步,代码管理同步等.通过异步方式同步,监控到文件的变化.同步更新变化的内容,效率比较好. 环境说明 服务类型 IP地址 应用 操作系统 源服务器 192.168.217.151 rsync inotify-tools 脚本 centos7/redhat7 目标服务器 192.168.217.150 rsync centos7/redhat7 在目标服务器上做以下配置 1.关闭防火墙与SELINUX # systemctl stop firewalld # sy

搭建中小规模集群之rsync数据同步备份

NFS重要问题 1.有关NFS客户端普通用户写NFS的问题. 1)为什么要普通用户写NFS. 2)exports加all_squash. Rsync介绍 什么是Rsync? Rsync是一款开源的.快速的.多功能的.可实现全量即增量的本地或远程数据同步备份的优秀工具.Rsync软件适用于unix.linux.windows等多种操作系统平台. Rsync简介 Rsync英文全称Remote synchronization.从软件的名称就可以看出来,Rsync具有可使本地和远程两台主机之间的数据快

Linux rsync数据同步命令解析

rsync命令 rsync有六种不同的工作模式: 1)拷贝本地文件.当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式. rsync -a /data /backup 2)使用一个远程shell程序(如rsh.ssh)来实现将本地机器的内容拷贝到远程机器.当DST路径地址包含单个冒号":"分隔符时启动该模式. rsync -avz *.c foo:src 3)使用一个远程shell程序(如rsh.ssh)来实现将远程机器的内容拷贝到本地机器.

sersync+rsync实时同步配置案例

目前业内比较靠谱的同步解决方案有: rsync+inotify-tools,Openduckbill+inotify-tools和rsync+sersync 前两者由于是基于脚本语言编写,所以规范程度,执行效率相对rsync+sersync就稍微弱一些. sersync是使用c++编写,基于boost1.43.0,inotify api,rsync command开发,主要用于服务器同步,web镜像等功能.其对linux系统文件系统产生的临时文件和重复的文件操作能够进行过滤,所以在结合rsync

linux rsync实时同步

rsync同步 同步与复制的差异:复制:完全拷贝源到目标同步:增量拷贝,只传输变化过的数据 同步操作:remote sync 远程同步支持本地复制,或与其他ssh,rsync主机同步.官方网站:http://rsync.samba.org/ 命令用法rsync [选项] 源目录 目标目录常用选项:-a:归档模式,相当于-rlptgiD-v:显示同步过程详细信息 -z:传输过程中启用压缩 -r:递归,包括目录/子目录及所有文件-l:保留符号链接文件-p,-t:保留文件的权限,时间标记-o,-g:保

Rsync文件同步

本章结构 关于rsync 1.一款增量备份工具,remote sync,远程同步,支持本地复制或者与其他SSH.rsync主机同步,官方网站:http://rsync.samba.org/. Rsync(remote synchronize)是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件,也可以使用rsync同步本地硬盘中的不同目录. Rsync是用户取代rcp的一个工具,Rsync使用所谓的"Rsync算法"来使本地和远程两个主机之间的文件达到同步,这个算法只传

Rsync数据同步工具应用指南

1.Rsync数据同步工具应用指南 简介Rsync的特性:Rsync的工作方式:Rsync命令同步选项参数:本地主机模式示例远程RPC模式示例 简介     Rsync是一款开源的.快速的.多功能的.可实现全量及增量的本地或远程数据同步备份的优秀工具.可使本地和远程两台或多台主机之间的数据快速复制同步镜像.远程备份的功能.这个功能类似ssh自带的scp命令,但又优于scp命令的功能,scp每次都是全量拷贝,而rsync可以增量拷贝.当然,Rsync还可以在本地主机的不同分区或目录之间全量及增量的

rsync 精确同步文件用法 (转载)

-- include-from 指定目录下的部分目录的方法: include.txt: aa bb ss Command: rsync -aSz  --include-from=/home/include.txt --exclude=/* /home/mnt/data/upload/f/ [email protected]:/mnt/data/upload/f/ --exclude-from 排除目录下的部分目录的方法: exclude.txt: cc dd Command: rsync  -a

rsync+inotify同步备份MYSQL数据

rsync+inotify同步备份MYSQL数据 rsync具有安全性高.备份迅速.支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,但是rsync不能实时的去监测.同步数据.inotify 是一种强大的.细粒度的.异步的文件系统事件监控机制,通过inotify可以监控文件系统中添加.删除,修改.移动等各种细微事件. 实验环境:备份端192.168.1.123(rsync server) 备份源192.168.124(rsync client inotify mysql)