通过rsync+inotify实现数据实时备份同步

一.环境描述

测试环境

需求：服务器A与服务器B为主备服务模式，需要保持文件一致性，现采用sersync基于rsync+inotify实现数据实时同步

环境描述：

主服务器172.26.7.50 ，从服务器172.26.7.51

实时同步/home/ 及/download 目录到从服务器

二.实施方法

1.从服务器172.26.7.51 rsync服务搭建

1.1下载软件包至从服务器

下载地址：http://rsync.samba.org/ftp/rsync/src

可根据环境需求下载相应的软件版本，本实验下载版本为rsync-3.1.1.tar.gz

1.2安装软件包

cd /usr/src

wget  http://rsync.samba.org/ftp/rsync/src/rsync-3.1.1.tar.gz
解压
tar xf rsync-3.1.1.tar.gz –C /opt/
mv /opt/rsync-3.1.1 /opt/rsync
cd /opt/rsync
./configure
make &&　make install
创建rsyncd.conf文件
vi /etc/rsyncd.conf
 
uid = root    #以root用户运行rsync服务
gid = root    #以root用户运行rsync服务
use chroot = no  #增加对目录文件软连接的备份
max connections = 1200  #最大连接数
timeout = 800    #超时时间
pid file = /var/run/rsyncd.pid   #PID存放位置
lockfile = /var/run/rsyncd.lock  #锁文件存放位置
log file = /var/log/rsyncd.log  #日志存放位置
[tongbu]  #认证模块名
path = /opt/tongbu   #同步A服务器的文件路径
ignore errors = yes  #忽略无关错误信息
hosts allow = 172.26.7.50   #允许访问IP
hosts deny = *　＃除了172.26.7.50主机外拒绝所有
read only = no #允许上传 
write only = no #允许下载
list = yes   #允许列出同步目录
auth users = root   #同步的用户
secrets file = /etc/rsync.pass  #存放用户密码的文件
###########可以配置多个同步模块
[download]
path = /download
ignore errors = yes
hosts allow = 172.26.7.50
hosts deny = *
read only = no
list = yes
auth users = root
secrets file = /etc/rsync.pass
注：/etc/rsync.pass 文件格式为username:password
文件权限必须为600否则服务不正常
 
hosts allow 定义可为单独IP也可为网段，网段格式为172.26.7.0/24
也可为172.26.7.0/255.255.255.0
创建rsync.pass文件
echo “root:password”>>/etc/rsync.pass
chmod 600 /etc/rsync.pass

1.3启动服务

rsync --daemon –v

echo “rsync --daemon –v”>>/etc/rc.local

开机自启动

2.主服务器172.26.7.50配置

2.1下载软件包

所需软件包为：

rsync-3.1.1.tar.gz    inotify-tools-3.14.tar.gz   sersync2.5.4_64bit_binary_stable_final.tar.gz

rysnc下载地址：wget  http://rsync.samba.org/ftp/rsync/src/rsync-3.1.1.tar.gz
inotify-tools下载：wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

sersync下载：https://code.google.com/p/sersync/downloads

2.2软件安装

软件下载好之后解压安装

cd /usr/src

wget  http://rsync.samba.org/ftp/rsync/src/rsync-3.1.1.tar.gz
wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
wget https://sersync.googlecode.com/files/sersync2.5.4_64bit_binary_stable_final.tar.gz

解压

tar xf rsync-3.1.1.tar.gz –C /opt

tar xf inotify-tools-3.14.tar.gz –C /opt

tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz –C /opt

cd /opt

mv rsync-3.1.1 rsync

mv inotify-tools-3.14 inotify-tools

mv GNU-Linux-x86 sersync
 
编译安装rsync
cd rsync
./configure && make && make install 
编译安装inotify-tools
cd inotify-tools
./configure && make && make install
 

2.3服务配置

配置sersync

cd sersync

cp confxml.xml confxml.xml_bak

vi confxml.xml

<?xml version="1.0" encoding="ISO-8859-1"?>

<head version="2.5">

<host hostip="localhost" port="8008"></host>

<debug start="false"/>

<fileSystem xfs="false"/>

<filter start="false">

<exclude expression="(.*)\.svn"></exclude>

<exclude expression="(.*)\.gz"></exclude>

<exclude expression="^info/*"></exclude>

<exclude expression="^static/*"></exclude>

</filter>

<inotify>

<delete start="true"/>

<createFolder start="true"/>

<createFile start="false"/>

<closeWrite start="true"/>

<moveFrom start="true"/>

<moveTo start="true"/>

<attrib start="false"/>

<modify start="false"/>

</inotify>

<sersync>

<localpath watch="/opt/tongbu"><!—与从服务器同步的文件路径-->

<remote ip="172.26.7.51" name="tongbu"/><!—与从服务器的模块名必须相同-->

</localpath>

<rsync>

<commonParams params="-artuzlpog"/><!—rsync参数设置-->

<auth start="true" users="root" passwordfile="/opt/sersync/user.pass"/>

<userDefinedPort start="false" port="873"/><!-- port=874 -->

<timeout start="false" time="100"/><!-- timeout=100 -->

<ssh start="false"/>

</rsync>

<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->

<crontab start="false" schedule="600"><!--600mins-->

<crontabfilter start="false">

<exclude expression="*.php"></exclude>

<exclude expression="info/*"></exclude>

</crontabfilter>

</crontab>

<plugin start="false" name="command"/>

</sersync>

</head>

########如果是多个目录同步需要起两个sersync进程同时需要两个启动配置文件

cp /opt/sersync/confxml.xml /opt/sersync/downxml.xml

vi /opt/sersync/downxml.xml

<?xml version="1.0" encoding="ISO-8859-1"?>

<head version="2.5">

<host hostip="localhost" port="8008"></host>

<debug start="false"/>

<fileSystem xfs="false"/>

<filter start="false">

<exclude expression="(.*)\.svn"></exclude>

<exclude expression="(.*)\.gz"></exclude>

<exclude expression="^info/*"></exclude>

<exclude expression="^static/*"></exclude>

</filter>

<inotify>

<delete start="true"/>

<createFolder start="true"/>

<createFile start="false"/>

<closeWrite start="true"/>

<moveFrom start="true"/>

<moveTo start="true"/>

<attrib start="false"/>

<modify start="false"/>

</inotify>

<sersync>

<localpath watch="/download"><!—与从服务器同步的文件路径-->

<remote ip="172.26.7.51" name="download"/><!—与从服务器的模块名必须相同-->

</localpath>

<rsync>

<commonParams params="-artuzlpog"/><!—rsync参数设置-->

<auth start="true" users="root" passwordfile="/opt/sersync/user.pass"/>

<userDefinedPort start="false" port="873"/><!-- port=874 -->

<timeout start="false" time="100"/><!-- timeout=100 -->

<ssh start="false"/>

</rsync>

<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->

<crontab start="false" schedule="600"><!--600mins-->

<crontabfilter start="false">

<exclude expression="*.php"></exclude>

<exclude expression="info/*"></exclude>

</crontabfilter>

</crontab>

<plugin start="false" name="command"/>

</sersync>

</head>

配置密码文件

echo “password”>>/opt/sersync/user.pass

注：文件权限必须为600否则启动异常

2.4服务启动

nohup  /opt/sersync/sersync2  -r -d -o /opt/sersync/confxml.xml >/opt/sersync/rsync.log  2>&1 &

#######如果是多个目录同步需要启动两个进程

nohup  /opt/sersync/sersync2  -r -d -o /opt/sersync/downxml.xml >/opt/sersync/downrsync.log  2>&1 &

-d:启用守护进程模式
-r:在监控前，将监控目录与远程主机用rsync命令推送一遍
-n:指定开启守护线程的数量，默认为10个
-o:指定配置文件，默认使用confxml.xml文件
开机启动写入/etc/rc.local文件中
 
验证
在主服务器上的/opt/tongbu及/home目录下创建文件查看从服务器172.26.7.51上是否有同步
时间： 2024-10-26 23:40:37

通过rsync+inotify实现数据实时备份同步的相关文章

sersync基于rsync+inotify实现数据实时同步

一.环境描述 需求:服务器A与服务器B为主备服务模式,需要保持文件一致性,现采用sersync基于rsync+inotify实现数据实时同步 主服务器A:192.168.1.23 从服务器B:192.168.1.243 实时同步/var/atlassian目录到从服务器. 二.实施 1.从服务器192.168.1.243 rsync服务搭建 1.1安装软件包 wget http://rsync.samba.org/ftp/rsync/src/rsync-3.1.1.tar.gz tar xf r

利用rsync+inotify实现数据实时同步脚本文件

将代码放在Server端,实现其它web服务器同步.首先创建rsync.shell,rsync.shell代码如下: #!/bin/bash host1=133.96.7.100 host2=133.96.7.101 host3=133.96.7.102 src=/data/www/ dst1=web1 dst2=web2 dst3=web3 user1=web1 user2=web2 user3=web3 /usr/local/inotify/bin/inotifywait -mrq --ti

[转帖]sersync基于rsync+inotify实现数据实时同步

sersync基于rsync+inotify实现数据实时同步 https://www.jianshu.com/p/d532a34e5cc5 前言 提到数据同步就必然会谈到rsync,一般简单的服务器数据传输会使用ftp/sftp等方式,但是这样的方式效率不高,不支持差异化增量同步也不支持实时传输. 原文地址:https://www.cnblogs.com/nbxcnxvcnb/p/12393252.html

基于rsync+inotify实现数据实时同步传输

前言 与传统的cp.tar备份方式相比,rsync具有安全性高.备份迅速.支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,但随着文件数量的增大和实时同步的要求,rsync已不能满足需求,随之rsync+inotify便应运而生.本文将讲解rsync的基础知识和如何基于rsync+inotify实现数据实时同步传输. rsync相关介绍 rsync(remote sync)是一款快速增量备份工具(远程同步),支持本地复制,或者与其他SSH(安全传输).rsync主机同步.

CentOS6.6 rsync+inotify实现数据时时备份

rsync+inotify实现数据时时备份 注意:rsync的daemon模式已提前配置好了,只需要配置inotify即可. 基本环境   系统版本 主机名 IP地址 角色 备份/监控目录 CentOS  6.6 backup 10.0.0.10 rsync服务端 /backup CentOS  6.6 nfs-server 10.0.0.7 rsync客户端 /data inotify安装配置 查看系统是否支持inotify,显示以下三个文件表示支持 [[email protected] to

rsync+inotify实现数据实时同步备份

在实际生产环境当中,我们总会遇见需要把一些重要数据进行备份,且随着应用系统规模的增大,对数据的安全性.可靠性.时效性要求还是比较高的, 因此我自己有在用rsync+inotify来实现数据实时同步备份,下面记录下操作步骤,以防日后自己忘记. 实验背景: 操作系统          IP         机器名        角色 CentOS 7.2       172.16.22.1     nginx01        数据源(服务器端) CentOS 7.2       172.16.22

rsync + inotify 实现数据实时同步

要求:两台Web服务器实现数据同步(我这里使用的是Centos 6.2-x64) 服务器一:172.16.11.126 服务器二:172.16.11.127 一.配置ssh备份源172.16.11.126(这里推荐使用专用的普通用户,注意相应的权限问题,如遇特殊情况使用root用户也可以,即不用考虑权限问题了. ) 1.新建备份用户rget rput 分别用来上传下载 [root@localhost ~]#  useradd rget [root@localhost ~]#  useradd r

Centos7.0系统下Rsync+sersync实现数据实时增量同步备份

前言: 一.为什么要用Rsync+sersync架构? 1.sersync是基于Inotify开发的,类似于Inotify-tools的工具 2.sersync可以记录下被监听目录中发生变化的(包括增加.删除.修改)具体某一个文件或某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的这个文件或者这个目录. 二.Rsync+Inotify-tools与Rsync+sersync这两种架构有什么区别? 1.Rsync+Inotify-tools (1):Inotify-tools只能记录

用rsync结合inotify实现数据实时备份

系统环境:centos 6.4 需要软件:inotify,rsync 主机规划:172.16.1.220   172.16.1.218 需求:将172.16.1.218上面的/usr/local/218backup文件夹下面的数据实时同步到/usr/local/220backup文件夹下面,(生产环境慎用,因为一台服务器上面的数据丢失,可能导致远程备份服务器上面的数据也丢失). 步骤: 首先在两台主机上面分别安装rsync软件,然后在客户端,也就是218上面安装inotify软件 在172.16