Rsync+Sersync实时同步

一、基本介绍

1.什么是Rsync？

Rsync（Remote Synchronize）是一款开源的、快速的、多功能的、可以实现全量及增量的本地或远程数据同步备份的优秀工具，并且支持多种操作系统平台运行。

官网文档：https://rsync.samba.org/ftp/rsync/rsync.html

2.Rsync简介

Rsync具有本地与远程两台主机之间的数据快速复制同步镜像、远程备份等功能，该功能类似scp，但是优于scp功能，还具有本地不同分区目录之间全量及增量复制数据。

Rsync同步数据镜像时，通过“quick check”算法，仅同步大小或最后修改时间发生变化的文件或目录，当然也可以根据权限，属主等属性变化的同步，所以可以实现快速同步。

rsync 具有如下的基本特性：

  1. 可以镜像保存整个目录树和文件系统
  2. 可以很容易做到保持原来文件的权限、时间、软硬链接等
  3. 无须特殊权限即可安装
  4. 优化的流程，文件传输效率高
  5. 可以使用 rsh、ssh 方式来传输文件，当然也可以通过直接的 socket 连接
  6. 支持匿名传输，以方便进行网站镜象

3.Rsync命令格式

本地:  rsync [OPTION...] SRC... [DEST]

通过shell远程访问:

拉取: rsync [OPTION...] [[email protected]]HOST:SRC... [DEST]

推送: rsync [OPTION...] SRC... [[email protected]]HOST:DEST

通过rsync守护进程访问:

拉取: rsync [OPTION...] [[email protected]]HOST::SRC... [DEST]

rsync [OPTION...] rsync://[[email protected]]HOST[:PORT]/SRC... [DEST]

推送: rsync [OPTION...] SRC... [[email protected]]HOST::DEST

rsync [OPTION...] SRC... rsync://[[email protected]]HOST[:PORT]/DEST

4.什么Sersync？

sersync是基于inotify开发的，类似于inotify-tools的工具，Sersync可以记录下被监听目录中发生变化的（包括增加、删除、修改）具体某一个文件或者某一个目录的名字，然后使用rsync同步的时候，只同步发生变化的文件或者目录，因此效率更高。

主要应用场景为数据体积大，并且文件很多。

网站：https://code.google.com（需要翻墙）

5.架构关系

IP 系统 服务
192.168.0.103 CentOS 6.8 x86_64 Rsync client + Sersync server
192.168.0.132 CentOS 6.8 x86_64 Rsync server

6.架构图

二、Rsync编译安装

说明：当然你也可以使用“yum -y install rsync”命令进行安装，直接进入Rsync server 配置环节。

1.检查本机是否存在

[[email protected] ~]# rpm -qa  rsync

rsync-3.0.6-12.el6.x86_64

2.卸载

[[email protected] ~]# yum  remove rsync

说明：需要安装最新的版本就需要卸载老版本。

3、下载rsync软件

[[email protected] ~]# cd  /usr/local/src/

[[email protected] src]# wget https://download.samba.org/pub/rsync/rsync-3.1.2.tar.gz

4.解压包

[[email protected] src]# tar zxvf rsync-3.1.2.tar.gz

5.创建程序安装目录，并编译安装

[[email protected] src]# cd  rsync-3.1.2

[[email protected] rsync-3.1.2]# mkdir /usr/local/rsync

[[email protected] rsync-3.1.2]# ./configure --prefix=/usr/local/rsync

[[email protected] rsync-3.1.2]# make && make install

6.配置环境变量

[[email protected] ~]# vim  /etc/profile.d/rsync.sh

#!/bin/sh
export PATH=$PATH:/usr/local/srync/bin

7.建立软连接

[[email protected] ~]# ln -s  /usr/local/rsync/bin/rsync /usr/bin/rsync

8.查看当前版本

[[email protected] ~]# rsync --version

rsync  version 3.1.2  protocol version 31

三、Rsync server配置

1.编辑配置文件

[[email protected] ~]# vim /etc/ rsyncd.conf

uid = rsync
gid = rsync
port = 873
use chroot = on
max connections = 200
timeout = 120
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
log file = /var/log/rsyncd.log

[bakup]
path = /data/bakup
read only = false
list = false
hosts allow = 192.168.0.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_bakup
secrets file = /etc/rsyncd.password

2.创建密码文件

[[email protected] ~]# vim  /etc/rsyncd.password

rsync_bakup:4297f44b13955235245b2497399d7a93

说明：定义格式 用户:密码

3.修改密码文件权限

[[email protected] ~]# chmod 600 /etc/rsyncd.password

4.创建Rsync server服务启动的系统账户

[[email protected] ~]# useradd rsync -M  -s  /bin/nologin

5.创建数据存放目录

[[email protected] ~]# mkdir -p  /data/bakup

6.修改目录权限

[[email protected] ~]# chown rsync.rsync /data/bakup

7.启动服务

[[email protected] ~]# rsync --daemon

说明：如果配置文件路径不是/etc/rsyncd.conf，启动是需要使用“–config” 参数指定配置文件。

8.查看服务是否启动

[[email protected] ~]# ps  axu |grep rsync

root      9198  0.0  0.0 107652   672 ?        Ss   19:41   0:00 rsync --daemon --config /etc/rsync/rsyncd.conf

root      9205  0.0  0.0 103308   848 pts/0    S+   19:44   0:00 grep rsync

[[email protected] ~]# netstat -nlp |grep 873

tcp        0      0 0.0.0.0:873                 0.0.0.0:*                   LISTEN      9198/rsync

tcp        0      0 :::873                      :::*                        LISTEN      9198/rsync

四、客户端配置

1.创建密码文件

[[email protected] ~]# vim  /etc/rsyncd.password

4297f44b13955235245b2497399d7a93

2.修改文件权限

[[email protected] ~]# chmod 600 /etc/rsyncd.password

3.安装客户端

[[email protected] ~]# yum  -y install rsync

说明：如果客户端存在，跳过该步骤。

五、测试

1.客户端上推送数据

[[email protected] ~]# ll test.txt

-rw-r--r--. 1 kry kry 13 Mar 24 15:55 test.txt

[[email protected] ~]# rsync -avzP test.txt  [email protected]::bakup --password-file=/etc/rsyncd.password

sending incremental file list

test.txt

11 100%    0.00kB/s    0:00:00 (xfer#1, to-check=0/1)

sent 91 bytes  received 27 bytes  236.00 bytes/sec

total size is 11  speedup is 0.09

2.服务端查看文件是否推送成功

[[email protected] bakup]# ll

total 4

-rw-r--r--. 1 rsync rsync 13 Mar 24 15:55 test.txt

3.从服务端拉取数据

[[email protected] ~]# ll  /tmp/

total 0

[[email protected] ~]#  rsync -avzP [email protected]::bakup  /tmp --password-file=/etc/rsyncd.password

receiving incremental file list

./

test.txt

13 100%   12.70kB/s    0:00:00 (xfer#1, to-check=7/17)

sent 64 bytes  received 419 bytes  966.00 bytes/sec

total size is 13981  speedup is 28.95

4.查看拉取的文件

[[email protected] ~]# ll  /tmp/

total 4

-rw-r--r--. 1 kry kry 13 Mar 24 15:55 test.txt

说明：文件的属主组跟推送时保持一直。

六、安装配置sersync

1.下载地址

[[email protected] ~]# cd  /usr/local/src/

[[email protected] src]# wget  https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/sersync/sersync2.5.4_64bit_binary_stable_final.tar.gz

2.解压软件包

[[email protected] src]# tar zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz

3.创建目录结构

[[email protected] src]# mkdir /usr/local/sersync

[[email protected] src]# mkdir /usr/local/sersync/conf

[[email protected] src]# mkdir /usr/local/sersync/logs

[[email protected] src]# mkdir /usr/local/sersync/bin

4.移动文件

[[email protected] src]# mv  GNU-Linux-x86/sersync2 /usr/local/sersync/bin/

[[email protected] src]# mv  GNU-Linux-x86/confxml.xml /usr/local/sersync/conf

5.配置环境变量

[[email protected] conf]# vim  /etc/profile.d/sersync.sh

[[email protected] conf]# source /etc/profile.d/sersync.sh

6.配置

[[email protected] src]# cd  /usr/local/sersync/conf

[[email protected] conf]# cp confxml.xml confxml.xml.bak

[[email protected] conf]# vim  confxml.xml

<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
   # 设置本地IP和端口
    <host hostip="localhost" port="8008"></host>
   # 开启DUBUG模式
    <debug start="false"/>
  # 开启xfs文件系统
    <fileSystem xfs="false"/>
  # 同步时忽略推送的文件(正则表达式),默认关闭
 <filter start="false">
        <exclude expression="(.*)\.svn"></exclude>
        <exclude expression="(.*)\.gz"></exclude>
        <exclude expression="^info/*"></exclude>
        <exclude expression="^static/*"></exclude>
    </filter>
  # 设置要监控的事件
    <inotify>
        <delete start="false"/>
        <createFolder start="true"/>
        <createFile start="false"/>
        <closeWrite start="true"/>
        <moveFrom start="true"/>
        <moveTo start="true"/>
        <attrib start="false"/>
        <modify start="false"/>
    </inotify>
  <sersync>
# 本地监视目录路径
  <localpath watch=" /data/bakup/">
#定义同步Server ip和模块
            <remote ip="192.168.0.132" name="bakup"/>
            <!--<remote ip="192.168.8.39" name="tongbu"/>-->
            <!--<remote ip="192.168.8.40" name="tongbu"/>-->
        </localpath>
     <rsync>
# rsync指令参数
            <commonParams params="-artuz"/>
   # rsync同步认证
            <auth start="true" users="rsync_bakup" passwordfile="/etc/rsyncd.password"/>
  # 设置rsync远程服务端口，非默认端口需要打开自定义(若开启rsync+ssh, 则这里需定义SSH端口)
            <userDefinedPort start="false" port="874"/><!-- port=874 -->
# 设置超时时间
            <timeout start="ture" time="100"/><!-- timeout=100 -->
   # 设置rsync+ssh加密传输模式,默认关闭，开启需设置SSH加密证书
            <ssh start="false"/>
        </rsync>
 # sersync传输失败日志脚本路径，每隔60会重新执行该脚本，执行完毕会自动清空。
        <failLog path="/usr/local/sersync/logs/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
   # 设置rsync定时传输，默认关闭
        <crontab start="false" schedule="600"><!--600mins-->
            <crontabfilter start="false">
                <exclude expression="*.php"></exclude>
                <exclude expression="info/*"></exclude>
            </crontabfilter>
        </crontab>
   # 设置sersync传输后调用name指定的插件脚本，默认关闭
        <plugin start="false" name="command"/>
    </sersync>
   # 插件脚本范例
    <plugin name="command">
        <param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->
        <filter start="false">
            <include expression="(.*)\.php"/>
            <include expression="(.*)\.sh"/>
        </filter>
    </plugin>
   # 插件脚本范例
    <plugin name="socket">
        <localpath watch="/opt/tongbu">
            <deshost ip="192.168.138.20" port="8009"/>
        </localpath>
    </plugin>
    <plugin name="refreshCDN">
        <localpath watch="/data0/htdocs/cms.xoyo.com/site/">
            <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
            <sendurl base="http://pic.xoyo.com/cms"/>
            <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
        </localpath>
    </plugin>
</head>

7.启动

[[email protected] conf]# sersync2 -d -r -o /usr/local/sersync/conf/confxml.xml

说明：还有些其他参数，使用“-h”选项查看。

七、测试

1.创建

[[email protected] ~]# cd  /data/bakup/

[[email protected] bakup]#  for f in `seq 10`;do touch $f;done

2.检查数据是否同步Rsync server

[[email protected] ~]# ll  /data/bakup/

total 0

-rw-------. 1 rsync rsync 0 Mar 29 17:04 1

-rw-------. 1 rsync rsync 0 Mar 29 17:04 10

-rw-------. 1 rsync rsync 0 Mar 29 17:04 2

-rw-------. 1 rsync rsync 0 Mar 29 17:04 3

-rw-------. 1 rsync rsync 0 Mar 29 17:04 4

-rw-------. 1 rsync rsync 0 Mar 29 17:04 5

-rw-------. 1 rsync rsync 0 Mar 29 17:04 6

-rw-------. 1 rsync rsync 0 Mar 29 17:04 7

-rw-------. 1 rsync rsync 0 Mar 29 17:04 8

-rw-------. 1 rsync rsync 0 Mar 29 17:04 9

数据镜像实时同步成功,完章。有什么不对的地方还希望在评论中指出。感谢各位的阅读。

时间： 2024-11-13 21:49:45

Rsync+Sersync实时同步的相关文章

Rsync + sersync 实时同步备份

Rsync + sersync 实时同步备份 一      Rsync + Sersync  实时同步介绍 1.Rsync 服务搭建介绍 云机上搭建Rsync server,在本地搭建Rsync Clinet. 2. Sersync 服务搭建介绍 在本地服务器上搭建 Sersync  Server  检测本地的ftp目录变化,实时同步到云机上 二.Rsync编译安装 1.检查本机是否存在 [[email protected]云机 ~]# rpm -qa  rsync rsync-3.0.6-12

Rsync+sersync 实时同步

# #sersync 下载地址 #rsync CentOS系统包里面有 #rsync 详解 #sersync 详解 #逻辑图 主机名 IP地址 Storage_1             目标服务器 192.168.174.137 Storage_2               源服务器 192.168.174.138 #均关闭防火墙和selinux #目标服务器rsync 作为守护进程  , 源服务器rsync 作为客户端 #rsync支持推送和拉取 #sersync 实时监控目录 #目标服务

Rsync+Sersync实时同步数据目录

第1章 Rsync简介 1.1 Rsync基本概述 rsync是一款开源的备份工具,可以在不同主机之间进行同步,可实现全量备份与增量备份 全量:将全部数据,进行传输覆盖 增量:只传输差异部分的数据 1.2 实现增量复制的原理 Rsync通过其独特的“quick check”算法,实现增量传输数据 在同步备份数据时,默认情况下,Rsync通过其独特的“quick check”算法,它仅同步大小或者最后修改时间发生变化的文件或目录,当然也可根据权限,属主等属性的变化同步,但需要指定相应的参数,甚至可

rsync+sersync 实时同步安装配置

环境搭建:(服务器,客户端) 首先关闭selinux与iptables # vi /etc/sysconfig/selinux SELINUX=disabled # setenforce 0 # service iptables stop 在使用sersync之前,我们必须安装配置好rsync服务器 rsync (客户端) 一.安装rsync # yum install rsync -y # yum install xinetd -y 二.启动rsync依赖服务 # service xinetd

linux rsync远程同步+sersync+rsync实现实时同步

rsync是什么 rsync全称Remote Sync ,远程同步,是Linux/UNIX系统下的文件同步和数据传输工具,数据备份,它采用了"rsync算法"使一个客户机和远程文件服务器之间的文件同步. 作用 可以将同一个服务器的数据从一个分区备份到另一个分区,也可以将本地系统的数据通过网络传输方式备份到任何一个远程主机上: 优点 rsync可以在中断后恢复传输 rsync的功能特性 可以镜像保存整个目录树和文件系统:可以增量同步数据,文件传输效率高,因而同步时间很短:可以保持原文件的

rhel下文件的同步：sersync实时同步和drbd双向同步

sersync(873端口)实时同步(单向同步) 需要注意:纯粹的使用rsync做单向同步时,rsynx的守护进程是运行在文件推送服务器上,而接收的服务器是运行rsync客户端.使用sersync做文件实时同步刚好相反,用于接收文件的服务器运行rsync守护进程. sersync主要用于服务器同步,web镜像等功能.基于boost1.43.0,inotify api,rsync command.开发.目前使用的比较多的同步解决方案是inotify-tools+rsync ,另外一个是google

Sersync实时同步企业应用配置实战

一.实验环境 CentOS版本: 6.6(2.6.32.-504.el6.x86_64) Rsync版本:  Rsync-3.0.6(系统自带) Sersync版本:sersync2.5.4_64bit_binary_stable_final.tar.gz(下载上传) 二.准备工作 查看系统是否支持inotify及参数优化: [[email protected] ~]# ls -l  /proc/sys/fs/inotify/ ------------------ 总用量 0 0 dr-xr-x

rsync nfs 实时同步，结合实战

目录 rsync nfs 实时同步,实战 一.部署rsync服务端(backup) 二.部署rsync客户端(nfs,web01) 三.部署web代码(web01) 四.NFS服务端部署(nfs) 五.部署nfs备胎服务端(nfs) 六.部署nfs的客户端web01(web01) 七.backup实时同步nfs的data目录 八.定时任务并发邮件 九.NFS服务端部署sersync实时同步(nfs) 十.切换备胎backup(web01) rsync nfs 实时同步,实战 一.部署rsync服

rsync+inotify实时同步环境部署记录

随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足.首先,rsync在同步数据时,需要扫描所有文件后进行比对,进行差量传输.如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的,并且正在发生变化的往往是其中很少的一部分,这是非常低效的方式.其次,rsync不能实时的去监测.同步数据,虽然它可以通过linux守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据可能出现不一致,无法在应