Rsync+Sersync实时同步数据目录

第1章 Rsync简介

1.1 Rsync基本概述

rsync是一款开源的备份工具,可以在不同主机之间进行同步,可实现全量备份与增量备份

全量:将全部数据,进行传输覆盖

增量:只传输差异部分的数据

1.2 实现增量复制的原理

Rsync通过其独特的“quick check”算法,实现增量传输数据

在同步备份数据时,默认情况下,Rsync通过其独特的“quick check”算法,它仅同步大小或者最后修改时间发生变化的文件或目录,当然也可根据权限,属主等属性的变化同步,但需要指定相应的参数,甚至可以实现只同步一个文件里有变化的内容部分,所以,可以实现快速的同步备份数据。

1.3 Rsync软件功能介绍

类似于 cp 命令 -- 实现本地备份传输数据
类似于scp 命令 -- 远程备份传输数据
类似于 rm 命令 -- 实现无差异同步备份
类似于 ls 命令 -- 本地文件信息查看
rsync 命令属于1 v 4 的命令

1.4 远程拷贝

#使用rsync拷贝41主机上/root目录下的oldboyedu.com文件,拷贝至本地当前目录
 rsync -avz [email protected]:/root/oldboyedu.com ./    #拷贝文件
 rsync -avz [email protected]:/root/ /backup/   #拉取远程目录下的所有文件
 rsync -avz [email protected]:/root /backup/    #拉取远程目录以及目录下的所有文件

注意:远程拷贝目录需要注意 /

# 将本地/backup/2018-07-23这个目录以及目录下的内容,推送至于41服务器的/tmp目录下
rsync -avz /backup/2018-07-23 [email protected]:/tmp/

问题:

1.使用的ssh系统用户,不安全

2.必须通过ssh协议才可以传输

1.5 守护进程拷贝

守护进程拷贝很安全,是使用虚拟用户

//将本地数据推送至backup服务器

rsync -avz /mnt/ [email protected]::backup/

//将backup服务器数据拉至本地服务器

rsync -avz [email protected]::backup/ /mnt/

第2章 Rsync服务器端安装

2.1 系统环境

[[email protected] ~]# cat /etc/redhat-release
CentOS Linux release 7.1.1503 (Core)
[[email protected] ~]# uname -r
3.10.0-229.el7.x86_64
[[email protected] ~]# systemctl status firewalld
firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled)
   Active: inactive (dead)
[[email protected] ~]# getenforce
Disabled

2.2 安装rsync

2.2.1 检查和安装

$ rpm -qa|grep rsync   #检查是否安装,如安装请忽略下面步骤,没有则安装
rsync-3.1.2-4.el7.x86_64
$ yum -y install rsync

2.2.2 添加配置文件

$ vim /etc/rsyncd.conf
uid = rsync            #不一定是rsync,可以是www等,设置和你站点目录一样的属主最合适
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
hosts allow = 172.16.1.0/24  #修改一下允许访问的网段,根据实际情况填写
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
log file = /var/log/rsyncd.log
#####################################
[backup]                      #模块名称
comment = welcome to oldboyedu backup!
path = /backup                #备份目录

2.2.3 创建虚拟用户

$ useradd -M -s /sbin/nologin rsync

2.2.4 建立虚拟账户对应的用户名与密码(用于客户端连接的账户和密码)

$ vim /etc/rsync.password
rsync_backup:123456
$ chmod 600 /etc/rsync.password

2.2.5 创建仓库目录,授权属主和属组

$ mkdir /backup
$ chown -R rsync.rsync /backup/

2.2.6 启动

$ systemctl start rsyncd   #启动
$ systemctl enable rsyncd  #开机自启动
#检查端口是否已经启动
$ netstat -lntup|grep 873
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      1861/rsync
tcp6       0      0 :::873                  :::*                    LISTEN      1861/rsync

第3章 客户端配置

3.1 客户端配置,实现无密码推送或拉去数据

$ echo "123456" > /etc/rsync.password
$ chmod 600 /etc/rsync.password

客户端测试推送文件

$ rsync -avz /etc/hosts [email protected]::backup
Password:            #密码是文件里面的密码,不是linux服务器的密码,我这里是123456
sending incremental file list

sent 42 bytes  received 20 bytes  17.71 bytes/sec
total size is 158  speedup is 2.55
#这个就代表已经传过去了,可以去服务器目录查看是否有这个文件了

第4章 安装Sersync实时监控并同步

4.1 安装

4.1.1 sersync安装在你需要监控的服务器上,如这个目录经常变动(客户端)

$ mkdir /server/tools –p
$ cd /server/tools
$ wget https://raw.githubusercontent.com/wsgzao/sersync/master/sersync2.5.4_64bit_binary_stable_final.tar.gz   #下载sersync
$ tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz
$ mv GNU-Linux-x86/ /usr/local/sersync
$ cd /usr/local/sersync/
$ cp confxml.xml confxml.bak         #x修改前备份配置文件

4.1.2 配置

$ vim confxml.xml
  5     <fileSystem xfs="true"/>  <!-- 文件系统 -->
  6     <filter start="false">  <!-- 排除不想同步的文件-->
  7         <exclude expression="(.*)\.svn"></exclude>
  8         <exclude expression="(.*)\.gz"></exclude>
  9         <exclude expression="^info/*"></exclude>
 10         <exclude expression="^static/*"></exclude>
 11     </filter>

 12     <inotify> <!-- 监控的事件类型 -->
 13         <delete start="true"/>
 14         <createFolder start="true"/>
 15         <createFile start="true"/>
 16         <closeWrite start="true"/>
 17         <moveFrom start="true"/>
 18         <moveTo start="true"/>
 19         <attrib start="false"/>
 20         <modify start="false"/>
 21     </inotify>

 23     <sersync>
 24         <localpath watch="/var/www"> <!-- 监控的目录 -->
 25             <remote ip="10.0.0.10" name="backup"/>  <!-- backup的IP以及模块 -->
 26             <!--<remote ip="192.168.8.39" name="tongbu"/>-->
 27             <!--<remote ip="192.168.8.40" name="tongbu"/>-->
 28         </localpath>

 29         <rsync> <!-- rsync的选项 -->
 30             <commonParams params="-az"/>
 31             <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/>
 32             <userDefinedPort start="false" port="874"/><!-- port=874 -->
 33             <timeout start="true" time="100"/><!-- timeout=100 -->
 34             <ssh start="false"/>
 35         </rsync>

			<!-- 每60分钟执行一次同步-->
  36         <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--def
ault every 60mins execute once-->

4.1.3 启动

$ ./sersync2 –h
set the system param
execute:echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute:echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
_______________________________________________________
参数-d:启用守护进程模式
参数-r:在监控前,将监控目录与远程主机用rsync命令推送一遍
c参数-n: 指定开启守护线程的数量,默认为10个
参数-o:指定配置文件,默认使用confxml.xml文件
参数-m:单独启用其他模块,使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块,使用 -m socket 开启socket模块
参数-m:单独启用其他模块,使用 -m http 开启http模块
不加-m参数,则默认执行同步程序

$ /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml    #启动命令
可以查看监控目录的文件是否和另一台服务器目录的文件一样了。

  

原文地址:https://www.cnblogs.com/blsnt/p/9886548.html

时间: 2024-10-10 09:38:37

Rsync+Sersync实时同步数据目录的相关文章

Rsync + sersync 实时同步备份

Rsync + sersync 实时同步备份 一      Rsync + Sersync  实时同步介绍 1.Rsync 服务搭建介绍 云机上搭建Rsync server,在本地搭建Rsync Clinet. 2. Sersync 服务搭建介绍 在本地服务器上搭建 Sersync  Server  检测本地的ftp目录变化,实时同步到云机上 二.Rsync编译安装 1.检查本机是否存在 [[email protected]云机 ~]# rpm -qa  rsync rsync-3.0.6-12

Rsync+sersync 实时同步

# #sersync 下载地址 #rsync CentOS系统包里面有 #rsync 详解 #sersync 详解 #逻辑图 主机名 IP地址 Storage_1             目标服务器 192.168.174.137 Storage_2               源服务器 192.168.174.138 #均关闭防火墙和selinux #目标服务器rsync 作为守护进程  , 源服务器rsync 作为客户端 #rsync支持推送和拉取 #sersync 实时监控目录 #目标服务

Rsync+Sersync实时同步

一.基本介绍 1.什么是Rsync? Rsync(Remote Synchronize)是一款开源的.快速的.多功能的.可以实现全量及增量的本地或远程数据同步备份的优秀工具,并且支持多种操作系统平台运行. 官网文档:https://rsync.samba.org/ftp/rsync/rsync.html 2.Rsync简介 Rsync具有本地与远程两台主机之间的数据快速复制同步镜像.远程备份等功能,该功能类似scp,但是优于scp功能,还具有本地不同分区目录之间全量及增量复制数据. Rsync同

rsync+sersync 实时同步安装配置

环境搭建:(服务器,客户端) 首先关闭selinux与iptables # vi /etc/sysconfig/selinux SELINUX=disabled # setenforce 0 # service iptables stop 在使用sersync之前,我们必须安装配置好rsync服务器 rsync (客户端) 一.安装rsync # yum install rsync -y # yum install xinetd -y 二.启动rsync依赖服务 # service xinetd

linux rsync远程同步+sersync+rsync实现实时同步

rsync是什么 rsync全称Remote Sync ,远程同步,是Linux/UNIX系统下的文件同步和数据传输工具,数据备份,它采用了"rsync算法"使一个客户机和远程文件服务器之间的文件同步. 作用 可以将同一个服务器的数据从一个分区备份到另一个分区,也可以将本地系统的数据通过网络传输方式备份到任何一个远程主机上: 优点 rsync可以在中断后恢复传输 rsync的功能特性 可以镜像保存整个目录树和文件系统:可以增量同步数据,文件传输效率高,因而同步时间很短:可以保持原文件的

rhel下文件的同步:sersync实时同步和drbd双向同步

sersync(873端口)实时同步(单向同步) 需要注意:纯粹的使用rsync做单向同步时,rsynx的守护进程是运行在文件推送服务器上,而接收的服务器是运行rsync客户端.使用sersync做文件实时同步刚好相反,用于接收文件的服务器运行rsync守护进程. sersync主要用于服务器同步,web镜像等功能.基于boost1.43.0,inotify api,rsync command.开发.目前使用的比较多的同步解决方案是inotify-tools+rsync ,另外一个是google

rsync+inotify实时同步环境部署记录

随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足.首先,rsync在同步数据时,需要扫描所有文件后进行比对,进行差量传输.如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的,并且正在发生变化的往往是其中很少的一部分,这是非常低效的方式.其次,rsync不能实时的去监测.同步数据,虽然它可以通过linux守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据可能出现不一致,无法在应

Sersync实时同步企业应用配置实战

一.实验环境 CentOS版本: 6.6(2.6.32.-504.el6.x86_64) Rsync版本:  Rsync-3.0.6(系统自带) Sersync版本:sersync2.5.4_64bit_binary_stable_final.tar.gz(下载上传) 二.准备工作 查看系统是否支持inotify及参数优化: [[email protected] ~]# ls -l  /proc/sys/fs/inotify/ ------------------ 总用量 0 0 dr-xr-x

20190308 samba服务、inotify和rsync实现实时同步、防火墙

Samba服务[root@centos7 ~]#yum install samba[root@centos7 ~]#systemctl start smb[root@centos7 ~]#ss -ntluNetid State Recv-Q Send-Q Local Address:Port Peer Address:Port tcp LISTEN 0 50 :139 : tcp LISTEN 0 50 :445 端口已开启 : 可以做共享了. 主配置文件:/etc/samba/smb.conf