lsyncd文件同步

在运维的工作中经常会遇到有集中式存储的散文件需要进行备份或者（本文不讨论分布式文件存储OSS、ceph等）。

一. 文件数量少、更新不频繁
解决方案：rsync+crontab或者inotify+rsync
优点：rsync有windows版本cwRsync.rar

  1. linux 安装
    ①服务端安装yum install -y rsync
    1) vim /etc/rsyncd.conf加入以下内容
    [global]
    uid = root
    gid = root
    use chroot = no
    max connections = 10
    list = yes
    pid file = /var/run/rsyncd.pid
    lock file = /var/run/rsyncd.lock
    log file = /var/log/rsyncd.log
    hosts allow = 192.168.217.130 //白名单

[data]
path = /usr/local/src //开放目录
ignore errors
read only = yes
auth users = vic.xiang //开放用户
secrets file = /etc/sery.pass //账号密码配置文件

2) vim /etc/sery.pass加入账号及密码
vic.xiang:123456
给sery.pass赋权限
chmod 600 /etc/sery.pass

3) 启动服务端rsync
rsync --daemon --config=/etc/rsyncd.conf

4) 防火墙设置，开放端口873
vim /etc/sysconfig/iptables加入下面行
-A INPUT -m state --state NEW -m tcp -p tcp --dport 873 -j ACCEPT

② 客户端（需要同步的机器）配置
1) vim /etc/sery_client.pass配置本地密码
123456
给sery_client.pass付权限
chmod 600 /etc/sery_client.pass

2) 执行命令：rsync -avr -P [email protected]::data /usr/local/src/ --password-file=/etc/sery_client.pass
发现同步成功
配合crontab就可以完成定时同步，文件量小的情况下，同步效率还是很快的。

2. windows安装，安装包：cwRsync.rar （详细步骤需要好多截图，此处略，可以自行google或者百度）
①安装：记住安装时创建的用户和密码
②配置文件rsyncd.conf：
use chroot = false
strict modes = false
hosts allow = *
log file = rsyncd.log
uid = 0
gid = 0
[rsyncdata] #指定模块的头信息
path = /cygdrive/f/rsyncdata #需要同步数据的目录，这个目录指F盘下的rsyncdata目录
read only = true #是否为只读
list = no
hosts allow = 10.17.1.200,10.17.1.88,10.17.1.60 #允许访问的主机，多个用逗号分隔
auth users = rsync #指定认证的用户名
secrets file = /cygdrive/f/rsyncd.secrets #指定认证用户的密码文件存放路径，这个路径指F盘下的rsyncd.secrets,一会需要新建这个文件

③其他配置：
给需要同步的目录添加安装rsync时候创建的用户的所有访问权限
④启动：在服务中找到RsyncServer启动，关闭防火墙。

二. 大量、海量文件，更新频繁：
当文件数量超过100W的时候，rsync就会很慢，如果更新频繁就不太适合使用rsync进行同步或者备份了。lsyncd可以解决rsync的不足。
1. 安装lsyncd服务端
yum install lua lua-devel asciidoc cmake rsync

tar zxvf lsyncd-2.1.5.tar.gz
cd lsyncd-2.1.5/
./configure --prefix=/usr/local/lsyncd
make
make install
cd /usr/local/lsyncd
mkdir {etc,logs}

vim /etc/lsyncd.conf
settings {
logfile = "/usr/local/lsyncd/logs/lsyncd.log",
statusFile = "/usr/local/lsyncd/logs/lsyncd.status",
maxDelays = 100,
delay = 5,
exitcodes = {[0] = "ok", [1] = "again", [2] = "die"},
maxProcesses = 5,
statusInterval = 5

}
sync {
default.rsync,
source = "/tmp/src_src",
target = "[email protected]::sync_data",
exclude = { ".tmp", ".bak" },
delete = true,
rsync = {
compress = false,
archive = true,
verbose = false,
timeout = 3600,
password_file = "/usr/local/lsyncd/etc/rsync.pass"
}
}

echo "123456sync" > /usr/local/lsyncd/etc/rsync.pass
chown 400 /usr/local/lsyncd/etc/rsync.pass
/usr/local/lsyncd/bin/lsyncd /usr/local/lsyncd/etc/lsyncd.conf

  1. 安装客户端
    yum install -y rsync
    rsync --daemon --config=/etc/rsyncd.conf

uid=root
gid=root
max connections=10
log file=/var/log/rsyncd.log
pid file=/var/run/rsyncd.pid
lock file=/var/run/rsyncd.lock
hosts allow = 10.66.10.197

[sync_data]
comment=backup data
path=/home/m2mfile/ftp
read only=no
ignore errors
auth users=sync_user
secrets file=/etc/rsyncd.passwd

3.lsyncd.conf配置文件解释
settings

里面是全局设置，--开头表示注释，下面是几个常用选项说明：

logfile 定义日志文件
stausFile 定义状态文件
nodaemon=true 表示不启用守护模式，默认
statusInterval 将lsyncd的状态写入上面的statusFile的间隔，默认10秒
inotifyMode 指定inotify监控的事件，默认是CloseWrite，还可以是Modify或CloseWrite or Modify
maxProcesses 同步进程的最大个数。假如同时有20个文件需要同步，而maxProcesses = 8，则最大能看到有8个rysnc进程
maxDelays 累计到多少所监控的事件激活一次同步，即使后面的delay延迟时间还未到
sync

里面是定义同步参数，可以继续使用maxDelays来重写settings的全局变量。一般第一个参数指定lsyncd以什么模式运行：rsync、rsyncssh、direct三种模式：

default.rsync ：本地目录间同步，使用rsync，也可以达到使用ssh形式的远程rsync效果，或daemon方式连接远程rsyncd进程；
default.direct ：本地目录间同步，使用cp、rm等命令完成差异文件备份；
default.rsyncssh ：同步到远程主机目录，rsync的ssh模式，需要使用key来认证

source 同步的源目录，使用绝对路径。

target 定义目的地址.对应不同的模式有几种写法：
/tmp/dest ：本地目录同步，可用于direct和rsync模式
172.29.88.223:/tmp/dest ：同步到远程服务器目录，可用于rsync和rsyncssh模式，拼接的命令类似于/usr/bin/rsync -ltsd --delete --include-from=- --exclude=* SOURCE TARGET，剩下的就是rsync的内容了，比如指定username，免密码同步
172.29.88.223::module ：同步到远程服务器目录，用于rsync模式
三种模式的示例会在后面给出。

init 这是一个优化选项，当init = false，只同步进程启动以后发生改动事件的文件，原有的目录即使有差异也不会同步。默认是true

delay 累计事件，等待rsync同步延时时间，默认15秒（最大累计到1000个不可合并的事件）。也就是15s内监控目录下发生的改动，会累积到一次rsync同步，避免过于频繁的同步。（可合并的意思是，15s内两次修改了同一文件，最后只同步最新的文件）

excludeFrom 排除选项，后面指定排除的列表文件，如excludeFrom = "/etc/lsyncd.exclude"，如果是简单的排除，可以使用exclude = LIST。
这里的排除规则写法与原生rsync有点不同，更为简单：
监控路径里的任何部分匹配到一个文本，都会被排除，例如/bin/foo/bar可以匹配规则foo
如果规则以斜线/开头，则从头开始要匹配全部
如果规则以/结尾，则要匹配监控路径的末尾
?匹配任何字符，但不包括/
*匹配0或多个字符，但不包括/
**匹配0或多个字符，可以是/
delete 为了保持target与souce完全同步，Lsyncd默认会delete = true来允许同步删除。它除了false，还有startup、running值，请参考 Lsyncd 2.1.x ‖ Layer 4 Config ‖ Default Behavior。
rsync

（提示一下，delete和exclude本来都是rsync的选项，上面是配置在sync中的，我想这样做的原因是为了减少rsync的开销）

bwlimit 限速，单位kb/s，与rsync相同（这么重要的选项在文档里竟然没有标出）
compress 压缩传输默认为true。在带宽与cpu负载之间权衡，本地目录同步可以考虑把它设为false
perms 默认保留文件权限。
其它rsync的选项
其它还有rsyncssh模式独有的配置项，如host、targetdir、rsync_path、password_file，见后文示例。rsyncOps={"-avz","--delete"}这样的写法在2.1.*版本已经不支持。

lsyncd.conf可以有多个sync，各自的source，各自的target，各自的模式，互不影响。

原文地址：http://blog.51cto.com/14123407/2332351

时间： 2024-10-12 15:44:35

lsyncd文件同步的相关文章

lsyncd 实时同步

1. 几大实时同步工具比较 1.1 inotify + rsync 最近一直在寻求生产服务服务器上的同步替代方案,原先使用的是inotify + rsync,但随着文件数量的增大到100W+,目录下的文件列表就达20M,在网络状况不佳或者限速的情况下,变更的文件可能10来个才几M,却因此要发送的文件列表就达20M,严重减低的带宽的使用效率以及同步效率:更为要紧的是,加入inotifywait在5s内监控到10个小文件发生变化,便会触发10个rsync同步操作,结果就是真正需要传输的才2-3M的文

lsyncd实时同步工具

首先介绍一下架构 有3台app服务器,每次上线,是通过shell脚本将代码传输至app_1 然后app_1自动同步到app_2和app_3 最开始的同步策略是rsync+inotify 用了一段时间,发现有时会出现app_2和app_3没有同步代码的问题. 发现是因为inotify的shell脚本,意外终止了. 后来发现有unison,测试发现,还是要写shell脚本 再后来sersync,这个是基于rsync的,需要有rsync客户端和服务端,比较麻烦 配置文件是xml. 最后用的是lsync

rsync , rsync + ssh, rsync + lsyncd 多种同步方案与比较

1. 利用 ssh+rsync 只需要在服务器端打开 ssh 服务, 并启动 xinetd 中 rsync 服务则可使用 a. 增量同步   rsync -av /src-dir/.  [email protected]:/dest-dir/. b. 镜像同步   rsync -av --delete /src-dir/.  [email protected]:/dest-dir/. 特点: 配置简单, 不需要配置 rsyncd.conf 配置文件, 但需要在同步过程中进行用户认证 注: 利用

远程文件同步详解(Remote File Sync)

1. 远程文件同步的常见方式: 1.cron + rsync 优点: 简单 缺点:定时执行,实时性比较差:另外,rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输.如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的.远程对比时发送所有的文件树or目录树属性,而且正在发生变化的往往是其中很少的一部分,这是非常低效的方式. 2. inotify + rsync 优点:比较简单 缺点:每个变更文件都使用了rsync.而每一次rsync都要建立SSH链接,这个其实是比较费时间的.

文件同步工具 lsyncd2.1.6 安装使用问题

项目有文件实时同步备份的需求,做了一下调查,比较好的解决方法是使用lsyncd工具.这里主要记录一下遇到的问题及解决方法. lsyncd 的相关介绍和对比可见: lsyncd实时同步搭建指南--取代rsync+inotify Linux下同步工具inotify+rsync使用详解 lsyncd官方文档: Lsyncd - Live Syncing (Mirror) Daemon 1.安装问题 安装时需要先安装 lua和cmake,可直接使用apt-get: apt-get install lua

sersync/lsyncd实时同步

第一章 sersync/lsync实时同步 1.1 实时同步服务原理/概念 1)需要部署好rsync守护进程服务,实现数据传输 2)需要部署好inotify服务,实现目录中数据变化监控 3)将rsync服务和inotify服务建立联系,将变化的数据进行实时备份传输 1.2 inotify介绍 ? Inotify是一种强大的,细粒度的,异步的文件系统事件监视机制,Linux2.6.13起加入了inotify支持,通过inotify可以监控文件系统中添加,删除,修改,移动等各种事件,利用这个内核接口

14，Lsyncd实时同步工具服务

1,lsyncd实时同步工具 1)lsyncd实际上是lua语言封装了inotify和rsync工具,采用了Linux内核(2.6.13以后里的) inofify触发机制然后通过rsync去差异同步,达到实时的效果,它最厉害的地方是完美解决 了inotify+rsync的海量文件同步带来的文件频繁发生文件列表问题.其次配置方式简单.2,安装 yum -y install lsyncd3,创建配置文件(配置文件里原是无用信息)1)配置文件信息解析: 参考博客:https://www.cnblogs

Fastdfs分布式文件系统之文件同步机制

在前面几篇文章中我们对fastdfs系统的概述.tracker server.storage server以及文件的上传.下载.删除等功能的介绍, 本文将对同一组的不同storage server之间的同步以及新增storage server的同步进行介绍. fastdfs文件系统结构 fastdfs文件系统原理 从fastdfs文件系统结构中我们可以看出不管是上传文件.删除文件.修改文件及新增storager server,文件的同步都是同组 内多台storager server之间进行的.下

BitTorrent Sync 基于BT的文件同步

BitTorrent Sync 神奇的文件同步软件,无需服务器让多台电脑间无限制互相同步! ? BitTorrent Labs 推出的实验性项目,可以在多台电脑间进行点对点自动分享/同步文件,由于没有中间服务器,传输过程加密,安全自己掌握,并且文件大小仅受到硬盘限制.可设置完整权限同步或者让接收方只读,还可以发送 24 小时有效期的密钥,过期作废.一个私人性质的 Dropbox 诞生,只需要持续开启一台电脑.支持 Windows/Mac OS X/Linux.@Appinn BitTorrent