lsyncd实时同步搭建
#########################源码编译安装##############################
从源码编译安装可以使用最新版的lsyncd程序，但必须要相应的依赖库文件和编译工具：yum install lua lua-devel asciidoc cmake
从github上下载lsyncd-XXXXXX.zip 的版本使用的是 cmake 编译工具，无法./configure
下载地址：https://github.com/axkibe/lsyncd.git
安装：
unzip lsyncd-release-2.2.2.zip
cmake -DCMAKE_INSTALL_PREFIX=/usr/local/lsyncd-2.2.2
make && make install
异常问题：
-- The C compiler identification is GNU 4.4.7
-- The CXX compiler identification is unknown
-- Check for working C compiler: /usr/bin/cc
-- Check for working C compiler: /usr/bin/cc -- works
-- Detecting C compiler ABI info
-- Detecting C compiler ABI info - done
CMake Error: your CXX compiler: "CMAKE_CXX_COMPILER-NOTFOUND" was not found. Please set CMAKE_CXX_COMPILER to a valid compiler path or name.
-- Found Lua: /usr/lib64/liblua.so;/usr/lib64/libm.so (found version "5.1.4")
-- Configuring incomplete, errors occurred!
See also "/tmp/lsyncd-release-2.2.2/CMakeFiles/CMakeOutput.log".
See also "/tmp/lsyncd-release-2.2.2/CMakeFiles/CMakeError.log".
解决方案：
yum -y install gcc-c++
设置环境变量：ln -s /usr/local/lsyncd-2.2.2/bin/lsyncd /usr/local/bin/lsyncd
###################################配置文件与参数###############################
配置文件：
cd /usr/local/lsyncd-2.2.2
mkdir etc logs
这里我们创建2个目录文件方便存放配置文件以及日志文件
vim lsyncd.conf
settings
里面是全局设置，--开头表示注释，下面是几个常用选项说明：
settings {
logfile ="/usr/local/lsyncd-2.2.2/var/lsyncd.log",
statusFile ="/usr/local/lsyncd-2.2.2/var/lsyncd.status",
inotifyMode = "CloseWrite",
maxProcesses = 7,
-- nodaemon =true,
}
sync
里面是定义同步参数，可以继续使用maxDelays来重写settings的全局变量。一般第一个参数指定lsyncd以什么模式运行：rsync、rsyncssh、direct三种模式：
sync {
default.rsync,
source = "/opt/data",
target = "[email protected]:/opt/data",
maxDelays = 5,
delay = 30,
delete = true,
-- init = true,
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
-- bwlimit = 2000
-- rsh = "/usr/bin/ssh -p 22 -o StrictHostKeyChecking=no"
}
}
settings
logfile 定义日志文件
stausFile 定义状态文件
inotifyMode 指定inotify监控的事件，默认是CloseWrite，还可以是Modify或CloseWrite or Modify
maxProcesses 同步进程的最大个数。假如同时有20个文件需要同步，而maxProcesses = 8，则最大能看到有8个rysnc进程
nodaemon=true 表示不启用守护模式，默认
sync
default.rsync ：本地目录间同步，使用rsync，也可以达到使用ssh形式的远程rsync效果，或daemon方式连接远程rsyncd进程；
default.direct ：本地目录间同步，使用cp、rm等命令完成差异文件备份；
default.rsyncssh ：同步到远程主机目录，rsync的ssh模式，需要使用key来认证
source 同步的源目录，使用绝对路径。
target 定义目的地址.
对应不同的模式有几种写法：
/opt/data ：本地目录同步，可用于direct和rsync模式
192.168.166.145:/opt/data ：同步到远程服务器目录，可用于rsync和rsyncssh模式，拼接的命令类似于/usr/bin/rsync -ltsd --delete --include-from=- --exclude=* SOURCE TARGET，剩下的就是rsync的内容了，比如指定username，免密码同步
192.168.166.145::module ：同步到远程服务器目录，用于rsync模式
init 这是一个优化选项，当init = false，只同步进程启动以后发生改动事件的文件，原有的目录即使有差异也不会同步。默认是true
delete 为了保持target与souce完全同步，Lsyncd默认会delete = true来允许同步删除。它除了false，还有startup、running值
true:默认。Lsyncd将在目标上删除任何不在源中的内容。在启动时和正常操作中被删除的内容。
false:Lsyncd不会删除目标上的任何文件。不在启动或正常运行。（可能覆盖）
startup:当启动时，Lsyncd将删除目标上的文件，但不会在正常操作中删除。
running:启动时，Lsyncd不会删除目标上的文件，但会删除在正常操作期间删除的文件。
excludeFrom 排除选项，后面指定排除的列表文件，如excludeFrom = "/etc/lsyncd.exclude"，如果是简单的排除，可以使用exclude = LIST
rsync
delete和exclude本来都是rsync的选项，上面是配置在sync中的，我想这样做的原因是为了减少rsync的开销
bwlimit 限速，单位kb/s，与rsync相同（这么重要的选项在文档里竟然没有标出）
compress 压缩传输默认为true。在带宽与cpu负载之间权衡，本地目录同步可以考虑把它设为false
perms 默认保留文件权限
lsyncd.conf可以有多个sync，各自的source，各自的target，各自的模式，互不影响。
启动：lsyncd -log Exec /usr/local/lsyncd-2.2.2/etc/lsyncd.conf
################################lsyncd.conf其它模式示例#################################
测试：根据需要 我们只测试了远程主机同步的方法
源地址：192.168.166.150
同步目的地址：192.168.166.145
1、rsync + rsyncd daemon
sync {
default.rsync,
source = "/opt/data",
target = "[email protected]:/opt/data",
delete="running",
delay = 30,
-- init = false,
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
verbose = true,
_extra = {"--bwlimit=20000"}
}
}
这个方式要求像rsync一样配置rsyncd服务端
2、rsync+ssh shell
sync {
default.rsync,
source = "/opt/data",
target = "[email protected]:/opt/data",
maxDelays = 5,
delay = 30,
delete = true,
-- init = true,
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
-- bwlimit = 20000
-- rsh = "/usr/bin/ssh -p 22 -o StrictHostKeyChecking=no"
}
}
3、rsync+rsyncssh
sync {
default.rsyncssh,
source = "/opt/data",
host = "192.168.166.145",
targetdir = "/opt/data",
-- excludeFrom = "/etc/rsyncd.d/rsync_exclude.lst",
maxDelays = 5,
delay = 0,
-- init = true,
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
verbose = true,
_extra = {"--bwlimit=20000"},
},
ssh = {
port = 22
}
}
2和3配置ssh方式同步，达到的效果相同
#################################cpu和load测试结果#######################################
经过测试，三种模式都是基于Rsync的原生态模型方式进行同步，不同的区别在于第一种是基于rsync服务，后两种是基于rsync和ssh服务，三种同步方式都是通过hash值的校验，只传送同步差异文件。
服务器cpu性能：8核8G
在同步40G大小的文件（8000个文件）的测试中，（三种模式）cpu性能一直保持在：
source端
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
30781 root 20 0 162m 34m 1008 R 100.0 0.4 0:13.85 rsync
30659 root 20 0 105m 5980 3576 S 28.2 0.1 1:08.01 sshd
load average: 1.00, 0.55, 0.35
target端
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
27268 root 20 0 103m 6528 3140 S 22.6 0.1 0:16.38 sshd
27277 root 20 0 162m 52m 300 R 20.6 0.7 0:14.09 rsync
load average: 0.13, 0.07, 0.02
################################iptables断网测试#####################################
iptables断网测试：
主要测试在同步过程中，网络突然中断后，是否能够继续同步，以及中断过程同步的文件在恢复后MD5校验是否一致
首先在目的同步地址加入一条iptables策略
-A INPUT -s 192.168.166.150/32 -p tcp -m tcp --dport 22 -j REJECT --reject-with icmp-port-unreachable
目的是为了在启动iptabels时，我们的ssh服务断开，从而达到中断网络同步的过程
[[email protected] data]# md5sum SELF_APK/18/55/51/515518.apk
d26dcdbf656cf329b8e81ea5af7c7af5 SELF_APK/18/55/51/515518.apk
断开前 我们校验了源文件的MD5码
目的地址开启iptables
[[email protected] data]# service iptables start
iptables: Applying firewall rules: [ OK ]
目的同步地址已经不在同步源地址的文件，这个在日志中也能看的到
[[email protected] data]# md5sum SELF_APK/18/55/51/515518.apk
md5sum: SELF_APK/18/55/51/515518.apk: No such file or directory
目的地址关闭iptables
[[email protected] data]# service iptables stop
iptables: Setting chains to policy ACCEPT: filter [ OK ]
iptables: Flushing firewall rules: [ OK ]
iptables: Unloading modules: [ OK ]
同步传输继续，完成后效验MD5码
[[email protected] data]# md5sum SELF_APK/18/55/51/515518.apk
d26dcdbf656cf329b8e81ea5af7c7af5 SELF_APK/18/55/51/515518.apk
最后我们发现，在网络中断前，我们的文件是不在进行传输同步，当网络恢复正常时，传输继续，效验的MD5也一致。
###################################ssh同步免key##################################
远端被同步的服务器上开启ssh无密码登录，请注意用户身份
在服务器之间使用lsyncdssh模式进行同步的时候，注意要先将服务器之间的id_rsa拷贝至lsyncd服务器上。
TO-DO:
其它同步工具：csync2，clsync，btsync，drdb
参考文献：https://axkibe.github.io/lsyncd/manual/config/layer4/
http://seanlook.com/2015/05/06/lsyncd-synchronize-realtime/