压力测试 rsync+sersync

本次测试的说明：

测试用户写入的数据和实时同步数据之间的差别或者说延迟，本次实验实在虚拟机上完成，仅供自己学习测试专用

1.测试图解

2.测试环境：

3.基本说明

M-SERVER10.0.0.181端的三个文件夹

[[email protected] ~]# tree  /data0

/data0

└── www

├── bbs

├── blog

└── www

4 directories, 0 files

[[email protected] ~]#

S1-SERVER10.0.0.182端的三个文件夹

[[email protected] ~]# tree  /data0

/data0

└── www

├── bbs

├── blog

└── www

4 directories, 0 files

[[email protected] ~]#

备注;在M-SERVER创建数据，看S1-SERVER端数据的同步的情况

4.M-SERVER 端测试脚本

备注：脚本内容：每秒往  /data0/www/bbs/    文件夹下写count个数据，count可以自己调节

[[email protected] scripts]# pwd

/server/scripts

[[email protected] scripts]# ll -h

总用量 36K

-rw-r--r--. 1 root root 10K 4月  24 14:58 10K.jpg

-rw-r--r--. 1 root root 20K 4月  24 14:58 20K.jpg

-rw-r--r--. 1 root root 297 4月  24 14:57 tp.sh

[[email protected] scripts]#

#!/bin/bash

count=10

while true

do

for((i=0;i<=$count;i++))

do

/bin/cp  10K.jpg   /data0/www/bbs/10K_`echo $(date)$RANDOM|md5sum|cut -c 1-8`.jpg

done

sleep 1

for((i=0;i<=$count;i++))

do

/bin/cp  20K.jpg   /data0/www/bbs/20K_`echo $(date)$RANDOM|md5sum|cut -c 1-8`.jpg

done

done

~

测试 在M-SERVER上执行脚本    用tree  |wc  -l（用crt将命令发送到交谈窗口）  查看 M-SERVER（可以克隆一个回话）和 S1-SERVER  文件的个数，每大约秒发送一次tree  |wc -l

测试开始：

第一次测试

M-SERVER上的数据：

[[email protected] bbs]# tree |wc -l

140

[[email protected] bbs]# tree |wc -l

146

[[email protected] bbs]# tree |wc -l

168

[[email protected] bbs]# tree |wc -l

181

[[email protected] bbs]# tree |wc -l

190

S1-SERVER上的数据：

[[email protected] bbs]# tree |wc -l

135

[[email protected] bbs]# tree |wc -l

146

[[email protected] bbs]# tree |wc -l

168

[[email protected] bbs]# tree |wc -l

177

[[email protected] bbs]# tree |wc -l

190

第二次测试（调整count 的个数，每秒写20个数据，在脚本中调节）

M-SERVER上的数据

[[email protected] bbs]# tree |wc -l

638

[[email protected] bbs]# tree |wc -l

656

[[email protected] bbs]# tree |wc -l

676

[[email protected] bbs]# tree |wc -l

698

[[email protected] bbs]# tree |wc -l

717

S1-SERVER上的数据：

[[email protected] bbs]# tree |wc -l

633

[[email protected] bbs]# tree |wc -l

656

[[email protected] bbs]# tree |wc -l

667

[[email protected] bbs]# tree |wc -l

698

[[email protected] bbs]# tree |wc -l

712

第三次测试（调整count 的个数，每秒写30个数据，在脚本中调节）

M-SERVER上的数据

[[email protected] bbs]# tree  |wc -l

1004

[[email protected] bbs]# tree  |wc -l

1032

[[email protected] bbs]# tree  |wc -l

1061

[[email protected] bbs]# tree  |wc -l

1061

[[email protected] bbs]# tree  |wc -l

1084

[[email protected] bbs]# tree  |wc -l

1115

[[email protected] bbs]#

S1-SERVER上的数据：

[[email protected] bbs]# tree  |wc -l

999

[[email protected] bbs]# tree  |wc -l

1028

[[email protected] bbs]# tree  |wc -l

1058

[[email protected] bbs]# tree  |wc -l

1061

[[email protected] bbs]# tree  |wc -l

1079

[[email protected] bbs]# tree  |wc -l

1110

[[email protected] bbs]#

第四次测试（调整count 的个数，每秒写50个数据，在脚本中调节）

M-SERVER上的数据：

[[email protected] bbs]# tree  |wc -l

1542

[[email protected] bbs]# tree  |wc -l

1542

[[email protected] bbs]# tree  |wc -l

1577

[[email protected] bbs]# tree  |wc -l

1611

[[email protected] bbs]# tree  |wc -l

1642

[[email protected] bbs]# tree  |wc -l

1644

[[email protected] bbs]#

S1-SERVER上的数据：

[[email protected] bbs]# tree  |wc -l

1542

[[email protected] bbs]# tree  |wc -l

1542

[[email protected] bbs]# tree  |wc -l

1572

[[email protected] bbs]# tree  |wc -l

1605

[[email protected] bbs]# tree  |wc -l

1637

[[email protected] bbs]# tree  |wc -l

1644

[[email protected] bbs]#

第五次测试（调整count 的个数，每秒写80个数据，在脚本中调节）

M-SERVER上的数据：

[[email protected] bbs]# tree  |wc -l

1948

[[email protected] bbs]# tree  |wc -l

1952

[[email protected] bbs]# tree  |wc -l

1978

[[email protected] bbs]# tree  |wc -l

2018

[[email protected] bbs]# tree  |wc -l

2049

[[email protected] bbs]# tree  |wc -l

2078

S1-SERVER上的数据：

[[email protected] bbs]# tree  |wc -l

1943

[[email protected] bbs]# tree  |wc -l

1952

[[email protected] bbs]# tree  |wc -l

1972

[[email protected] bbs]# tree  |wc -l

2003

[[email protected] bbs]# tree  |wc -l

2038

[[email protected] bbs]# tree  |wc -l

2072

第六次测试（调整count 的个数，每秒写150个数据，在脚本中调节）

M-SERVER上的数据：

[[email protected] bbs]# tree  |wc -l

2527

[[email protected] bbs]# tree  |wc -l

2571

[[email protected] bbs]# tree  |wc -l

2624

[[email protected] bbs]# tree  |wc -l

2639

[[email protected] bbs]# tree  |wc -l

2667

[[email protected] bbs]# tree  |wc -l

2707

[[email protected] bbs]#

S1-SERVER上的数据：

[[email protected] bbs]# tree  |wc -l

2521

[[email protected] bbs]# tree  |wc -l

2566

[[email protected] bbs]# tree  |wc -l

2617

[[email protected] bbs]# tree  |wc -l

2639

[[email protected] bbs]# tree  |wc -l

2649

[[email protected] bbs]# tree  |wc -l

2690

[[email protected] bbs]#

第七次测试（调整count 的个数，每秒写550个数据，在脚本中调节）

M-SERVER上的数据：

[[email protected] bbs]# tree  |wc -l

3642

[[email protected] bbs]# tree  |wc -l

3691

[[email protected] bbs]# tree  |wc -l

3739

[[email protected] bbs]# tree  |wc -l

3781

[[email protected] bbs]# tree  |wc -l

3822

[[email protected] bbs]# tree  |wc -l

3863

[[email protected] bbs]# tree  |wc -l

3900

[[email protected] bbs]# tree  |wc -l

3954

[[email protected] bbs]#

S1-SERVER上的数据：

[[email protected] bbs]# tree  |wc -l

3637

[[email protected] bbs]# tree  |wc -l

3685

[[email protected] bbs]# tree  |wc -l

3731

[[email protected] bbs]# tree  |wc -l

3774

[[email protected] bbs]# tree  |wc -l

3817

[[email protected] bbs]# tree  |wc -l

3858

[[email protected] bbs]# tree  |wc -l

3896

[[email protected] bbs]# tree  |wc -l

3925

[[email protected] bbs]#

分析：

第一次测试每秒10个文件几乎无延迟    10K-20K 的文件

第二次测试每秒20个文件也是几乎无延迟  10K-20K的文件

第三次测试每秒是30个文件的时候出现了延迟  10K-20K的文件     部分延迟大约是每秒延迟5个文件

第四次测试每秒是50个文件的时候出现了延迟  10K-20K的文件     部分延迟大约是每秒延迟5个文件

第五次测试每秒是80个文件的时候出现了延迟  10K-20K的文件     几乎每秒延迟5个文件

第六次测试每秒是150个文件的时候部分出现了延迟  10K-20K的文件     部分几乎每秒延迟15个文件

第七次测试每秒是550个文件的时候部分出现了延迟  10K-20K的文件     部分几乎每秒延迟30-50个文件

...... 不在测试了

时间： 2024-08-05 05:13:35

压力测试 rsync+sersync的相关文章

DNS主从服务,子域授权,view视图,日志系统,压力测试rsync配置

DNS主从服务,子域授权,view视图,日志系统,压力测试 DNS性能测试工具queryperfDNS查询过程: DNS主从建立: 环境: 主服务器:10.140.165.93 从服务器:10.140.165.169 关闭防火墙,关闭selinux. 主服务器建立: [[email protected] ~]# yum -y install bind-util bind #安装bind服务 [[email protected] ~]# vim /etc/named.conf #编辑主配置文件 o

rsync+sersync实战

简介: inotify的优点: (1) 监控文件系统时间的变化,通过同步工具实现实时同步数据 inotify的缺点: (1) 并发如果大于200个文件(10-100K),同步就会有延迟 (2)我们前面写的脚本,每次都是全部推送一次,但确实是增量备份额 也可以只同步变化的文件  不变化的文件不理 (3) 监控到事件后,调用rsync同步是单线程的(加&并发).sersync是多线程同步的 既然有了inotify-tools,为什么还要开发sersync sersync的功能多 (1)配置文件 (2

rsync+sersync部署

#sersync优点: 1.c++编写,可以对临时文件和重复文件操作进行过滤 2.配置简单 3.使用多线程进行同步 4.自带出错处理机制,通过失败队列对出错的文件重新同步,如果还失败,配置若干小时再传 5.sersync自带crotab功能,只需在xml配置文件中开启 6.sersync自带socket与http的协议扩展,可以满足有特殊需求的二次开发 #处理机制 inotify--过滤队列--线程组--调用rsync线程---远程服务器 1.sersync安装 mkdir /server/to

企业实时同步方案----Rsync+Sersync

在博文企业实时同步方案----Sersync介绍中我们详细介绍了Sersync的原理,设计架构以及和 Inotify 等等的优势区别.这里我就带大家一起来做一下 Rsync +Sersync 这个同步分发架构案例. 实验环境介绍: 内核版本:2.6.32-431.el6.x86_64 系统采用最小化安装,系统经过了基本优化,selinux为关闭状态,iptables为无限制模式 源码包存放位置:/root Rsync客户端+Sersync服务器(SERSYNC),承担角色MASTER,IP:17

Rsync+sersync多目录同步

源服务器:192.168.1.100  目标服务器:192.168.1.200, 把源服务器的/data/book 和/data1/book   同步到目标服务器的/data/book 和/data1/book 第一部分:在目标服务器192.168.1.200上操作 一.在目标服务器安装Rsync服务端 1.关闭SELINUX 2.开启防火墙tcp 873端口(Rsync默认端口) 3.安装Rsync服务端软件 yum -y install rsync xinetd #安装 chkconfig

rsync+sersync实现数据时时备份

CentOS6.6中rsync+sersync实现数据实时备份 注意:rsync的daemon模式已提前配置好了,只需要配置sersync即可 . 一.基本环境 系统版本 主机名 IP地址 角色 备份/监控目录 CentOS 6.6 backup 10.0.0.10 rsync服务端 /backup CentOS 6.6 nfs-server 10.0.0.7 rsync客户端 /data 二.sersync安装配置 查看系统是否支持inotify,显示以下三个文件表示支持 [[email pr

rsync+inotify-tools和rsync+sersync实战应用的区别

一.为什么要用Rsync+sersync架构? 1.sersync是基于Inotify开发的,类似于Inotify-tools的工具 2.sersync可以记录下被监听目录中发生变化的(包括增加.删除.修改)具体某一个文件或某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的这个文件或者这个目录. 二.Rsync+Inotify-tools与Rsync+sersync两种架构有什么区别? 2.1 Rsync+Inotify-tools (1):Inotify-tools只能记录下被监

Centos7.0系统下Rsync+sersync实现数据实时增量同步备份

前言: 一.为什么要用Rsync+sersync架构? 1.sersync是基于Inotify开发的,类似于Inotify-tools的工具 2.sersync可以记录下被监听目录中发生变化的(包括增加.删除.修改)具体某一个文件或某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的这个文件或者这个目录. 二.Rsync+Inotify-tools与Rsync+sersync这两种架构有什么区别? 1.Rsync+Inotify-tools (1):Inotify-tools只能记录

Rsync+Sersync实时同步

一.基本介绍 1.什么是Rsync? Rsync(Remote Synchronize)是一款开源的.快速的.多功能的.可以实现全量及增量的本地或远程数据同步备份的优秀工具,并且支持多种操作系统平台运行. 官网文档:https://rsync.samba.org/ftp/rsync/rsync.html 2.Rsync简介 Rsync具有本地与远程两台主机之间的数据快速复制同步镜像.远程备份等功能,该功能类似scp,但是优于scp功能,还具有本地不同分区目录之间全量及增量复制数据. Rsync同