全链路非功能测试之服务资源监控工具篇

随着信息化建设的迅速发展,为了更好的、有效的保障系统上线后稳定高效运行,在上线前都会对其服务端进行各种压力测试,例如单交易负载测试、混合综合场景压力测试、稳定性测试、浪涌测试、端到端非功能测试等全链路非功能性测试,目的是为了在上线把各种怀疑性技术性问题等排查清楚。因此在最基本的全链路非功测试过程中,对于服务器的资源使用情况、带宽、网络、磁盘、进程、数据或日志存储文件目录使用情况等进行可靠和可持续的监控,统计分析在压力测试过程中的各种数据,从而能及时发现问题原因,并快速定位解决。例如数据库的数据量大、CPU高、IO高等等
而做为非功能测试人员在做压力测试过程中最希望能使用一个简易而且直观的、集中、统一、自动监控工具来协助我们快速定位分析和对历史数据的对比。如Netdata。
Netdata是一款轻量级的适用于linux的服务器性能监控工具,主要优势在于运行速度快、配置简单,能实时的资源监控工具,它拥有基于 web 的友好界面,UI简洁,可以通过图表来了解 CPU,RAM,硬盘,网络,Apache, Postfix 等软硬件的资源使用情况,像绝大多数常用的图表数据(CPU,RAM,网络和硬盘)都在顶部。如果你想深入了解图形化数据,你只需要下滑滚动条,或者点击在右边菜单的项目。通过每个图表的右下方的按钮, Netdata 还能让你控制图表的显示,重置,缩放。
工具安装说明
切换到root权限:
yum install zlib-devel gcc make git autoconf autogen guile-devel automake pkgconfig -y
yum install libuuid-devel zlib-devel -y
wget https://github.com/netdata/netdata/releases/download/v1.11.1/netdata-v1.11.1.tar.gz
tar -xzf netdata-v1.11.1.tar.gz
cd netdata-1.11.1_rolling/
./netdata-installer.sh
有提示 按回车

To stop netdata run:
systemctl stop netdata
To start netdata run:
systemctl start netdata

资源监控篇:
如下图是对系统全景式各类资源使用时效性仪表图

对于CPU使用情况如下,可以看整个服务器CPU平均使用情况,

如果想细化看看各个CPU具体是什么问题引起的,例如是用户还是system导致CPU高的,具体有几个线程的CPU在忙碌可以如下方式监控:

类似nmon方式也很直观

磁盘IO监控:
众所周知,磁盘IO使用是影响数据库性能最大因素,因为磁盘种类繁多,设计的差异性对IO影响巨大,最终对性能影响非常大,例如SSD 和普通7200转的机械硬盘在读写吞吐方面存在多倍的差异性。


网络监控:

而网络中的协议选择也是问题,监控更是难点,目前 市面上存在IPV4 和IPV6 两种互联网协议使用 ,我们在监控过程中有时要进行网卡吞吐量情况监控,有些也要对两种协议使用会进行对比下压测选型,
IPV6的地址分配一开始就遵循聚类(Aggregation)的原则,这使得路由器能在路由表中用一条记录(Entry)表示一片子网,大大减小了路由器中路由表的长度,提高了路由器转发数据包的速
而IPv4是用于分组交换网络的无连接协议。它以尽力交付模式运行,因为它不保证交付,也不保证正确排序或避免重复交付。这些方面(包括数据完整性)由上层传输协议(例如传输控制协议(TCP))解决。
不同协议有不同的用途,但是我们在做性能测试过程如果进行监控对比有时或束手无策,而Netdata 在这方面做得不错,提供两种类型的监控。



存储文件使用情况监控
而我们一般会关注磁盘总体使用情况监控,而我们有时会使用多磁盘方式来存放不同类型的数据,例如数据库的数据存储防砸sda、日志存储在sdb、逻辑备份等存放在sdc等情况,


如下我们postgres的数据存储在home目录下


更多功能,期待你去挖掘!!!

原文地址:https://blog.51cto.com/372550/2419633

时间: 2024-10-08 11:38:08

全链路非功能测试之服务资源监控工具篇的相关文章

微服务架构—自动化测试全链路设计

背景 被忽视的软件工程环节 - DEVTESTOPS 微服务架构下测试复杂度和效率问题 开发阶段 unitTest mock 外部依赖 连调阶段 mock 外部依赖 自动化测试阶段 mock 需求 autoTest Mock Gateway 浮出水面 轻量级版本实现 整体逻辑架构 将 mock parameter 纳入服务框架标准 request contract 使用 AOP + RestEasy HttpClientRequest SPI 初步实现 Mock 总结 背景 从 SOA 架构到现

C#编写Windows服务程序 (服务端),client使用 消息队列 实现淘宝 订单全链路效果

需求: 针对 淘宝提出的 订单全链路 产品接入 .http://open.taobao.com/doc/detail.htm?id=102423&qq-pf-to=pcqq.group oms(订单管理系统) 实现  , 完毕后 效果:在千牛工作台 --订单全链路  可看到效果例如以下图   -------------------------------------------------------------------------------------------------------

C#编写Windows服务程序 (服务端),客户端使用 消息队列 实现淘宝 订单全链路效果

需求: 针对 淘宝提出的 订单全链路 产品接入 .http://open.taobao.com/doc/detail.htm?id=102423&qq-pf-to=pcqq.group oms(订单管理系统) 实现  , 完成后 效果:在千牛工作台 --订单全链路  可看到效果如下图   ---------------------------------------------------------------------------------------------------------

短视频开发:短视频源码可结合全链路的视频云服务一站式解决

实际上,互联网的内容行业正在进阶,从文字.图片到视频.直播,再到能填补用户碎片时间的短视频开发,这是一个趋于互动性.实时性的迭代.从4G普及.资费下调.编解码技术进步和移动硬件的品质提升,也为短视频的发展提供了良好客观因素.从产品形态层面看,短视频本身也拥有创作门槛低.内容精炼.易于发酵等属性,更易于传播.综合这几点,短视频创业才如此蓬勃.那作为国内领先的云服务厂商,释放更多技术能力,给开发者带来便利是阿里云义不容辞的责任.功能说明1.录制:支持断点录制.回删.点击拍摄.长按拍摄.美颜.实时滤镜

Go微服务全链路跟踪详解

在微服务架构中,调用链是漫长而复杂的,要了解其中的每个环节及其性能,你需要全链路跟踪. 它的原理很简单,你可以在每个请求开始时生成一个唯一的ID,并将其传递到整个调用链. 该ID称为CorrelationID¹,你可以用它来跟踪整个请求并获得各个调用环节的性能指标.简单来说有两个问题需要解决.第一,如何在应用程序内部传递ID; 第二,当你需要调用另一个微服务时,如何通过网络传递ID. 什么是OpenTracing? 现在有许多开源的分布式跟踪库可供选择,其中最受欢迎的库可能是Zipkin²和Ja

饿了么全链路压测平台的实现与原理

背景 在上篇文章中,我们曾介绍过饿了么的全链路压测的探索与实践,重点是业务模型的梳理与数据模型的构建,在形成脚本之后需要人工触发执行并分析数据和排查问题,整个过程实践下来主要还存在以下问题: 测试成本较高,几乎每个环节都需要人力支撑,费时费力. 由于测试用例较多,涉及的测试机范围较广,手工执行容易犯错,线上测试尤其危险. 记录结果和测试报告极不方便,需要二次加工.填写和上传. 测试过程中靠手工监控,覆盖不全且定位问题困难. 基于这些因素,我们决定推进全链路压测的自动化进程.这篇我们主要介绍全链路

来自滴滴、微博、唯品会、魅族、点评关于全链路压测等问题实践分享

架构师小组交流会:每期选一个时下最热门的技术话题进行实践经验分享. 第二期:因为大家对全链路压测的问题比较感兴趣,因此做了一番探讨. 参与嘉宾:滴滴技术负责人彭令鹏.魅族系统架构师何伟.唯品会应用架构负责人张广平.新浪微博技术专家聂永.大众点评交易平台技术负责人陈一方.七牛云首席架构师李道兵. 本文是对此次交流的整理,欢迎探讨. 第一轮:自由交流 滴滴彭令鹏:大家好,我是彭令鹏,目前在滴滴平台部负责整个专快车业务的稳定性和效率,之前在百度做了5年半的网页搜索部底层架构的工作.现在在滴滴主要在推四

FTP服务器 传输性能测试之Raid 1+0篇

FTP服务器  传输性能测试之Raid 1+0篇 2012年02月09日13:27 it168网站原创 作者:于泽 编辑:于泽 查看全文 赞(0)评论(1) 分享 [IT168 评测]作为日常办公最常用到的一种应用服务器,FTP服务器承担着很多工作任务,而在FTP服务器的各项性能指标中,传输效率无疑是人们关注的首要因素,在FTP服务器该做Raid 5吗?传输性能评测一文中,我们曾介绍过在Raid 5模式下,FTP服务器的传输表现.今天我们将在同样的平台下,分别对服务器做Raid 1+0.Raid

京东全链路压测军演系统(ForceBot)架构解密

摘要:全链路压测是应对电商大促容量规划最有效的手段,如何有效进行容量规划是其中的架构关键问题.京东在全链路压测方面做过多年尝试,本文转载京东商城基础平台技术专家文章,介绍其最新的自动化压测 ForceBot 体系. ForceBot愿景 1.诞生背景 伴随着京东业务的不断扩张,研发体系的系统也随之增加,各核心系统环环相扣,尤其是强依赖系统,上下游关系等紧密结合,其中一个系统出现瓶颈问题,会影响整个系统链路的处理性能,直接影响用户购物体验. 往年的 618.双 11 大促备战至少提前 3 个月时间