评估、监控、性能定位和优化 磁盘 IO 和 网络 IO

1、基本概念

1.1 吞吐量

1.1.1 基本概念

????计算机系统的吞吐量是指流入,处理和流出系统的信息的速率;它取决于信息能够多快地输入内存,CPU能够多快地取指令,数据能够多快地从内存取出或存入,以及所得结果能够多快地从内存送给一台外围设备
????

1.1.2 吞吐量单位

????吞吐量测试结果以 比特/秒 或 字节/秒 表示
????

1.1.2 吞吐量测试

????在测试中以一定速率发送一定数量的帧,并计算待测设备传输的帧,如果发送的帧与接收的帧数量相等,那么就将发送速率提高并重新测试;如果接收帧少于发送帧则降低发送速率重新测试,直至得出最终结果
????

1.2 防火墙 和 吞吐量

1.2.1 基本概念

????吞吐量是指在不丢包的情况下单位时间内通过防火墙的数据包数量;防火墙作为内外网之间的唯一数据通道,对每个数据包的处理要耗费资源,如果吞吐量太小,就会成为网络瓶颈,给整个网络的传输效率带来负面影响
????

1.2.2 防火墙效率

????吞吐量的大小主要由防火墙内网卡,及程序算法的效率决定,尤其是程序算法;大多数防火墙虽号称100M防火墙,由于其算法依靠软件实现,通信量远远没有达到100M,实际只有10M-20M;纯硬件防火墙,由于采用硬件进行运算,因此吞吐量可以达到线性90-95M,是真正的100M防火墙。
????

1.3 带宽 和 吞吐量

????吞吐量和带宽是很容易搞混的一个词,两者的单位都是Mbps
???????? 带宽: Max net bitrate ,一般是指链路上每秒所能传送的比特数链路上的可用带宽
????????
吞吐量:throughput ,实际链路中每秒所能传送的比特数,我们倾向于用“吞吐量”来表示一个系统的测试性能
????

1.4 request 和 吞吐量

????一个系统的吞度量(承压能力)与request对CPU的消耗、外部接口、IO等等紧密关联;单个reqeust 对CPU消耗越高,外部系统接口、IO影响速度越慢,系统吞吐能力越低,反之越高
????

2、网络 I/O

2.1 网络 I/O 评估

2.1.1 I/O 模型

????针对某一个特定的场景来建立模型,用于IO容量规划以及问题分析,基本的网络io模型包含以下几部分
???????? IOPS
????????
带宽
???????? IO的尺寸(大小)
????

2.1.2 网络 I/O 特点

????当存储中提到IOPS最大能力的时候,一般采用随机小IO进行测试,此时占用的带宽是非常低的,响应时间也会比顺序的IO要长很多;如果将随机小IO改为顺序小IO,那么IOPS还会更大;当测试顺序大IO时,此时带宽占用非常高,但IOPS却很低
????

2.1.3 网络 I/O 评估工具

????ping:最基本的,可以指定包的大小
????iperf、ttcp:测试tcp、udp协议最大的带宽、延时、丢包
????

2.2 网络I/O 监测

2.2.1 带宽

????nmon
????sar
????

2.2.2 响应时间

????简单的方法,可采用ping命令查看ping的延时是否在合理范围,是否有丢包现象
?

2.3 网络 I/O 性能定位、优化

    通过网络抓包和分析的工具,诊断网络的延时、丢包等异常情况出现在哪一段,然后具体分析
 
????

3、磁盘I/O

3.1 磁盘 I/O 评估

3.1.1 I/O 模型

????针对某一个特定的场景来建立模型,用于IO容量规划以及问题分析,基本磁盘 io模型包含以下几部分
???????OPS
????????

????????O的尺寸(大小)
????????
盘IO分别在哪些盘
????????IO和写IO的比例
????????
IO是顺序的还是随机的
????????*IO是顺序的还是随机的
????

3.1.2 磁盘 I/O 特点

????当存储中提到IOPS最大能力的时候,一般采用随机小IO进行测试,此时占用的带宽是非常低的,响应时间也会比顺序的IO要长很多;如果将随机小IO改为顺序小IO,那么IOPS还会更大;当测试顺序大IO时,此时带宽占用非常高,但IOPS却很低
????

3.1.3 磁盘 I/O 评估工具

????磁盘IO能力的评估工具有很多,例如orion、iometer,dd、xdd、iorate,iozone,postmark
????

3.2 磁盘I/O 监测

????iostat
????

3.3 磁盘 I/O 性能定位、优化

????有过多不必要的读写;例如减少不必要的读写,降低日志等级等

原文地址:http://blog.51cto.com/11495268/2313835

时间: 2024-10-01 02:47:25

评估、监控、性能定位和优化 磁盘 IO 和 网络 IO的相关文章

磁盘 IO 和网络 IO 该如何评估、监控、性能定位和优化

生产中经常遇到一些IO延时长导致的系统吞吐量下降.响应时间慢等问题,例如交换机故障.网线老化导致的丢包重传:存储阵列条带宽度不足.缓存不足.QoS限制.RAID级别设置不当等引起的IO延时. 一.评估 IO 能力的前提 评估一个系统IO能力的前提是需要搞清楚这个系统的IO模型是怎么样的.那么IO模型是什么,为什么要提炼IO模型呢? (一).IO模型 在实际的业务处理过程中,一般来说IO比较混杂,比如说读写比例.IO尺寸等等,都是有波动的.所以我们提炼IO模型的时候,一般是针对某一个特定的场景来建

漫谈Java IO之普通IO流与BIO服务器

今天来复习一下基础IO,也就是最普通的IO. 网络IO的基本知识与概念 普通IO以及BIO服务器 NIO的使用与服务器Hello world Netty入门与服务器Hello world Netty深入浅出 输入流与输出流 Java的输入流和输出流,按照输入输出的单元不同,又可以分为字节流和字符流的. JDK提供了很多输入流和输出流,比如: 字节流可以按照不同的变量类型进行读写,而字符流则是基于字符编码的.不同的字符编码包含的字节数是不一样的,因此在使用字符流时,一定要注意编码的问题. 读写 字

并发编程 - IO模型 - 1.io模型/2.阻塞io/3.非阻塞io/4.多路复用io

1.io模型提交任务得方式: 同步:提交完任务,等结果,执行下一个任务 异步:提交完,接着执行,异步 + 回调 异步不等结果,提交完任务,任务执行完后,会自动触发回调函数同步不等于阻塞: 阻塞:遇到io,自己不处理,os会抢走cpu ,解决办法:监测到io,gevent切换到其他任务,类似欺骗os 非阻塞:cpu 运行 IO分类: 1.阻塞IO blocking IO 2.非阻塞IO nonblocking IO 3.IO多路复用 IO multiplexing 4.信号驱动IO signal

Java IO(一) 之 IO总览

前言: IO对于系统设计来说,是一个很重要的关注点,往往系统运行的瓶颈就在IO设计上,无论是数据库IO,文件IO还是网络IO,都需要进行精致的设计,才能使得系统达到最佳运行状态.对于现代系统并发量.数据量的剧增,IO处理对于系统显得更加重要.研究Java IO对于我们工作有益无害. Java.io包含了Java阻塞型IO的设计.Java的IO主要包含三个部分: 1.流式部分–IO的主体部分: 2.非流式部分–主要包含一些辅助流式部分的类,如:File类.RandomAccessFile类和Fil

【好书摘要】性能优化中CPU、内存、磁盘IO、网络性能的依赖

系统优化是一项复杂.繁琐.长期的工作,优化前需要监测.采集.测试.评估,优化后也需要测试.采集.评估.监测,而且是一个长期和持续的过程,不 是说现在优化了,测试了,以后就可以一劳永逸了,也不是说书本上的优化就适合眼下正在运行的系统,不同的系统.不同的硬件.不同的应用优化的重点也不同. 优化的方法也不同.优化的参数也不同.性能监测是系统优化过程中重要的一环,如果没有监测.不清楚性能瓶颈在哪里,怎么优化呢?所以找到性能 瓶颈是性能监测的目的,也是系统优化的关键.系统由若干子系统构成,通常修改一个子系

Linux按照CPU、内存、磁盘IO、网络性能监测

目录[-] Linux性能监测:CPU篇 Linux性能监测:内存篇 Linux性能监测:磁盘IO篇 Linux性能监测:网络篇 系统优化是一项复杂.繁琐.长期的工作,优化前需要监测.采集.测试.评估,优化后也需要测试.采集.评估.监测,而且是一个长期和持续的过程,不 是说现在优化了,测试了,以后就可以一劳永逸了,也不是说书本上的优化就适合眼下正在运行的系统,不同的系统.不同的硬件.不同的应用优化的重点也不同. 优化的方法也不同.优化的参数也不同.性能监测是系统优化过程中重要的一环,如果没有监测

Linux按照CPU、内存、磁盘IO、网络性能监测【转载】

本文转载地址:https://my.oschina.net/chape/blog/159640 Linux按照CPU.内存.磁盘IO.网络性能监测 系统优化是一项复杂.繁琐.长期的工作,优化前需要监测.采集.测试.评估,优化后也需要测试.采集.评估.监测,而且是一个长期和持续的过程,不 是说现在优化了,测试了,以后就可以一劳永逸了,也不是说书本上的优化就适合眼下正在运行的系统,不同的系统.不同的硬件.不同的应用优化的重点也不同. 优化的方法也不同.优化的参数也不同.性能监测是系统优化过程中重要的

性能调优之MySQL篇四:MySQL配置定位以及优化

一.CPU最大性能模式 cpu利用特点 5.1 最高可用4个核 5.5 最高可用24核 5.6 最高可用64核心 一次query对应一个逻辑CPU 你仔细检查的话,有些服务器上会有的一个有趣的现象:你cat /proc/cpuinfo时,会发现CPU的频率竟然跟它标称的频率不一样: #cat /proc/cpuinfo processor : 5 model name : Intel(R) Xeon(R) CPU E5-2620 0 @2.00GHz ... cpu MHz : 1200.000

Linux 性能监控、测试、优化工具

Linux 平台上的性能工具有很多,眼花缭乱,长期的摸索和经验发现最好用的还是那些久经考验的.简单的小工具.系统性能专家 Brendan D. Gregg 在最近的 LinuxCon NA 2014 大会上更新了他那个有名的关于 Linux 性能方面的 talk (Linux Performance Tools) 和幻灯片. 和 Brendan 去年的 talk比较,今年增加了测试和优化两部分.下面的三张图片分别总结了 Linux 各个子系统以及监控.测试.优化这些子系统所用到的工具. 监控 测