http/https监控获取响应时间(DNS解析时间,RRT时间,服务器处理时间等)

有时候为了测试网络情况,需要返回每个阶段的耗时时间,比如DNS解析耗时,建立连接所消耗的时间,从建立连接到准备传输所使用的时间,从建立连接到传输开始所使用的时间,整个过程耗时,下载的数据量,下载速度,上传数据量,上传速度等等

有时候为了测试网络情况,需要返回每个阶段的耗时时间,比如DNS解析耗时,建立连接所消耗的时间,从建立连接到准备传输所使用的时间,从建立连接到传输开始所使用的时间,整个过程耗时,下载的数据量,下载速度,上传数据量,上传速度等等。下面的脚本获取以上信息:

CURL的资料参见: http://curl.haxx.se/libcurl/c/curl_easy_getinfo.html

复制代码 代码如下:

###################################
### author: www.ttlsa.com   ###
### QQ群: 39514058     ###
### E-mail: [email protected]  ###
###################################
use strict;
use Data::Dumper;
use WWW::Curl::Easy;

if([email protected]){
 print "Usaging: $0 url\n";
 print "For example: $0 www.ttlsa.com\n";
 exit;
}

my $curl = new WWW::Curl::Easy;
open my $response_body,">/dev/null";
$curl->setopt(CURLOPT_HEADER,1);
$curl->setopt(CURLOPT_URL, $ARGV[0]);
$curl->setopt(CURLOPT_WRITEDATA,\$response_body);
$curl->perform;
my $err = $curl->errbuf;
if(!$err){
 my $st = &getTime;
 my $http_code = $curl->getinfo(CURLINFO_RESPONSE_CODE);
 my $http_dns_time = $curl->getinfo(CURLINFO_NAMELOOKUP_TIME);
 my $http_conn_time = $curl->getinfo(CURLINFO_CONNECT_TIME);
 #my $http_APP_time = $curl->getinfo(CURLINFO_APPCONNECT_TIME);
 my $http_PRE_TRAN_time = $curl->getinfo(CURLINFO_PRETRANSFER_TIME);
 my $http_START_TRAN_time = $curl->getinfo(CURLINFO_STARTTRANSFER_TIME);
 my $http_TOTAL_time = $curl->getinfo(CURLINFO_TOTAL_TIME);
 my $http_SIZE_DOWN = $curl->getinfo(CURLINFO_SIZE_DOWNLOAD);
 my $http_SPEED_DOWN = $curl->getinfo(CURLINFO_SPEED_DOWNLOAD);

printf "local_time: %s, http_code: %d, dns_time: %.3fms, conn_time:
%.3fms, pre_tran_time: %.3fms, start_tran_time: %.3fms, total_time:
%.3fms, size_download: %dB, speed_download:
%dB/s",($st,$http_code,$http_dns_time,$http_conn_time,$http_PRE_TRAN_time,$http_START_TRAN_time,$http_TOTAL_time,$http_SIZE_DOWN,$http_SPEED_DOWN);
 write;

format STDOUT_TOP=
 站点各类响应时间明细[email protected]||
 $%
 =========================
 +---------------------+------+-------------+--------------+--------------------------+------------------------+-------------+-----------+------------+
 | 本地时间 | 状态 | DNS解析时间 | 建立连接时间 | 从建立连接到准备传输时间 |从建立连接到开始传输时间| 整个过程时间| 下载数据量|平均下载速度|
 +---------------------+------+-------------+--------------+--------------------------+------------------------+-------------+-----------+------------+
 .

format STDOUT=
 |@<<<<<<<<<<<<<<<<<<<<|
@<<<<| @<<<<<<<<<<<|
@<<<<<<<<<<<<|
@<<<<<<<<<<<<<<<<<<<<<<<<|

@<<<<<<<<<<<<<<<<<<<<<<|
@<<<<<<<<<<<|
@<<<<<<<<<|
@<<<<<<<<<<|
 $st,$http_code,$http_dns_time."ms",$http_conn_time."ms",$http_PRE_TRAN_time."ms",$http_START_TRAN_time."ms",$http_TOTAL_time."ms",$http_SIZE_DOWN."B",$http_SPEED_DOWN."B/s"
 +---------------------+------+-------------+--------------+--------------------------+------------------------+--------------+----------+------------+
 .
}else{
 print "Error: $err\n";
}

sub getTime()
{
 my @time=(localtime)[5,4,3,2,1,0];
 $time[0]+=1900;
 $time[1]+=1;
 return sprintf("%04u-%02u-%02u %02u:%02u:%02u",@time);
}

shell命令下也有相同的命令如下所示:

复制代码 代码如下:

#
curl -o /dev/null -s -w
%{http_code}:%{http_connect}:%{time_namelookup}:%{time_connect}:%{time_pretransfer}:%{time_starttransfer}:%{time_total}:%{size_download}:%{speed_download}
www.ttlsa.com

不解释了,具体参见 man curl

使用 cURL 获取站点的各类响应时间 – dns解析时间,响应时间,传输时间

复制代码 代码如下:

curl
-o /dev/null -s -w
%{http_code}:%{http_connect}:%{content_type}:%{time_namelookup}:%{time_redirect}:%{time_pretransfer}:%{time_connect}:%{time_starttransfer}:%{time_total}:%{speed_download}
digdeeply.org

这是一个本人博客站点执行 curl 命令的情况。输出通常是 HTML 代码,通过 -o 参数发送到 /dev/null。-s 参数去掉所有状态信息。-w 参数让 curl 输出的计时器的状态信息。

一次http请求中的各个时间段-dns解析,等待服务器响应,获取内容等

下边对-w参数做个详细的解释,由我(DigDeeply)翻译。有不对的地方请大家指出。(英文原文:http://curl.haxx.se/docs/manpage.html)
以下是可用的变量名:

 -w, --write-out
 以下变量会按CURL认为合适的格式输出,输出变量需要按照%{variable_name}的格式,如果需要输出%,double一下即可,即%%,同时,\n是换行,\r是回车,\t是TAB。

url_effective The URL that was fetched last. This is most meaningful if you‘ve told curl to follow location: headers.

filename_effective
The ultimate filename that curl writes out to. This is only meaningful
if curl is told to write to a file with the --remote-name or --output
option. It‘s most useful in combination with the --remote-header-name
option. (Added in 7.25.1)

http_code
http状态码,如200成功,301转向,404未找到,500服务器错误等。(The numerical response code that
was found in the last retrieved HTTP(S) or FTP(s) transfer. In 7.18.2
the alias response_code was added to show the same info.)

http_connect The numerical code that was found in the last response (from a proxy) to a curl CONNECT request. (Added in 7.12.4)

time_total
总时间,按秒计。精确到小数点后三位。 (The total time, in seconds, that the full operation
lasted. The time will be displayed with millisecond resolution.)

time_namelookup
DNS解析时间,从请求开始到DNS解析完毕所用时间。(The time, in seconds, it took from the start
until the name resolving was completed.)

time_connect
连接时间,从开始到建立TCP连接完成所用时间,包括前边DNS解析时间,如果需要单纯的得到连接时间,用这个time_connect时间减去前边
time_namelookup时间。以下同理,不再赘述。(The time, in seconds, it took from the
start until the TCP connect to the remote host (or proxy) was
completed.)

time_appconnect
连接建立完成时间,如SSL/SSH等建立连接或者完成三次握手时间。(The time, in seconds, it took from the
start until the SSL/SSH/etc connect/handshake to the remote host was
completed. (Added in 7.19.0))

time_pretransfer 从开始到准备传输的时间。(The
time, in seconds, it took from the start until the file transfer was
just about to begin. This includes all pre-transfer commands and
negotiations that are specific to the particular protocol(s) involved.)

time_redirect
重定向时间,包括到最后一次传输前的几次重定向的DNS解析,连接,预传输,传输时间。(The time, in seconds, it took
for all redirection steps include name lookup, connect, pretransfer and
transfer before the final transaction was started. time_redirect shows
the complete execution time for multiple redirections. (Added in
7.12.3))

time_starttransfer 开始传输时间。在发出请求之后,Web
服务器返回数据的第一个字节所用的时间(The time, in seconds, it took from the start until
the first byte was just about to be transferred. This includes
time_pretransfer and also the time the server needed to calculate the
result.)

size_download 下载大小。(The total amount of bytes that were downloaded.)

size_upload 上传大小。(The total amount of bytes that were uploaded.)

size_header 下载的header的大小(The total amount of bytes of the downloaded headers.)

size_request 请求的大小。(The total amount of bytes that were sent in the HTTP request.)

speed_download 下载速度,单位-字节每秒。(The average download speed that curl measured for the complete download. Bytes per second.)

speed_upload 上传速度,单位-字节每秒。(The average upload speed that curl measured for the complete upload. Bytes per second.)

content_type
就是content-Type,不用多说了,这是一个访问我博客首页返回的结果示例(text/html; charset=UTF-8);(The
Content-Type of the requested document, if there was any.)

num_connects Number of new connects made in the recent transfer. (Added in 7.12.3)

num_redirects Number of redirects that were followed in the request. (Added in 7.12.3)

redirect_url
When a HTTP request was made without -L to follow redirects, this
variable will show the actual URL a redirect would take you to. (Added
in 7.18.2)

ftp_entry_path The initial path libcurl ended up in when logging on to the remote FTP server. (Added in 7.15.4)

ssl_verify_result
ssl认证结果,返回0表示认证成功。( The result of the SSL peer certificate verification
that was requested. 0 means the verification was successful. (Added in
7.19.0))

若多次使用-w参数,按最后一个的格式输出。If this option is used several times, the last one will be used.

时间: 2024-08-14 18:48:08

http/https监控获取响应时间(DNS解析时间,RRT时间,服务器处理时间等)的相关文章

Linux性能优化实战:案例篇-DNS 解析时快时慢,我该怎么办?(37)

一.上节回顾 上一节,我带你一起学习了网络性能的评估方法.简单回顾一下,Linux 网络基于 TCP/IP协议栈构建,而在协议栈的不同层,我们所关注的网络性能也不尽相同. 在应用层,我们关注的是应用程序的并发连接数.每秒请求数.处理延迟.错误数等,可以使用 wrk.Jmeter 等工具,模拟用户的负载,得到想要的测试结果. 而在传输层,我们关注的是 TCP.UDP 等传输层协议的工作状况,比如 TCP 连接数.TCP 重传.TCP 错误数等.此时,你可以使用 iperf.netperf 等,来测

分析DNS解析时间

提高网页的打开速度,一般地我们会选择使用CDN,利用“就近原则”让用户在最短的时间内获取到服务器资源,实际应用当中采用CDN的方式提高网站访问速度的效果也是最明显的.这也就是为什么国外的空间打开速度远不及国内的主机的访问速度的原因了. 我们知道在用户访问网站时先得经过域名DNS解析这一过程,可能很多人对于DNS解析时间平常并没有太在意.性能稳定.响应时间快的DNS域名 解析服务与不稳定.响应过慢的DNS的域名解析时间可能相差1秒,而对于网站存在过多的域名解析请求,这个时间积累起来就非常地多了.

减少域名DNS解析时间将网页加载速度提升新层次-DNS缓存/预读取/拆分域名

我们知道在用户访问网站时先得经过域名DNS解析这一过程,可能很多人对于DNS解析时间平常并没有太在意.性能稳定.响应时间快的DNS域名解析服务与不稳定.响应过慢的DNS的域名解析时间可能相差1秒,而对于网站存在过多的域名解析请求,这个时间积累起来就非常地多了. 本篇文章就来分享一下通过优化网站DNS域名解析,减少域名DNS解析时间,从而让网站在原来的访问速度的前提下继续实现新的飞跃.想要了解更多的有关于网站和服务器优化加速的方法,可以试试: 1.加快SSL:Nginx和Apache上安装SPDY

监控mysql同步,修改DNS解析

#!/usr/bin/env python import time,MySQLdb from subprocess import Popen from subprocess import PIPE import dns.query import dns.message import dns.tsig import dns.tsigkeyring import dns.update def set_dns(ip_list): key=dns.tsigkeyring.from_text({"cui.

python dns解析以及服务检测

最近在看刘天斯的python自动化运维,按照刘老师的思路,记录一个dns轮询以及服务检测的粟子,作为学习笔记. #!/usr/bin/env python import dns.resolver import os import httplib iplist = [ ]               //定义一个空列表,用于存放解析得到的IP地址 appdomain = "www.baidu.com"            //定义业务域名 def get_iplist(domain=&

模拟构建DNS解析流程

背景 DNS初步认识 ??DNS(Domain Name Server,域名系统)是互联网上作为域名和IP地址相互映射的一个分布式数据库,能够使用户方便的访问互联网,而不用去费力的记忆IP字符串.通过域名,最终可以得到该域名对应的IP地址的过程叫做域名解析.DNS协议运行在UDP洗衣上,使用的是53号端口.???? DNS的重要性以及高可用(DNS冗余) 重要性 ????DNS解析是目前互联网大多数应用的实际的寻址方式:域名技术的不断发展,和基于域名技术出现的新技术和新思路极大的丰富了互联网的应

DNS解析全过程分析

DNS解析过程 1.检查浏览器缓存中是否缓存过该域名对应的IP地址 用户通过浏览器浏览过某网站之后,浏览器就会自动缓存该网站域名对应的IP地址, 当用户再次访问的时候,浏览器就会从缓存中查找该域名对应的IP地址, 因为缓存不仅是有大小限制,而且还有时间限制(域名被缓存的时间通过TTL属性来设置), 所以存在域名对应的IP找不到的情况. 当浏览器从缓存中找到了该网站域名对应的IP地址,那么整个DNS解析过程结束, 如果没有找到,将进行下一步骤. 对于IP的缓存时间问题,不宜设置太长的缓存时间, 时

Dnsmasq安装与配置-搭建本地DNS服务器 更干净更快无广告DNS解析

默认的情况下,我们平时上网用的本地DNS服务器都是使用电信或者联通的,但是这样也导致了不少的问题,首当其冲的就是上网时经常莫名地弹出广告,或者莫名的流量被消耗掉导致网速变慢.其次是部分网站域名不能正常被解析,莫名其妙地打不开,或者时好时坏. 如果碰上不稳定的本地DNS,还可能经常出现无法解析的情况.除了要避免"坏"的DNS的影响,我们还可以利用DNS做些"好"事,例如管理局域网的DNS.给手机App Store加速.纠正错误的DNS解析记录.保证上网更加安全.去掉网

DNS解析与域名服务安全防护策略

企业开源 DNS 服务应用概述 在 Internet 上域名与 IP 地址之间是一一对应的,域名虽然便于人们记忆,但机器之间只能互相认识 IP 地址,它们之间的转换工作称为域名解析,域名解析需要由专门的域名解析服务器来完成,DNS 就是进行域名解析的服务器.DNS 是域名系统 Domain Name System 的缩写,该系统用于命名组织到域层次结构中的计算机和网络服务.DNS 命名用于 Internet 等 TCP/IP 网络中,通过用户友好的名称查找计算机和服务.当用户在应用程序中输入 D