前言：假设如果有个服务器几十个链接突然达到上千个链接，show processlist,general_log,还有慢查询日志这些都不能用，你怎么把这些链接过来的SQL情况了解清楚，如果你觉得那些好用的都无法使用，这不可能的事情，总会留下啥蛛丝马迹，既然不能用，那么久无法下手了吗，其实有个神器可以用。
下面就来看看tcpdump这款神器
用字符串形式[[email protected] ~]# tcpdump -i em1 port 3306 -l -s 0 -w - | strings | grep -A 5 "select" > /tmp/tcpdump.txt
tcpdump: listening on em1, link-type EN10MB (Ethernet), capture size 65535 bytes
^C699 packets captured
699 packets received by filter
0 packets dropped by kernel
[[email protected] ~]# cat /tmp/tcpdump.txt | more
select 1
[email protected]
8=!P
select @@session.tx_read_only
8=!|
@@session.tx_read_only
8=nP
select DISTINCT opp.course_big_id from opp LEFT JOIN app ON opp.id = app.id where student_id = 259585937 and ( editable_code = ‘CHANCE_ALLOCA
TED‘ or(editable_code = ‘CHANCE_FEEDBACK‘ AND effective_code = ‘DATA_CODE_EFFECTIVE‘)) AND delete_state = ‘ACTIVE‘ and opp.course_big_id not in ( 32 )
8=n|
opp
opp
course_big_id
course_big_id
--
你可能觉得格式不好看，可以抓包结合pt-query-digest来分析包
[[email protected] ~]# tcpdump -s 65535 -x -nn -q -tttt -i em1 -c 1000 port 3306 > /tmp/mysq.tcp.txt
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on em1, link-type EN10MB (Ethernet), capture size 65535 bytes
1000 packets captured
1000 packets received by filter
0 packets dropped by kernel
[[email protected] ~]# cat /tmp/mysq.tcp.txt | more
2015-12-20 11:49:02.521497 IP 192.168.1.25.3306 > 192.168.1.26.33514: tcp 4625
0x0000: 4508 1245 719e 4000 4006 3389 c0a8 0119
0x0010: c0a8 011a 0cea 82ea fb97 e0b4 bcd8 0218
0x0020: 8018 007a 95bb 0000 0101 080a 531c 97fc
0x0030: 7677 0229 5200 00ae 002e 2576 5602 5abd
0x0040: 2500 5100 0000 8802 3409 0800 bf05 1000
0x0050: 0000 0000 0300 0024 0000 0000 0000 0100
0x0060: 0020 4000 0000 0006 0373 7464 0421 0021
0x0070: 0021 0005 0653 5953 5445 4d0c fe63 726d
0x0080: 0042 4547 494e 05bd 8242 ae00 00af 002e
0x0090: 2576 5613 5abd 2500 ad00 0000 3503 3409
0x00a0: 0000 0a58 0000 0000 0300 0363 726d 0014
0x00b0: 745f 6f6e 6c69 6e65 5f6f 7070 6f72 7475
0x00c0: 6e69 7479 002c 0803 0308 0303 0f0f 0f0f
0x00d0: 0f0f 0ffc 0f0f 0f0f 0f0f 0f03 0f0f 1203
0x00e0: 120f 0312 0f0f 0f12 0f12 0f0f 0f0f 0f0f
[[email protected] ~]# pt-query-digest --type tcpdump /tmp/mysq.tcp.txt
# 410ms user time, 20ms system time, 27.92M rss, 216.83M vsz
# Current date: Sun Dec 20 11:50:58 2015
# Hostname: localhost
# Files: /tmp/mysq.tcp.txt
# Overall: 207 total, 9 unique, 14.88 QPS, 0.01x concurrency _____________
# Time range: 2015-12-20 11:49:02.621793 to 11:49:16.536897
# Attribute total min max avg 95% stddev median
# ============ ======= ======= ======= ======= ======= ======= =======
# Exec time 87ms 23us 33ms 419us 260us 3ms 31us
# Rows affecte 0 0 0 0 0 0 0
# Query size 53.68k 8 1.83k 265.56 1012.63 398.95 28.75
# Warning coun 0 0 0 0 0 0 0
# Profile
# Rank Query ID Response time Calls R/Call V/M Item
# ==== ================== ============= ===== ====== ===== ===============
# 1 0x9D4B9366E8A0F276 0.0331 38.2% 1 0.0331 0.00 SELECT xxxx
# 2 0x8A9C2066E45E4B88 0.0318 36.7% 1 0.0318 0.00 SELECT xxxxx
# 3 0x7C4BC7D69A3993EF 0.0085 9.8% 32 0.0003 0.00 SELECT xxxxx
# 4 0x081EB4DF07F38A22 0.0055 6.3% 24 0.0002 0.00 SELECT adfadf
# 5 0x16219655761820A2 0.0023 2.7% 69 0.0000 0.00 SELECT
# 6 0x5B84E22AECC129B1 0.0020 2.3% 9 0.0002 0.00 SELECT t_adfadfadsf
# MISC 0xMISC 0.0035 4.0% 71 0.0000 0.0 <3 ITEMS>
# Query 1: 0 QPS, 0x concurrency, ID 0x9D4B9366E8A0F276 at byte 1224863 __
# Scores: V/M = 0.00
# Time range: all events occurred at 2015-12-20 11:49:11.484563
# Attribute pct total min max avg 95% stddev median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count 0 1
# Exec time 38 33ms 33ms 33ms 33ms 33ms 0 33ms
# Rows affecte 0 0 0 0 0 0 0 0
# Query size 2 1.59k 1.59k 1.59k 1.59k 1.59k 0 1.59k
# Warning coun 0 0 0 0 0 0 0 0
# String:
# Hosts 192.168.1.235
# Query_time distribution
# 1us
# 10us
# 100us
# 1ms
# 10ms ################################################################
# 100ms
# 1s
# 10s+
# Tables
# SHOW TABLE STATUS LIKE aaa\G
# SHOW CREATE TABLE `aaa`\G
# SHOW TABLE STATUS LIKE ‘bbb‘\G
# SHOW CREATE TABLE `bbb`\G
# EXPLAIN /*!50100 PARTITIONS*/
select count(*) from aaa skyopp left join bbb topp on aaaopp.sky_potential_opportunity_id = topp.id where skyopp.serving_state_code = ‘SERVING‘ and skyopp.account is null and skyopp.area_id = 2 AND first_visit_time <= ‘2015-12-20 23:59:59‘ AND first_visit_time >= ‘2015-09-20 00:00:00‘ and office_id in ( 4 , 24 , 25 , 26 , 1003 , 1004 , 2020 , 2021 , 2028 , 2029 , 2039 , 2040 , 10043 , 10045 ) and project_id in ( 11 , 13 , 10099 , 10504 , 11 , 13 , 10099 , 10504 , 11 , 13 , 10099 , 10504 , 11 , 13 , 10099 , 10504 , 11 , 13 , 10099 , 10504 /*... omitted 36 items ...*/) and last_visit_type_code in ( ‘FIRST_VISIT_TYPE‘ , ‘THE_WEEK_RETURN‘ , ‘NEXT_WEEK_RETURN‘ , ‘SECOND_VISIT_TYPE‘ ) and topp.source_code in ( ‘CS_LEYU‘ , ‘CS_BBS‘ , ‘CS_PUSH‘ , ‘CS_QQ‘ ) and get_count<=22 and legion_id in ( 1 , 3 , 4 , 5 , 6 , 7 , 8 , 9 , 10 , 11 , 12 , 31 , 32 , 53 , 54 , 55 , 56 , 57 , 58 , 59 /*... omitted 8 items ...*/) AND ( abandon_time >= ‘2015-12-20 23:59:59.774‘ or abandon_time <= ‘2015-12-20 00:00:00.774‘ or abandon_time is null) order by skyopp.first_visit_time desc\G
tcpdump选项：
复制代码
-A 以ASCII码方式显示每一个数据包(不会显示数据包中链路层头部信息). 在抓取包含网页数据的数据包时, 可方便查看数据(nt: 即Handy for capturing web pages).
-c count
tcpdump将在接受到count个数据包后退出.
-C file-size (nt: 此选项用于配合-w file 选项使用)
该选项使得tcpdump 在把原始数据包直接保存到文件中之前, 检查此文件大小是否超过file-size. 如果超过了, 将关闭此文件,另创一个文件继续用于原始数据包的记录. 新创建的文件名与-w 选项指定的文件名一致, 但文件名后多了一个数字.该数字会从1开始随着新创建文件的增多而增加. file-size的单位是百万字节(nt: 这里指1,000,000个字节,并非1,048,576个字节, 后者是以1024字节为1k, 1024k字节为1M计算所得, 即1M=1024 ＊ 1024 ＝ 1,048,576)
-d 以容易阅读的形式,在标准输出上打印出编排过的包匹配码, 随后tcpdump停止.(nt | rt: human readable, 容易阅读的,通常是指以ascii码来打印一些信息. compiled, 编排过的. packet-matching code, 包匹配码,含义未知, 需补充)
-dd 以C语言的形式打印出包匹配码.
-ddd 以十进制数的形式打印出包匹配码(会在包匹配码之前有一个附加的‘count‘前缀).
-D 打印系统中所有tcpdump可以在其上进行抓包的网络接口. 每一个接口会打印出数字编号, 相应的接口名字, 以及可能的一个网络接口描述. 其中网络接口名字和数字编号可以用在tcpdump 的-i flag 选项(nt: 把名字或数字代替flag), 来指定要在其上抓包的网络接口.
此选项在不支持接口列表命令的系统上很有用(nt: 比如, Windows 系统, 或缺乏 ifconfig -a 的UNIX系统); 接口的数字编号在windows 2000 或其后的系统中很有用, 因为这些系统上的接口名字比较复杂, 而不易使用.
如果tcpdump编译时所依赖的libpcap库太老,-D 选项不会被支持, 因为其中缺乏 pcap_findalldevs()函数.
-e 每行的打印输出中将包括数据包的数据链路层头部信息
-E [email protected] algo:secret,...
可通过[email protected] algo:secret 来解密IPsec ESP包(nt | rt:IPsec Encapsulating Security Payload,IPsec 封装安全负载, IPsec可理解为, 一整套对ip数据包的加密协议, ESP 为整个IP 数据包或其中上层协议部分被加密后的数据,前者的工作模式称为隧道模式; 后者的工作模式称为传输模式 . 工作原理, 另需补充).
需要注意的是, 在终端启动tcpdump 时, 可以为IPv4 ESP packets 设置密钥(secret）.
可用于加密的算法包括des-cbc, 3des-cbc, blowfish-cbc, rc3-cbc, cast128-cbc, 或者没有(none).默认的是des-cbc(nt: des, Data Encryption Standard, 数据加密标准, 加密算法未知, 另需补充).secret 为用于ESP 的密钥, 使用ASCII 字符串方式表达. 如果以 0x 开头, 该密钥将以16进制方式读入.
该选项中ESP 的定义遵循RFC2406, 而不是 RFC1827. 并且, 此选项只是用来调试的, 不推荐以真实密钥(secret)来使用该选项, 因为这样不安全: 在命令行中输入的secret 可以被其他人通过ps 等命令查看到.
除了以上的语法格式(nt: 指[email protected] algo:secret), 还可以在后面添加一个语法输入文件名字供tcpdump 使用(nt：即把[email protected] algo:secret,... 中...换成一个语法文件名). 此文件在接受到第一个ESP 包时会打开此文件, 所以最好此时把赋予tcpdump 的一些特权取消(nt: 可理解为, 这样防范之后, 当该文件为恶意编写时,不至于造成过大损害).
-f 显示外部的IPv4 地址时(nt: foreign IPv4 addresses, 可理解为, 非本机ip地址), 采用数字方式而不是名字.(此选项是用来对付Sun公司的NIS服务器的缺陷(nt: NIS, 网络信息服务, tcpdump 显示外部地址的名字时会用到她提供的名称服务): 此NIS服务器在查询非本地地址名字时,常常会陷入无尽的查询循环).
由于对外部(foreign)IPv4地址的测试需要用到本地网络接口(nt: tcpdump 抓包时用到的接口)及其IPv4 地址和网络掩码. 如果此地址或网络掩码不可用, 或者此接口根本就没有设置相应网络地址和网络掩码(nt: linux 下的 ‘any‘ 网络接口就不需要设置地址和掩码, 不过此‘any‘接口可以收到系统中所有接口的数据包), 该选项不能正常工作.
-F file
使用file 文件作为过滤条件表达式的输入, 此时命令行上的输入将被忽略.
-i interface
指定tcpdump 需要监听的接口. 如果没有指定, tcpdump 会从系统接口列表中搜寻编号最小的已配置好的接口(不包括 loopback 接口).一但找到第一个符合条件的接口, 搜寻马上结束.
在采用2.2版本或之后版本内核的Linux 操作系统上, ‘any‘ 这个虚拟网络接口可被用来接收所有网络接口上的数据包(nt: 这会包括目的是该网络接口的, 也包括目的不是该网络接口的). 需要注意的是如果真实网络接口不能工作在‘混杂‘模式(promiscuous)下,则无法在‘any‘这个虚拟的网络接口上抓取其数据包.
如果 -D 标志被指定, tcpdump会打印系统中的接口编号，而该编号就可用于此处的interface 参数.
-l 对标准输出进行行缓冲(nt: 使标准输出设备遇到一个换行符就马上把这行的内容打印出来).在需要同时观察抓包打印以及保存抓包记录的时候很有用. 比如, 可通过以下命令组合来达到此目的:
``tcpdump -l | tee dat‘‘ 或者 ``tcpdump -l > dat & tail -f dat‘‘.(nt: 前者使用tee来把tcpdump 的输出同时放到文件dat和标准输出中, 而后者通过重定向操作‘>‘, 把tcpdump的输出放到dat 文件中, 同时通过tail把dat文件中的内容放到标准输出中)
-L 列出指定网络接口所支持的数据链路层的类型后退出.(nt: 指定接口通过-i 来指定)
-m module
通过module 指定的file 装载SMI MIB 模块(nt: SMI，Structure of Management Information, 管理信息结构MIB, Management Information Base, 管理信息库. 可理解为, 这两者用于SNMP(Simple Network Management Protoco)协议数据包的抓取. 具体SNMP 的工作原理未知, 另需补充).
此选项可多次使用, 从而为tcpdump 装载不同的MIB 模块.
-M secret 如果TCP 数据包(TCP segments)有TCP-MD5选项(在RFC 2385有相关描述), 则为其摘要的验证指定一个公共的密钥secret.
-n 不对地址(比如, 主机地址, 端口号)进行数字表示到名字表示的转换.
-N 不打印出host 的域名部分. 比如, 如果设置了此选现, tcpdump 将会打印‘nic‘ 而不是 ‘nic.ddn.mil‘.
-O 不启用进行包匹配时所用的优化代码. 当怀疑某些bug是由优化代码引起的, 此选项将很有用.
-p 一般情况下, 把网络接口设置为非‘混杂‘模式. 但必须注意 , 在特殊情况下此网络接口还是会以‘混杂‘模式来工作； 从而, ‘-p‘ 的设与不设, 不能当做以下选现的代名词:‘ether host {local-hw-add}‘ 或 ‘ether broadcast‘(nt: 前者表示只匹配以太网地址为host 的包, 后者表示匹配以太网地址为广播地址的数据包).
-q 快速(也许用‘安静‘更好?)打印输出. 即打印很少的协议相关信息, 从而输出行都比较简短.
-R 设定tcpdump 对 ESP/AH 数据包的解析按照 RFC1825而不是RFC1829(nt: AH, 认证头, ESP， 安全负载封装, 这两者会用在IP包的安全传输机制中). 如果此选项被设置, tcpdump 将不会打印出‘禁止中继‘域(nt: relay prevention field). 另外,由于ESP/AH规范中没有规定ESP/AH数据包必须拥有协议版本号域,所以tcpdump不能从收到的ESP/AH数据包中推导出协议版本号.
-r file
从文件file 中读取包数据. 如果file 字段为 ‘-‘ 符号, 则tcpdump 会从标准输入中读取包数据.
-S 打印TCP 数据包的顺序号时, 使用绝对的顺序号, 而不是相对的顺序号.(nt: 相对顺序号可理解为, 相对第一个TCP 包顺序号的差距,比如, 接受方收到第一个数据包的绝对顺序号为232323, 对于后来接收到的第2个,第3个数据包, tcpdump会打印其序列号为1, 2分别表示与第一个数据包的差距为1 和 2. 而如果此时-S 选项被设置, 对于后来接收到的第2个, 第3个数据包会打印出其绝对顺序号:232324, 232325).
-s snaplen
设置tcpdump的数据包抓取长度为snaplen, 如果不设置默认将会是68字节(而支持网络接口分接头(nt: NIT, 上文已有描述,可搜索‘网络接口分接头‘关键字找到那里)的SunOS系列操作系统中默认的也是最小值是96).68字节对于IP, ICMP(nt: Internet Control Message Protocol,因特网控制报文协议), TCP 以及 UDP 协议的报文已足够, 但对于名称服务(nt: 可理解为dns, nis等服务), NFS服务相关的数据包会产生包截短. 如果产生包截短这种情况, tcpdump的相应打印输出行中会出现‘‘[|proto]‘‘的标志（proto 实际会显示为被截短的数据包的相关协议层次). 需要注意的是, 采用长的抓取长度(nt: snaplen比较大), 会增加包的处理时间, 并且会减少tcpdump 可缓存的数据包的数量， 从而会导致数据包的丢失. 所以, 在能抓取我们想要的包的前提下, 抓取长度越小越好.把snaplen 设置为0 意味着让tcpdump自动选择合适的长度来抓取数据包.
-T type
强制tcpdump按type指定的协议所描述的包结构来分析收到的数据包. 目前已知的type 可取的协议为:
aodv (Ad-hoc On-demand Distance Vector protocol, 按需距离向量路由协议, 在Ad hoc(点对点模式)网络中使用),
cnfp (Cisco NetFlow protocol), rpc(Remote Procedure Call), rtp (Real-Time Applications protocol),
rtcp (Real-Time Applications con-trol protocol), snmp (Simple Network Management Protocol),
tftp (Trivial File Transfer Protocol, 碎文件协议), vat (Visual Audio Tool, 可用于在internet 上进行电
视电话会议的应用层协议), 以及wb (distributed White Board, 可用于网络会议的应用层协议).
-t 在每行输出中不打印时间戳
-tt 不对每行输出的时间进行格式处理(nt: 这种格式一眼可能看不出其含义, 如时间戳打印成1261798315)
-ttt tcpdump 输出时, 每两行打印之间会延迟一个段时间(以毫秒为单位)
-tttt 在每行打印的时间戳之前添加日期的打印
-u 打印出未加密的NFS 句柄(nt: handle可理解为NFS 中使用的文件句柄, 这将包括文件夹和文件夹中的文件)
-U 使得当tcpdump在使用-w 选项时, 其文件写入与包的保存同步.(nt: 即, 当每个数据包被保存时, 它将及时被写入文件中,而不是等文件的输出缓冲已满时才真正写入此文件)
-U 标志在老版本的libcap库(nt: tcpdump 所依赖的报文捕获库)上不起作用, 因为其中缺乏pcap_cump_flush()函数.
-v 当分析和打印的时候, 产生详细的输出. 比如, 包的生存时间, 标识, 总长度以及IP包的一些选项. 这也会打开一些附加的包完整性检测, 比如对IP或ICMP包头部的校验和.
-vv 产生比-v更详细的输出. 比如, NFS回应包中的附加域将会被打印, SMB数据包也会被完全解码.
-vvv 产生比-vv更详细的输出. 比如, telent 时所使用的SB, SE 选项将会被打印, 如果telnet同时使用的是图形界面,
其相应的图形选项将会以16进制的方式打印出来(nt: telnet 的SB,SE选项含义未知, 另需补充).
-w 把包数据直接写入文件而不进行分析和打印输出. 这些包数据可在随后通过-r 选项来重新读入并进行分析和打印.
-W filecount
此选项与-C 选项配合使用, 这将限制可打开的文件数目, 并且当文件数据超过这里设置的限制时, 依次循环替代之前的文件, 这相当于一个拥有filecount 个文件的文件缓冲池. 同时, 该选项会使得每个文件名的开头会出现足够多并用来占位的0, 这可以方便这些文件被正确的排序.
-x 当分析和打印时, tcpdump 会打印每个包的头部数据, 同时会以16进制打印出每个包的数据(但不包括连接层的头部).总共打印的数据大小不会超过整个数据包的大小与snaplen 中的最小值. 必须要注意的是, 如果高层协议数据没有snaplen 这么长,并且数据链路层(比如, Ethernet层)有填充数据, 则这些填充数据也会被打印.(nt: so for link layers that pad, 未能衔接理解和翻译, 需补充 )
-xx tcpdump 会打印每个包的头部数据, 同时会以16进制打印出每个包的数据, 其中包括数据链路层的头部.
-X 当分析和打印时, tcpdump 会打印每个包的头部数据, 同时会以16进制和ASCII码形式打印出每个包的数据(但不包括连接层的头部).这对于分析一些新协议的数据包很方便.
-XX 当分析和打印时, tcpdump 会打印每个包的头部数据, 同时会以16进制和ASCII码形式打印出每个包的数据, 其中包括数据链路层的头部.这对于分析一些新协议的数据包很方便.
-y datalinktype
设置tcpdump 只捕获数据链路层协议类型是datalinktype的数据包
-Z user
使tcpdump 放弃自己的超级权限(如果以root用户启动tcpdump, tcpdump将会有超级用户权限), 并把当前tcpdump的用户ID设置为user, 组ID设置为user首要所属组的ID(nt: tcpdump 此处可理解为tcpdump 运行之后对应的进程)
此选项也可在编译的时候被设置为默认打开.(nt: 此时user 的取值未知, 需补充)
复制代码
参考资料：
网易：MySQL性能调优工具介绍.ppt
http://www.cnblogs.com/ggjucheng/archive/2012/01/14/2322659.html
时间： 2024-07-28 15:19:23