今天早晨9点左右,手机app收到邮件报警,打开一看,提示某个ip上的站点访问异常,
尝试ssh连接,发现非常慢。无法正常连接上去。一会后能正常连接上去,但是延迟很高,基本上无法操作。
更换一下ssh方式,通过相同内网的其他机器ssh登陆后,发现正常。PS:其实在这里的时候就应该可以初步断定是外网网络的问题了。
top查看,cpu,内存正常,netstat查看web连接数,并发数300左右。对于apache+php+mysql的站点来说,这样的并发毫无压力。io也正常。
停止httpd服务,网络恢复正常。PS:在这里判断就出了问题,以为是httpd的问题。然后在apache 上面浪费了很多时间。而且没有发现一丝的日志相关报错记录。
开启httpd服务,过了几秒后,延迟升高,网站访问很慢,加载php完全无法。
PS:在这里的时候,又误判是php的问题。其实php加载及读取相关数据都是需要比较大的带宽。
尝试httpd不加载php,延迟正常。
在这里要铭记云供应商ustack的相关人员。在请求ustack那边帮忙查看他们的网络时候,他们给出了网络正常的回复。
接下来,是不断的尝试。从快照从新建主机并切换IP过去,还是异常。
PS:其实在这时候基本就排除了程序和apache,php的问题。因为快照是前天时候刚刚从正常的机器上做的快照。
后面,在网站延迟很高的情况下, 通过内网curl网站,发现是正常状态。。。这里就断定必定是外网IP的问题。随后用内网的window机器再次访问web网站确认,内网访问一切正常。
在已经确定了情况后, 和ustack的人员沟通, 依然回复我们,网络一切正常,请自行排查。
最后的几分钟,就是更换外网IP,修改dns解析,等解析生效后,访问正常。
后记:定位问题太慢,有点怀疑自己的判断。