实战:用Hyperic HQ 诊断网站无法访问问题

问题描述

一直采用Hyperic HQ CRP监控 两个网站:

www.GoodU.info :   “如是我闻”,记录每天不经意间看到的一些好文章,排版简洁,易于阅读,“你永远不知道下一篇是什么类型的文章。”

www.wongjingwingchun.com: “黄祯咏春会”,一个以咏春拳会友的的网站,由黄祯咏春传人免费教习,这里做个广告,欢迎参与。

周末休闲中,突然收到报警邮件,监控的网站无法访问。!!! ? ? ?

环境描述

采用的基本上是主流技术。

Centos6, 64bit,;  Apache Httpd 2.2.15, MySQL 5.1.x ; Drupal;

在该服务器上安装了 HQ Agent 5.8;

分析过程

下面的图片是事后,恢复后的截屏,请着重看中间红点时间段部分:

打开监控的工具 http://demo.innovatedigital.com:7080/

CPU使用率和负载,在事发前出现异动,快速增加。

内存交换区,空闲内存和交换区使用大小,快速增加。这里,考虑到linux的内存管理机制,关注的是Free Memory(+buffers/cache), 而不是 Used Memory(变化不大). 很可能是某程序突然占用了大量的内存。

再看httpd , 每分钟的字节吞吐量和请求量,没有明显变化。

Busy Servers 和 Busy Workers 有所增长,但是 Keepalive 没有明显变化。问题的原因可能与Http 关系不大。

还需观察数据库,mysql,  其进程cpu使用率没有变化,内存有所减低,估计是其他进程用了大量内存,对mysql有所挤压,释放了一些内存。slow query数量有所增加。

那么是哪个进程突然占用了过多的内存和CPU? 请看,每个时间点采集的 top 结果,大量的rdp,这是什么?从来没有安装过,是rdesktop 还是 。。。? 在问题发生前几个时间点,有这些现象,再之前,并没有。

登录到该主机,发现在 /root/下 有 一个 .rdp 目录,里面的文件,包含了很多存放常用密码的文件。是被黑了? 哪位大虾有兴趣,可留言索取。

分析secure 日志,摘取几行如下:

Aug 30 16:04:05 www sshd[1842]: Failed password for root from 111.74.238.167 port 1237 ssh2
。。。。。。
Aug 30 16:39:46 www sshd[2432]: Failed password for root from 202.109.143.35 port 4421 ssh2
。。。。。。
Aug 30 17:01:44 www sshd[2756]: Failed password for root from 117.21.173.175 port 2182 ssh2
。。。。。。
Aug 30 22:10:29 www sshd[5437]: Failed password for root from 222.186.34.36 port 3580 ssh2
。。。。。。

查一查哪里的IP?

111.74.238.167,202.109.143.35,117.21.173.175  江西省吉安市 电信; 222.186.34.36 江苏省镇江市 电信

难道不是山东的南翔技校?

初步结论

根据上面的情况,很可能是主机密码被猜到,从而象上面几个地址一样被利用。

措施

首先是修改密码,关闭ssh登录,采用vnc。

为了能够更早发现网站无法访问的问题,在HQ 中定义了一个服务,轮询某个特定的网页,根据返回时间和返回的数据判断是否发生了问题。具体如下:

定义一个http service , 名为 goodu.info 连接测试, 具体参数:主机名 www.goodu.info; 端口: 80; 超时时间:10秒;PATH: /gc/; method: GET;  pattern: 如是我闻; Follow redirect: yes;   意思是 定期访问http://www.goodu.info/gc 如果返回的页面中有 “如是我闻”四个字,就认为是正常的。

  

然后,再定义一些报警等。 网站恢复后,请看一些图:

Mysql 运行状态:

主机运行状态:

留言

拜托各位黑客大虾对小站手下留情;

恳请各位高手指点 rdp 是什么? 希望得出更多结论.

http://hq.innovatedigital.com

时间: 2024-10-12 14:33:38

实战:用Hyperic HQ 诊断网站无法访问问题的相关文章

使用express vpn导致国内网站无法访问的问题

一直在付费使用express vpn,网速很快. 但是最近发现一个问题,使用express vpnFQ之后,国外的网站访问正常,但是国内的网站却无法访问. 我的使用环境:win 10, 使用express vpn dns, expess vpn auto connect. 为了找到原因,在express vpn连接上的条件下,打开cmd窗口,依次ping baidu.com和163.com,结果为找不到域名对应的IP地址. 然后我再关闭express vpn连接,重新ping,发现IP地址解析正

修改DNS域名转发器解决IP地址解析错误导致的网站不能访问

修改DNS域名转发器解决IP地址解析错误导致的网站不能访问 首先谢谢同事林路的指导,才能顺利解决问题 打开网站,访问一个域名,DNS解析到错误的IP地址,那么将不能正确访问该网站 1.使用8.8.8.8(google 公用dns定位本地dns解析和google解析),这里是zh.wikipedia.org ping zh.wikipedia.org     159.106.121.75(这个是很多dns异常解析的地址) nslookup -qt zh.wikipedia.org 8.8.8.8

以Apache服务器、php语言为例 详解动态网站的访问过程

目前来说,网站页面主要分为静态页面和动态页面,纯静态页面组成的网站现在相对比较少见,大型网站一般使用的是动态网站建站技术,还有一部分网站是静态网页与动态网页共存, 本文以Apache服务器.php语言为例,详解动态网站的访问过程,下面直接切入本文主题. (1)用户端访问服务器端的html文件 S1:通过本机配置好的DNS域名服务器地址寻找DNS服务器,将网站URL中的Web主机域名解析为Web服务器所在的Linux操作系统(Apache通常与Linux操作系统组合使用)中对应的IP地址. S2:

学习笔记_过滤器应用_1(分ip统计网站的访问次数)

分ip统计网站的访问次数 ip count 192.168.1.111 2 192.168.1.112 59 统计工作需要在所有资源之前都执行,那么就可以放到Filter中了. 我们这个过滤器不打算做拦截操作!因为我们只是用来做统计的. 用什么东西来装载统计的数据.Map<String,Integer> 整个网站只需要一个Map即可! Map什么时候创建(使用ServletContextListener,在服务器启动时完成创建,并只在到ServletContext中),Map保存到哪里!(Ma

判断WEB网站的访问端是电脑还是手机的方法

如何判断WEB网站的访问端是电脑还是手机?以显示不同的页面! 其实可以通过JS脚本来实现: <script type="text/javascript">  <!--          //平台.设备和操作系统          var system = {              win: false,              mac: false,              xll: false,              ipad:false        

禁止网站在访问时出现列目录

1.IIS服务器下,打开IIS服务器,点击浏览权限,点击禁止后,就关闭了网站在访问时出现的列目录 2.Apache服务器下, 方法一,修改 httpd.conf配置文件,查找 Options Indexes FollowSymLinks,修改为 Options -Indexes: 方法二,在www 目录下的修改.htaccess 配置文件,加入 Options -Indexes.  (推荐)

【转】10步大幅提升网站可访问性

转自:腾讯ISUX (http://isux.tencent.com/ten-steps-enhance-web-accessibility.html) 10步大幅提升网站可访问性.每一步都可以在20分钟内完成.这篇文章也可以在20分钟内看完. 第一步,检查<title></title>,不允许空,不允许过长,简洁明了.<title></title>是第一个可以访问到内容的元素,所以一定要非常重视.当用户切换浏览器Tab标签的时候,一定最先听到<tit

使用Application对象简单完成网站总访问人数的统计

  Global.asax文件: using System.IO; protected void Application_Start(object sender, EventArgs e) { FileStream fs = File.Open(Server.MapPath("counter.txt"),FileMode.OpenOrCreate); StreamReader sr = new StreamReader(fs); Application["count"

[快讯]爱名网云主机机房故障2天 上万站长网站无法访问

IDC评述网(idcps.com)05月05日报道:据大量网友反馈,域名注册与中介交易商"爱名网"于5月3日开始,云主机服务器所在机房电源出现紧急故障,导致很多主机用户的网站无法访问,且网站数据有可能丢失,被影响的用户纷纷在微博上吐槽,尤其是个人站长,如果网站数据无法找回,损失将无法估量. 爱名网用户在微博上吐槽 爱名网针对此故障所发布的公告 中电云集香港虚机服务器故障通知 另外,有细心的网友发现,此次爱名网云主机故障公告与IDC服务商中电云集的香港虚机服务器故障通知措词雷同,猜测爱名