常常有这么一句话在激励每一位运维人员,“不以故障多为耻,而以恢复快为荣。”运维人员就是要快速定位问题,分析问题,排除故障,快速恢复来保障生产业务不受中断。然而,现代大型数据中心,运维人员要管理的系统节点比以前繁多,为了掌控数据中心的实时运行情况与定位问题,需要花的时间成本已经长得无法接受。
极好的可视化手段,能够让运维人员在纷乱的监控资源群中快速定位故障。我们用以下几点来了解这些功能。
一、全面观察,实时监控
我们抽象的把每一个监控的主机都当成一个圆圈,有多少监控的主机,就出现多少个圈。给每一个圈圈设定一种颜色,我们就很容易区分绿色、黄色、红色。我们把绿色归为健康色,黄色归为警告色,红色归为严重不健康色。这样就能直观的观察到每一个设备的健康状况,比单纯的去看数字更加直观和有趣。下图是优云monitor对一批监控设备,以cpu使用率的维度,实时观测到的结果示意图。可以一目了然的看出大部份主机CPU使用率是正常的,而不正常的主机则非常突出,我们可以马上定位。
二、多种维度,上帝视角
作为高效敏捷的运维人员针对问题环境需要快速的排除障碍。每个主机设备在安装代理的时候,我们都会给它设定一个标签,用来标记这台设备的身份。比如一批设备都是用于A业务,给每个主机设备上的代理打上一个“业务:机器1”类似这种{key:value}的标签,我们在排除障碍的时候,可以根据不同的标签来分组定位分析问题。
上图我们通过对具有 “数据中心” 同时又具有“业务系统” 标签的设备进行分组来查看问题。观测到某个业务CPU使用率存在一个高负荷的状态,这个时候我们用鼠标滑动到圈圈上面,看到它的一个主机名称,IP,CPU使用率具体的一个数值。对于运维人员来说,这个就很容易进行针对性的解决问题。运维人员靠标记设备的方式,可以组合出多维视角来观测你的设备在不同的场景下整体的运行情况。
我们从系统的瓶颈分析,来观察我们业务系统的一个CPU使用率的一个维度视角。对于瓶颈的分析有很多的视角,尤其是对于应用层级的监控,比如oracle,mysql,tomcat,zk等等指标性能状况的瓶颈分析。如何来实现这个各种指标的性能分析呢?
三、海量指标,随需调用
采集了大量的指标数据,包括主机上安装的各类应用。我们可以随时过滤显示包含某类指标的节点,并用这个指标来渲染主机显示颜色。例如cassandra的应用,运维人员就可以根据cassandra的指标维度进行实时监控主机的状态。
之前在看TED的一个演讲,其中讲到了这么一句话:“长期与短期目标,把一个长期目标分成不同小的阶段和不同的任务种类,每完成一个阶段和任务获得奖励,才能坚持下去。”
运维的长期目标是了更好的保障服务环境的正常运行,过程中需要不断的从各个小的方面逐个突破。借助优云Monitor的三个特点,全面观察、实时监控,多种维度、深入核心,再加上海量指标作为基础保障,对资源全方位的瓶颈分析、定位,在每一个小目标过程中,都是不可或缺的力量来源。