5个日志数据:让你轻松分析系统性能

1.缓慢的响应时间

响应时间是日志数据最常见和最有用的性能,它能让你知道请求是多长时间被系统响应的。例如Web服务器日志可以让你洞察请求需要多久才能返回客户端设备的响应。这时间可以包括采用web服务器背后的不同组件(应用服务器,数据块)来处理请求的时间,因此它能够即时查看到你的应用程序是如何运作的。从客户端设备/ 浏览器记录的响应时间能够给你一个更全面的了解,因为它也捕捉在app/浏览器的页面加载和网络延迟时间。

一个好的测量响应时间的法则是1993年Jakob Nielsen发表的3响应时间的限制,这个法则在当下仍然是极具意义的。简而言之,0.1秒的限制让用户觉得是系统的瞬间反应,1.0秒的限制用户认为是保持不间断的流动,10秒的限制保持用户的注意力集中在对话。

缓慢的响应时间模式几乎总是遵循以下模式:

  • response_time>X

其中response_time是字段值,代表服务器或客户端的响应;“X”是一个阈值。如果阀值超过了字段值,那么你的系统对于用户来说是个非常糟糕的体验。

2.内存问题和垃圾回收

内存溢出的错误对于系统来说可能是灾难性的,由于资源的匮乏往往会造成应用程序的崩溃。因此,当这些事情发生的时候可以创建标签并且生成警报通知。

内存溢出的问题可以成为垃圾回收的一个目标方向,以此来作为跟踪方向并得到通知。内存不足的异常和内存泄露的区别在于主要系统的中断和简单重启服务器之间的区别。

此外缓慢的垃圾回收也可能是用户体验缓慢的原因,在某些情况下垃圾的回收可能会导致应用程序的运行减缓并且阻塞,知道垃圾回收完成。

下面是用于识别上述列举的内存相关问题的常见例子:

  • 内存不足
  • 超过内存限制
  • 内存泄漏检测
  • java.lang.OutOfMemoryError
  • System.OutOfMemoryException
  • memwatch:leak: Ended heapDiff
  • GC和统计数据

3.死锁和线程问题

死锁可能发生在很多情况下,并且对系统有很坏的影响。死锁发生时,它不会让你的系统完全的停止下来而是减缓。总之死锁就是两个互相竞争的进程同时等待对方完成。

大多数死锁模式仅仅包含关键字“僵局”,但一些常见的模式遵循以下结构:

  • "死锁"
  • "Deadlock found when trying to get lock"
  • “处理申请时发生意外:死锁”

4.资源使用率高(CPU/硬盘/网络)

在很多情况下系统性能的放缓可能并不是任何大型软件缺陷造成的,可能是一个简单的系统上负载增加,但是没有可用的资源来处理这个问题。

在分析资源使用模式的示例使用:

  • metric=/CPUUtilization/ AND minimum>X
  • cpu>X
  • disk>X
  • 磁盘处于或接近其容量
  • 磁盘上没有足够的空间
  • java.io.IOException异常:设备上没有剩余空间
  • 带宽不足

5.数据库查询缓慢的问题

知道查询失败,这可能会有用,因为它识别你的请求只是可能回来时没有相关的数据,从而帮助你确定数据库中并没有用户需要的数据。然而更微妙的问题是用户可以获得正确的数据,但结果是花了很多时间来返回。

跟踪慢速查询让你可以跟踪你的数据库查询执行情况。查询时间设定可接受的阈值,任何超出这些阈值时可以帮助你识别正在影响的用户体验。

实例模式:

  • SqlException
  • SQL超时
  • 长查询
  • 慢速查询
  • 警告:查询需要较长的时间超过X
  • Query_time > X

总而言之,使用日志数据能够很好地帮助大家识别自己系统存在的问题。

时间: 2024-10-09 09:54:32

5个日志数据:让你轻松分析系统性能的相关文章

Elastic Stack实战学习教程~日志数据的收集、分析与可视化

Elastic Stack介绍 近几年,互联网生成数据的速度不断递增,为了便于用户能够更快更精准的找到想要的内容,站内搜索或应用内搜索成了不可缺少了的功能之一.同时,企业积累的数据也再不断递增,对海量数据分析处理.可视化的需求也越来越高. 在这个领域里,开源项目ElasticSearch赢得了市场的关注,比如,去年Elastic公司与阿里云达成合作伙伴关系提供阿里云 Elasticsearch 的云服务.今年10月Elastic公司上市,今年11月举行了Elastic 中国开发者大会.目前各大云

用OSSIM轻松分析网络设备日志

用OSSIM轻松分析网络设备日志 基于插件的日志收集与处理模式,使得用户可以轻松的利用OSSIM来分析异构网络环境下的各种网络设备日志,下面展示一些硬件设备日志的实例,我们在RAW LOG界面里,搜索栏输入Cisco关键词,立即列出数据源中已有Cisco 路由器.防火墙.交换机等各种搜索条件,你只要知道硬件型号基本都能找到对应数据源.首先以思科ASA防火墙为例来为大家说明. 在系统中通过饼图将各类日志直观的展现给用户,便于查阅. 从网络设备日志收集的日志,经过插件归一化处理之后,转换为标准化事件

Logstash过滤分析日志数据/kibanaGUI调试

[Logstash] [[email protected] ~]# wget https://artifacts.elastic.co/downloads/logstash/logstash-6.3.2.tar.gz [[email protected] ~]# tar zxvf logstash-6.3.2.tar.gz -C /usr/local/ [[email protected] ~]# mv /usr/local/logstash-6.3.2/ /usr/local/logstash

Hadoop HDFS源码分析 读取命名空间镜像和编辑日志数据

读取命名空间镜像和编辑日志数据 1.读取命名空间镜像 类FSImage是 命名空间镜像的java实现,在源码中,英文注释为, /** * FSImage handles checkpointing and logging of the namespace edits. * */ FSImage.loadFSImage(FSNamesystem, StartupOption, MetaRecoveryContext) 读取命名空间镜像. 1 private boolean loadFSImage(

日志表设计一例分析

关于关系表的设计归根结底有两个方面.第一,就是完全按照范式理论去设计,一般来说达到第三范式就可以了,或者你可以划分的更细到达更上一层次.比如第四,第五,第六等等.这种设计有自己的可读性很强,但是有一点,在检索数据的时候增加了多张关系表来做关联的开销.第二,就是在范式理论上适当的做些反范式,有的东西还是不要太剥离的好.(窄表以及宽表) 这点和软件设计中的紧耦合松耦合理论一致. 下面我就以常用的LOG表来做下演示,其中有两种表的实际,一种是窄表,一种是稍微宽一点的表.窄表:log_ytt mysql

MongoDB应用案例:使用 MongoDB 存储日志数据

线上运行的服务会产生大量的运行及访问日志,日志里会包含一些错误.警告.及用户行为等信息,通常服务会以文本的形式记录日志信息,这样可读性强,方便于日常定位问题,但当产生大量的日志之后,要想从大量日志里挖掘出有价值的内容,则需要对数据进行进一步的存储和分析. 本文以存储 web 服务的访问日志为例,介绍如何使用 MongoDB 来存储.分析日志数据,让日志数据发挥最大的价值,本文的内容同样使用其他的日志存储型应用. 模式设计 一个典型的web服务器的访问日志类似如下,包含访问来源.用户.访问的资源地

logstash将Kafka中的日志数据订阅到HDFS

前言:通常情况下,我们将Kafka的日志数据通过logstash订阅输出到ES,然后用Kibana来做可视化分析,这就是我们通常用的ELK日志分析模式.但是基于ELK的日志分析,通常比较常用的是实时分析,日志存个十天半个月都会删掉.那么在一些情况下,我需要将日志数据也存一份到我HDFS,积累到比较久的时间做半年.一年甚至更长时间的大数据分析.下面就来说如何最简单的通过logstash将kafka中的数据订阅一份到hdfs. 一:安装logstash(下载tar包安装也行,我直接yum装了) #y

XenDesktop 5 SQL Server Mirror事务日志比较大的原因分析

在实施XenDesktop5项目过程中,发现XenDesktop5版本的数据库镜像事务日志很大,在XenDesktop4和XenApp版本中不存在该问题:于是我根据该现象探究XenDesktop5及以上版本镜像数据库事务日志为何如此之大以及我们今后实施的过程中该如何来维护这么庞大的数据库事务日志. 在XenDesktop解决方案中,对数据的处理是由专门的数据库来进行数据存储处理的,而对于数据库的高可用,有3种方式: SQL Mirror Virtual Machine HA(VMware FT)

网站流量日志数据自定义采集实现

为什么要进行网站流量数据统计分析? 随着大数据时代的到来,各行各业产生的数据呈爆发式增长,大数据的技术从之前的"虚无"变成可能,数据产生的各种潜在价值慢慢的被人们挖掘出来利用在各行各业上.比如网站流量数据统计分析,可以帮助网站管理员.运营人员.推广人员等实时获取网站流量信息,并从流量来源.网站内容.网站访客特性等多方面提供网站分析的数据依据.从而帮助提高网站流量,提升网站用户体验,让访客更多的沉淀下来变成会员或客户,通过更少的投入获取最大化的收入. 网站流量日志数据采集原理分析 首先,