日志分析研讨会议纪要

参会人员:
沈毅,陈洪杰,李玮,刘顺睿,牛涛,石勇,唐庆梅,杨磊,杨庆敏,杨英辉,冯舸,顾谊
会议议程:
数据采集配置文件统一接口定义
zabbix脚本采集系统资源
研讨上月反馈的几条需求并确定8月工作目标
会议纪要:
1. 数据采集
1) 用zabbix部分脚本采集系统资源数据,输出数据中加入时间戳,数据采集粒度为2秒
2) 采集CPU、内存、IO、磁盘、网络数据资源按网管进程过滤,以时间为X轴对数据进行可视化
a)CPU:占用百分比
b)内存:占用总数,占用百分比,PID,虚拟内存,JVM默认值(最大,最小)
c)IO:IO传输总量,读总量,写总量,块读速度,块写速度
d)磁盘:考虑到EMS有这个功能,优先级降低一点,暂时不做
e)网络:统计带宽数据,暂时不做
3) 数据库连接数统计:按每小时统计一次
4) 进程的线程数据统计
5) 数据采集配置文件配置项确定为:节点名称(IP+环境信息),采集粒度,数据汇总主节点IP
6) 上月穿刺遗留的用户操作数据,后续先直接入库做简单统计
7) 9月性能COP会议上进行,系统资源模型showcase(采集、入库、分析可视化)
2. 数据表结构
1) IO数据表:IP,TIMESPAN,TPS,RTPS,WTPS,BREAD,BWRTNS,DB_CONNECTION_NUB(数据库连接数)
2) 进程CPU_内存表:IP,TIMESPAN,PCPU,PID,PMEN,VSZ,PROCESS_NAME
3. 趋势图原型
1) IO数据可视化原型:

2) 进程资源可视化原型:

3) 数据库连接数可视化原型:

其他事项:
1. 性能子COP

时间: 2024-10-10 04:24:56

日志分析研讨会议纪要的相关文章

linux系统web日志分析脚本

linux系统web日志分析这方面工具比较多,比如logwatch或awstats等使用perl语言开发,功能都非常强大.但这些软件都需要进行一些配置,很多朋友往往在技术方面没有投入太多力量,即便参照互联网上图文教程也无从下手.对于此情况我编写了一个web日志分析脚本,功能比较简单,无需配置,有需要的朋友可以再尝试一下.  脚本地址: gbk版(一般ssh客户端不用调整直接可用: wget http://jinxiang.oss-cn-hangzhou.aliyuncs.com/weblogch

CentOS 7 使用ELK套件搭建日志分析和监控平台

1 概述 ELK套件(ELK stack)是指ElasticSearch.Logstash和Kibana三件套.这三个软件可以组成一套日志分析和监控工具. 由于三个软件各自的版本号太多,建议采用ElasticSearch官网推荐的搭配组合:http://www.elasticsearch.org/overview/elkdownloads/ 2 环境准备 2.1 软件要求 本文把ELK套件部署在一台CentOS单机上. 具体的版本要求如下: 操作系统版本:CentOS 6.4: JDK版本:1.

CentOS7下Elastic Stack 5.0日志分析系统搭建

一.概述 Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等. Logstash是一个开源的用于收集,分析和存储日志的工具. Kibana 也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以汇总.分析和搜索重要数据日志. Beats是elasticsearch公司开源的一款采集系统监控数据的代理ag

mysql慢查询日志分析工具mysqlsla

一.介绍    mysqlsla是一个分析mysql慢日志的工具,可以分析出慢查询的原因,包括执行某条sql出现的次数及在slow log数据的百分比.执行时间.等待销的时间等. 公司的数据库有很多慢查询日志,导致的系统的负载很高,而mysql慢查询日志文件内容格式不太好看,经推荐使用mysqlsla:使用方便,操作简单. 二.安装mysqlsla 系统环境 CentOS release 6.6 (Final) 2.6.32-504.el6.x86_64 官网已经不能下载,所需要的文件已在百度云

AWStats日志分析工具

awstats官方网站:http://awstats.sourceforge.net/ perl官方网站:http://www.perl.com/ Awstats是一个非常简洁而且强大的统计工具.它可以统计您站点的如下信息: 一:访问量,访问次数,页面浏览量,点击数,数据流量等精确到每月.每日.每小时的数据二:访问者国家.访问者IP.操作系统.浏览器等三:Robots/Spiders的统计四:纺客持续时间五:对不同Files type 的统计信息六:Pages-URL的统计七:其它信息(搜索关键

iOS崩溃日志分析-b

1名词解释 1.1. UUID 一个字符串,在iOS上每个可执行文件或库文件都包含至少一个UUID,目的是为了唯一识别这个文件. 1.2. dwarfdump 苹果提供的命令行工具,其中一些功能就是查看可执行文件或库文件的UUID.示例: dwarfdump --uuid 应用名称.app/应用名称 dwarfdump --uuid 应用名称.dSYM 1.3. symbolicatecrash 苹果提供的命令行工具,可以将crash日志符号化为可读的堆栈信息.XCode6/XCode7版本中,

project03日志分析工具AWStats

++++++++++++++++++++ 日志分析工具AWStats ++++++++++++++++++++ http://www.oschina.net/project http://www.oschina.net/project/tag/147/log-analyzer --统计日志分析工具 http://www.awstats.org/ --官方网站 http://www.nltechno.com/awstats/awstats.pl?config=destailleur.fr  --官

Storm实时日志分析实战

项目背景 最近公司做一个项目,用户需要对网站访问者的广告点击/浏览记录进行实时统计分析,分析结果存入数据库,输出报表.我们采用了Kafka+Storm+Zookeeper的解决方案.之前没有接触过,经过一段时间的研究,最终完成了项目.接下来的内容我将介绍我们的解决方案.供大家参考.我们的系统结构如下: 总体结构介绍 业务系统把点击/浏览广告业务日志统一按规定的格式发送到Kafka集群中,不同的业务日志可以分别发送给Kafka不同的主题.Storm集群中运行了我们的实时统计拓扑,该统计拓扑分别从K

awk日志分析

前言 今天我们来讲讲如何用awk进行网站日志分析,得到页面平均耗时排行 文件 [[email protected]_28_6_20 ~]$ cat logs 222.83.181.42 - - [09/Oct/2010:04:04:03 +0800] GET /pages/international/tejia.php HTTP/1.1 "200" 15708 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows