第一篇:实时网络日志分析器和交互式查看器--GoAccess安装

介绍

GoAccess是一个开源的实时网络日志分析器交互式查看器,可以在* nix 系统或通过浏览器的终端中运行。
它为需要动态可视化服务器报告的系统管理员提供快速且有价值的HTTP统计信息。

特征

GoAccess的一些功能
1.实时输出
2.允许任何自定义日志格式字符串
3.跟踪应用响应时间
4.只有一个依赖,GoAccess是用C语言编写的。要运行它,你只需要将ncurses作为依赖项。
5.增量日志处理

  1. 需要最少的配置
    7.可以将日志分析输出成多种格式.HTML,JSON.CSV
  2. 需要最少的配置

由于服务器用的web环境是nginx,所以下面的配置文件日志格式是参照nginx进行的。goaccess能支持的日志格式很多。

安装

1.下载安装包

# wget http://tar.goaccess.io/goaccess-1.0.2.tar.gz

2.安装依赖包

# yum -y install ncurses-devel geoip-devel

3.编译安装

# ./configure --prefix=/usr/local/goaccess --enable-geoip=legacy --enable-utf8 --with-openssl
# make && make install

在进行config的时候,可以使用./configure --help

修改goaccess配置文件的日志格式

根据nginx的配置文件设置goaccess的配置文件里面的 time-format date-format log-format
由于我的nginx配置文件里面的log-format的配置是:

log_format  main  '$request_time $upstream_response_time $remote_addr [$time_local]
          "$request_method $scheme://$host$request_uri $server_protocol"
           $status  $body_bytes_sent  "$http_referer"  "$upstream_addr"
          "$upstream_cache_status"   "$http_user_agent"  "$http_x_forwarded_for"'

所以对应goaccess里面的配置文件日志格式就需要修改,建议自己创建一个.goacessrc,里面设置日期 时间 日志的格式配置文件格式,方便之后的固定导出

# vim /usr/local/goaccess/.goacessrc
    time-format %H:%M:%S
    date-time %d%b%Y
    log-format %T %^ %h [%d:%t %^] "%m %^://%^%U %H" %s %b "%R" "%^" "%^" "%^" "%^"

简单介绍一下对应的关系

    %T              $request_time       (请求时间)
    %h              $remote_addr        (客户端地址)
    %d:%t %^        [$time_local]       (时间日期)
    %m              $request_method     (请求方法)
    %U              $request_uri        (请求路径)
    %H              $server_protocol    (服务器请求协议)
    %s              $status             (状态码)
    %b              $body_bytes_sent    (字节数)
    "%R"            "$http_referer"     ("referer" Http请求标头)
    %^              (当在统计信息里不需要这个参数时,可以使用忽略此参数)
    

使用命令,将分析结果以html输出

# goaccess -f /usr/local/nginx/logs/access.log -p /usr/local/goaccess/.goacessrc    -a -o report.html

goaccess的web网页页面截图

注意事项

使用goaccess导出分析日志,最重要的就是配置文件里面的文件格式参数,当与nginx的日志格式不匹配的时候就会出现下面的错误

    GoAccess - version 1.0.2 - Nov 13 2018 10:30:13
    Config file: /usr/local/goaccess/etc/goaccess.conf

    Fatal error has occurred
    Error occured at: src/parser.c - parse_log - 2322
    No log format was found on your conf file.  

参考

具体的对应配置以及goaccess的其他功能和命令可参考下面链接

https://goaccess.io/man#custom-log
https://blog.csdn.net/lgq421033770/article/details/51512986

原文地址:https://www.cnblogs.com/moniter/p/12305111.html

时间: 2024-08-03 18:45:32

第一篇:实时网络日志分析器和交互式查看器--GoAccess安装的相关文章

Python之路PythonNet,第一篇,网络1

pythonnet   网络1 ARPAnet(互联网雏形)--->  民用 ISO(国际标准化组织)--->网络体系结构标准 OSI模型 OSI : 网络信息传输比较复杂需要很多功能协同 --> 将功能分开,降低耦合度,让每个模块完成一定的功能 --->将这些模块按照一定的顺序进行组合,完成功能,调理清晰. 按照规定功能,顺序排列的体系结构:OSI模型 OSI 七层模型: 应用层: 提供用户服务, 例如处理应用程序,文件传输,数据管理 表示层: 做数据的转换和压缩,解压,加密等

Flex 布局教程:语法篇(转自阮一峰的网络日志)

作者:阮一峰(转自阮一峰的网络日志,如有侵权,立即删除) 网页布局(layout)是 CSS 的一个重点应用. 布局的传统解决方案,基于盒状模型,依赖 display 属性 + position属性 + float属性.它对于那些特殊布局非常不方便,比如,垂直居中就不容易实现. 2009年,W3C 提出了一种新的方案----Flex 布局,可以简便.完整.响应式地实现各种页面布局.目前,它已经得到了所有浏览器的支持,这意味着,现在就能很安全地使用这项功能. Flex 布局将成为未来布局的首选方案

第一篇使用windows live writer发布日志

测试一下使用windows live writer发布日志. 第一篇使用windows live writer发布日志,布布扣,bubuko.com

入木三分学网络第一篇--VRRP协议详解第一篇(转)

因为keepalived使用了VRRP协议,所有有必要熟悉一下. 虚拟路由冗余协议(Virtual Router Redundancy Protocol,简称VRRP)是解决局域网中配置静态网关时,静态网关出现单点失效现象的路由协议. VRRP广泛应用在边缘网络中,它的设计目标是支持特定情况下IP数据流量失败转移不会引起混乱,允许主机使用单路由器(位于一个虚拟路由器组中, 在该组中,只有一台路由器--master路由器工作,转发数据包,其它路由器是backup路由器,不参与转发数据包),以及在实

Windows系统CPU内存网络性能统计第一篇 内存

最近翻出以前做过的Windows系统性能统计程序,这个程序可以统计系统中的CPU使用情况,内存使用情况以及网络流量.现在将其整理一下(共有三篇),希望对大家有所帮助. 目录如下: 1.<Windows系统CPU内存网络性能统计第一篇 内存> 2.<Windows系统CPU内存网络性能统计第二篇 CPU> 3.<Windows系统CPU内存网络性能统计第三篇网络流量> 本篇将介绍统计系统内存使用情况,包括内存使用率.总物理内存大小.可用物理内存大小.总虚拟内存大小,可用虚

第一篇原创日志--------关于future

2天下来一连打了3场比赛,第一感触竟然不是累,而是....唉,太渣逼了.不知道什么时候才能够结束这种蒟蒻的状态,sigh...=_=# 作为理工男,废话太多不是什么好事,所以..直奔主题吧. 准备,大二下之前打进cf div1,大三下之前cf.tc双红,大四之前cf变IG.tc变target... so...instead of saying anything,just fighting. 第一篇原创日志--------关于future

剖析Elasticsearch集群系列第一篇 Elasticsearch的存储模型和读写操作

剖析Elasticsearch集群系列涵盖了当今最流行的分布式搜索引擎Elasticsearch的底层架构和原型实例. 本文是这个系列的第一篇,在本文中,我们将讨论的Elasticsearch的底层存储模型及CRUD(创建.读取.更新和删除)操作的工作原理. Elasticsearch是当今最流行的分布式搜索引擎,GitHub. SalesforceIQ.Netflix等公司将其用于全文检索和分析应用.在Insight,我们用到了Elasticsearch的诸多不同功能,比如: 全文检索 比如找

第一篇 Replication:复制简介

本篇文章是SQL Server Replication系列的第一篇,详细内容请参考原文. 复制这个词来自拉丁语中的"replicare",意味着重复.Replication describes the process of reproducing or duplicating.Replication in SQL Server does exactly that;it reproduces or duplicates data.任何时候,你需要创建一个数据的副本,或重现该数据的变化,复

实时海量日志分析系统的架构设计、实现以及思考

1 序 对ETL系统中数据转换和存储操作的相关日志进行记录以及实时分析有助于我们更好的观察和监控ETL系统的相关指标(如单位时间某些操作的处理时间),发现系统中出现的缺陷和性能瓶颈. 由于需要对日志进行实时分析,所以Storm是我们想到的首个框架.Storm是一个分布式实时计算系统,它可以很好的处理流式数据.利用storm我们几乎可以直接实现一个日志分析系统,但是将日志分析系统进行模块化设计可以收到更好的效果.模块化的设计至少有两方面的优点: 模块化设计可以使功能更加清晰.整个日志分析系统可以分