Linux下GoAccess的安装与全部用法

 

GoAccess用户文档

一、 GoAccess概述

1.1 GoAccess概述

goaccess是一个实时的web日志分析器，以及交互式查看器，在类Unix系统的终端(terminal)上运行，是一个基于GPL的自由软件。为需要可视化服务器报告的系统管理员提供快速而重要的HTTP统计信息。首先它会解析web日志文件，从被解析文件中收集数据，然后展示在控制台(console)或者X终端上。收集到的信息会在一个可视化/交互式的窗口中展示给用户，包括：

一般统计

该面板提供了几个指标的摘要，其中一些是有效和无效请求的数量，分析数据集所用的时间，唯一的访问者，请求的文件，静态文件（CSS，ICO，JPG等）HTTP引用，404，解析的日志文件的大小和带宽消耗。

唯一身份访问者

此面板显示匹配，独特访问者和每日日期的累积带宽等指标。包含相同IP，相同日期和相同用户代理的HTTP请求被认为是唯一的访问者。默认情况下，它包括Web抓取器/蜘蛛。 可选地，可以使用-date-spec
= hr将时间特性设置为小时级别，这将显示诸如05 / Jun / 2016：16之类的日期。如果您希望在小时级别跟踪您的每日流量，这是非常好的。

请求的文件

此面板显示Web服务器上最高请求的文件。它显示命中，唯一访问者和百分比，以及累积带宽，协议和使用的请求方法。

请求的静态文件

列出了最常用静态文件，如：JPG，CSS，SWF，JS，GIF，和PNG文件类型，使用相同的指标作为最后的面板一起。附加的静态文件可以添加到配置文件中。

404或Not Found

显示与先前请求面板相同的指标，但是其数据包含服务器上未找到的所有页面，或通常称为404状态代码。

主机

该面板有关主机本身的详细信息。这是伟大的发现积极的爬虫和识别谁在吃你的带宽。

扩展面板可以显示更多的信息，如主机的反向DNS查询结果，原籍国和城市。如果-a启用参数，可以通过选择所需的IP地址，然后按ENTER键显示用户代理列表。

操作系统

该面板将报告主机在服务器上使用的操作系统。它试图提供每个操作系统的最具体的版本。

浏览器

此面板将报告主机在服务器上使用的浏览器。它试图提供每个浏览器的最具体的版本。

访问次数

此面板将显示小时报告。此选项显示24个数据点，每天每个小时一个。

可选地，小时特异性可以使用-hour-spec
= min设置为十分之一秒，这将显示小时为16：4如果要在服务器上发现流量峰值，这是非常好的。

 

虚拟主机

此面板将显示从访问日志解析的所有不同的虚拟主机。如果在日志格式字符串中使用％v，则会显示此面板。

引荐来源网址

如果有问题的主机通过其他资源访问了该网站，或者是从另一个主机访问了该网站，则该引用的URL将在此面板中提供。请参阅`--ignore-panel`配置文件以启用它。
（默认情况下禁用）

引荐来源站点

此面板将仅显示主机部分，但不显示整个URL。请求来自的URL。

关键短语

它报告了谷歌搜索，Google缓存和谷歌翻译使用的关键短语，导致您的网络服务器。目前，它只支持通过HTTP的Google搜索查询。请参阅`--ignore-panel`配置文件以启用它。
（默认情况下禁用）

地理位置

确定地理位置在哪里。统计数据按大陆和国家分列。它需要使用GeoLocation支持进行编译。

 

HTTP状态代码

HTTP请求的数字状态代码的值。

远程用户（HTTP认证）

这是通过HTTP认证确定请求文档的人的用户标识。如果文档没有密码保护，这部分将是“ - ”，就像上一个。除非%e在日志格式变量中给出，否则此面板不启用。

二、安装GoAccess

参考官方安装步骤：https://goaccess.io/download

2.1 依赖安装

GoAccess在使用源码安装时，依赖下列组件。

2.1.1、为方便最终日志统计时显示IP地理位置，需要安装依赖项GeoIP-devel：

执行命令：yum install
GeoIP-devel.x86_64

2.1.2 安装ncurses-devel开发库：

执行命令：yum install ncurses-devel

2.1.3 安装tokyocabinet-devel开发库：

执行命令：yum install tokyocabinet-devel

2.1.4 安装openssl-devel开发库：

执行命令：yum install openssl-devel

2.2 下载并安装GoAccess：

通过cd命令切换到/usr/local/src目录下，然后使用root权限执行命令:

wget http://tar.goaccess.io/goaccess-1.2.tar.gz

下载之后，执行解压命令：

tar -zvxf ./goaccess-1.2.tar.gz

然后执行 cd
./goaccess-1.2进入目录。

执行命令：./configure --enable-utf8 --enable-geoip=legacy

执行命令：make

执行命令：make install

安装完后，可以执行命令：ln /usr/local/bin/goaccess
/usr/bin/

安装完成后，相关目录：

可执行程序：/usr/local/bin/goaccess

配置文件：/usr/local/etc/goaccess.conf

其它文件：/usr/local/share/doc/goaccess

手册：/usr/local/share/man/man1

三、自定议日志/日期格式

3.1使用方式

3.1.1最简单且最快速的用法：

# goaccess access.log


3.1.2生成一个HTML报告：


# goaccess access.log -a -o report.html




3.1.3生成一个JSON报告：


# goaccess access.log -a -d -o report.json




3.1.4生成一个CSV报告：


# goaccess access.log --no-csv-summary -o report.csv




3.1.5如果我们想为GoAccess增加更多的灵活性，可以使用一系列的管道。例如：


另一个有用的管道是根据日期过滤web日志。


如下命令将得到日志文件中2017年07月31日的所有HTTP请求：


# sed -n ‘/31\/Jul\/2017/,$ p‘ access.log | goaccess -a


如果想仅解析从日期a到日期b的一个特定时限的日志，则可以：


# sed -n ‘/30\/Jul\/2017,/31\/Jul\/2017/ p‘ access.log | goaccess -a


注意这一命令依赖于sed的速度，可能需要更长的解析时间。


另外，值得指出，如果想以更低的进程调度优先级运行GoAccess，可以这样执行：


# nice -n 19 goaccess -f access.log -a


3.1.6实时HTML输出


# goaccess access.log -o /usr/share/nginx/html/site/report.html --real-time-html


或者，对于Httpd：


# goaccess access.log -o /usr/www/html/report.html --real-time-html


默认情况下，GoAccess监听端口是7890，您可以通过—port=xxx修改端口。


# goaccess access.log -o report.html --real-time-html --port=xxx



3.2 交互式菜单


    

  • F1 主帮助页面
    • 

  • F5 重绘主窗口
    • 

  • q 退出程序或者当前{详细视图}(窗口)
    • 

  • 打开当前激活模块的详细视图
    • 

  • c 设置或改变配色方案
    • 

  • TAB 向前迭代模块。从当前激活模块开始。
    • 

  • SHIFT + TAB 向后迭代模块。从当前激活模块开始。
    • 

  • RIGHT ARROW 打开当前激活模块的详细视图
    • 

  • 0-9 激活模块，这样用户就可以使用^o^或^RIGHT ARROW^打开{详细视图}
    • 

  • SHIFT + 0-9 激活超过10的模块
    • 

  • s 根据日期进行独立访客排序。仅在独立访客模块(1)有效。
    • 

  • S 根据点击数进行独立访客排序。仅在独立访客模块(1)有效。
    • 

  • / 向前在任意{详细视图}窗口搜索输入模式(pattern)。
    • 

  • n 在任意{详细视图}窗口中找到下一次出现的位置。
    • 

  • t 跳到第一个条目或屏幕顶端
    • 

  • b 跳到最后一个条目或者屏幕底部
    • 



3.3 日期格式（date_format）


空格之后的date_format变量指定了包含常规字符和特殊格式说明符的任意组合。这些字符都以百分号(%)开始。详见：man strftime


    

  • %a    星期几的简写形式
    • 

  • %A   星期几的全称
    • 

  • %b   月份的简写形式
    • 

  • %B   月份的全称
    • 

  • %c    日期和时间
    • 

  • %d   月份中的日期,0-31
    • 

  • %H   小时,00-23
    • 

  • %I     12进制小时钟点,01-12
    • 

  • %j     年份中的日期,001-366
    • 

  • %m  年份中的月份,01-12
    • 

  • %M  分,00-59
    • 

  • %p   上午或下午
    • 

  • %S    秒,00-60
    • 

  • %u   星期几,1-7
    • 

  • %w   星期几,0-6
    • 

  • %x    当地格式的日期
    • 

  • %X   当地格式的时间
    • 

  • %y    年份中的最后两位数,00-99
    • 

  • %Y   年
    • 

  • %Z   地理时区名称
    • 



3.4 日志格式（log_format）


日志格式(log_format)


空格之后的date_format变量指定了日志格式字符串。


    

  • %x 与时间格式和日期格式变量匹配的日期和时间字段。当使用时间戳而不是日期和时间在两个单独的变量中时使用这个。
    • 

  • %t 时间字段匹配time_format变量。
    • 

  • %d 匹配date_format变量的日期域。
    • 

  • %D 服务请求所用的时间，以微秒为单位。
    • 

  • %e 这是通过HTTP认证确定请求文档的人的用户ID。
    • 

  • %h 主机(客户端IP地址，IPv4或IPv6)。
    • 

  • %r 来自客户端的请求行。这需要围绕请求的特定分隔符（单引号，双引号等）可解析。否则，请使用特殊格式说明符（如％m，％U，％q和％H）的组合来解析各个字段。
    • 

  • %m 请求方式。
    • 

  • %U请求的URL路径。
    • 

  • %q查询字符串。
    • 

  • %H请求协议。
    • 

  • %s 服务器返回给客户端的状态码。
    • 

  • %b 返回给客户端的对象大小。
    • 

  • %R RefererHTTP请求头。
    • 

  • %u 用户代理HTTP请求头。
    • 

  • %^ 忽略该域。
    • 

  • %T 服务请求所需的时间，以秒为单位，以毫秒为单位。
    • 

  • %L 服务请求所需的时间，以毫秒为单位，为十进制数。
    • 

  • %~ 向前移动日志字符串，直到找到一个非空格（！isspace）字符
    • 

  • ~h X-Forwarded-For（XFF）字段中的主机（客户端IP地址，IPv4或IPv6）。
    • 

				


				
时间： 2024-10-11 12:05:43 

		


		


	

	
	

		


		
Linux下GoAccess的安装与全部用法的相关文章


								

		

			

                linux下nginx的安装
			

		

		

									

				以Red Hat Enterprise Linux 5为例进行讲解. 相关系列: linux下jdk的安装 linux下ant的安装 linux下redis的安装 linux下svn的安装 linux下nginx的安装 linux下graphviz的安装 linux下doxygen的安装 安装nginx版本为0.8.36 一.下载nginx 下载地址:http://www.nginx.org/ 选择nginx-0.8.36 将该下载包拷贝到/usr/local/下(随意了,找个地方就好) 二.安			

		

	

				

		

			

                Linux 下mongodb的安装
			

		

		

									

				l第一:下载,解压mongodb文件.把解压的文件放在/opt/下面(存放目录安装自己习惯存放) # wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.0.4.tgz # tar -xvf mongodb-linux-x86_64-2.0.4.tgz # mv mongodb-linux-x86_64-2.0.4.tgz mongodb2.0.4  (为了方便,把它从命名的更加简洁些) 第二:创建mongodb存放的数据文件.			

		

	

				

		

			

                Linux下PHP环境安装具体步骤
			

		

		

									

				Linux下 PHP环境安装 您需要以下安装包: 1.     字体引擎,freetype-2.1.10.tar.gz 2.     JPEG 图形库,jpegsrc.v6b.tar.gz 3.     PNG图形库,libpng-1.2.8-config.tar.gz 4.     数据压缩库,zlib-1.2.3.tar.gz 5.     加密算法扩展库,libmcrypt-2.5.7.tar.gz 6.     PHP的源码包,php-5.3.3.tar.gz6 确保您的安装linux环			

		

	

				

		

			

                linux 下apache的安装
			

		

		

									

				一.从apache官网上下载apache的安装包 下载apr和apr-util安装包,解压到apache的srclib目录,apache从2.4?开始把这个两个模块剥离 进入apache解压目录,./configure  --with-included-apr  --enable-so make make intall 二.写了一个简单的页面测试,但是发现html引用的图片(其他资源应该会有同样问题)被禁止访问,设了相关权限和配置仍没有效果 最后想到是不是selinux导致,把selinux禁用			

		

	

				

		

			

                Linux下RAR的安装及使用
			

		

		

									

				准备将一个21G的文件从WINDOWS平台传到LINUX服务器上,准备用WINRAR压缩软件把文件压缩成ZIP格式,由于ZIP不能压缩超过4G的文件,所以只能用rar的格式,但是LINUX服务器上要支持解压rar文件,必须安装第三方的rarlinux解压缩软件,具体下载地址: wget http://www.rarsoft.com/rar_CN/rarlinux-3.9.3.tar.gz 下载直接,进行解压,进入目录,直接运行 make 再运行 make install 安装成功后,运行 rar			

		

	

				

		

			

                Linux下源码安装CodeBlocks
			

		

		

									

				Linux下源码安装CodeBlocks qianghaohao(CodingNutter) 一． 安装平台说明: CentOs6.4-i686  gcc-4.4.7 二． 下载最新源码: http://www.codeblocks.org/downloads 在此安装的是最新版:Code::Blocks 16.01 三． 阅读官方安装说明文档: http://wiki.codeblocks.org/index.php/Installing_Code::Blocks_from_source_on			

		

	

				

		

			

                Linux下Qt的安装与配置
			

		

		

									

				参考资料:http://www.cnblogs.com/emouse/archive/2013/01/28/2880142.html Linux 下编译.安装.配置 QT 下载qt 这里用的是4.7.0版本 qt-everywhere-opensource-src-4.7.0.tar.gz 拷贝并解压 这里我装的是Vmware上面的linux,所以windows与linux直接的文件共享,建议用samba,Samba我前面的笔记有介绍,这里不详谈. 拷贝到下面这个目录下 解压用 : tar zx			

		

	

				

		

			

                Linux下ORACLE客户端安装详解
			

		

		

									

				1.首先去oracle官网下载以下安装包(http://www.oracle.com/technetwork/topics/linuxsoft-082809.html) instantclient-basic-linux.x64-11.2.0.3.0.zip instantclient-odbc-linux-11.2.0.3.0.zip instantclient-sdk-linux.x64-11.2.0.3.0.zip instantclient-sqlplus-linux.x64-11.2.			

		

	

				

		

			

                linux下的nginx安装
			

		

		

									

				linux下的nginx安装 检查是否安装了g++.gcc. # rpm -qa | grep gcc 之后需要出现3个包.如果没有出现.需要安装g++.gcc. # yum install gcc-c++ 进入:/usr/java/nginx位置 下载nginx:    wget http://nginx.org/download/nginx-1.8.0.tar.gz 下载openssl : wget http://www.openssl.org/source/openssl-fips-2.0