超详细搭建Squid日志分析

Squid日志分析概述

Sarg的全名是Squid Analysis ReportGenerator,是一款Squid日志分析工具,采用HTML格式,详细列出每一位用户访问Internet的站点信息、时间占用信息、排名、连接次数和访问量等

实验环境

  • 系统环境:centos7.4
  • 服务器IP地址:192.168.100.71
  • 相关源码信息:sarg-2.3.7、squid-3.4.6

搭建步骤

一、安装Squid服务

没有安装squid服务的朋友可以查看我之前的博文 http://blog.51cto.com/11905606/2177108

二、Squid日志分析

1、安装web服务

1)、安装httpd软件包

[[email protected] ~]# yum -y install httpd

2)、修改配置文件

[[email protected] ~]# vim /etc/httpd/conf/httpd.conf

#编辑以下参数
ServerName www.bt.com:80  #设置完全主机名,根据自己的需求
Listen 192.168.100.71:80  #设置服务监听端口

3)、启动服务

[[email protected] ~]# systemctl start httpd.service
[[email protected] ~]# netstat -anpt | grep ‘:80‘

2、配置Sarg分析Squid日志

1)、安装GD库

[[email protected] ~]# yum -y install gd gd-devel

2)、安装sarg

[[email protected] ~]# tar xvfz sarg-2.3.7.tar.gz
[[email protected] ~]# cd sarg-2.3.7/
[[email protected] sarg-2.3.7]# ./configure \
--prefix=/usr/local/sarg \
--sysconfdir=/etc/sarg \
--enable-extraprotection

#参数详解
prefix                 #指定配置文件安装路径
sysconfdir             #配置文件目录
enable-extraprotection #安全保护功能

[[email protected] sarg-2.3.7]# make && make install

3)、修改sarg配置文件,添加要监控的squid的日志信息等

[[email protected] ~]# vim /etc/sarg/sarg.conf

#修改以下参数
access_log /usr/local/squid/var/logs/access.log    #约第7行,  打开squid访问日志
title "Squid User Access Reports"                  #约第25行, 打开网页标题
output_dir /var/www/html/squid-reports             #约第120行,sarg报告输出目录
user_ip no                                         #约第178行,使用用户名显示,no代表禁用
exclude_hosts /usr/local/sarg/noreport             #约第206行,指定不计入排序的站点列表文件
topuser_sort_field BYTES reverse                   #约第184行,在top排序中,指定连接次数、访问字节数,reverse代表降序
user_sort_field BYTES reverse                      #约第190行,对于用户访问记录,连接次数按降序排列
overwrite_report no                                #约第257行,当日期报告已经存在,是否覆盖报告
mail_utility mailx                                 #约第289行,发送邮件报告的命令
charset UTF-8                                      #约第434行,使用字符集,utf-8
weekdays 0-6                                       #约第518行,指定top排序时的星期周期,0为周日
hours 7-12,14,16,18-20                             #约第523行,指定top排序时的时间周期
www_document_root /var/www/html          #约第633行,网页根目录

[[email protected] ~]# touch /usr/local/sarg/noreport #创建不计入排序的站点列表文件

4)、启动sarg并对观察squid的访问日志

[[email protected] ~]# ln -s /usr/local/sarg/bin/sarg /usr/local/bin #添加软链接
[[email protected] ~]# sarg #启动sarg

SARG: 纪录在文件: 53, reading: 100.00%
SARG: 成功的生成报告在 /var/www/html/squid-reports/2018Sep19-2018Sep19

5)、测试

输入 http://192.168.100.103/squid-reports/

6、引入周期性计划任务

1).编辑每日报告脚本

[[email protected] ~]# cd /usr/local/sarg/
[[email protected] sarg]# vim sarg.sh
00 00 * sarg -l /usr/local/squid/var/logs/access.log -o /var/www/html/squid-reports/ -z -d $(date -d "1 day ago" +%d/%m/%Y)-$(date +%d/%m/%Y)

2).添加周期性计划任务

[[email protected] ~]# chmod +x /usr/local/sarg/sarg.sh
[[email protected] ~]# crontab -e

00 00 * * * /usr/local/sarg/sarg.sh   #每天00:00执行

[[email protected] ~]# systemctl enable crond #设为开机自启动

原文地址:http://blog.51cto.com/11905606/2178930

时间: 2024-10-06 00:43:54

超详细搭建Squid日志分析的相关文章

Squid代理服务器+ACL访问控制+Squid日志分析&&任务计划

第一章:Squid代理服务器 防伪码:只有顽强,明日路纵会更彷徨! 理论概述: 1.缓存代理概述:squid主要提供缓存加速,应用层过滤控制的功能. 2.代理的基本类型 1)传统代理:普通的代理服务器,首先必须在客户机的浏览器.qq聊天工具.下载软件等程序中手动设置代理服务器的地址和端口,然后才能使用代理来访问网络. 2)透明代理:提供与传统代理相同的功能和服务,其区别在于客户机不需要指定代理服务器的地址和端口,而是通过默认路由.防火墙策略将Web访问重定向,实际仍然交给代理服务器来处理.  实

squid日志分析与反向代理

一.squid日志分析 Srag是一款Squid日志分析工具,采用HTML格式,详细列出每一位用户访问Internet的站点信息,时间占用信息,排名,连接次数和访问量等.Srag的部署过程如下. (1)安装图像处理工具 yum install -y gd gd-devel (2)创建sarg工作目录 mkdir /usr/local/sarg (3)手工编译安装sarg ./configure --prefix=/usr/local/sarg --sysconfdir=/etc/sarg --e

PYTHON上海分享活动小记---SQUID日志分析项目开发

上周末有幸跑到上海为小伙伴们分享了<SQUID日志分析项目>,主要是带大家用PYTHON迅速实现一个SQUID日志分析平台的前后端开发,一天的课程太紧张,导致有些细节不能完全实现,但整体思路啥的基本都OK啦,可惜的是由于电脑没配置好,导致没法录像....,要不然就可以放到网上与大家一起分享了,现在只能上几张图了... 最后感谢 波波同学,无偿负责组织策划了这次分享活动,感谢柏林,提供场地支持. 感谢大家花周末时间参加这个活动,希望此次分享对各位有所帮助.. PYTHON上海分享活动小记---S

ELKR分布式搭建nginx日志分析系统

ELKR分布式搭建nginx日志分析系统 一.名词介绍 1.什么是elk ELK 其实并不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写,Elasticsearch,Logstash 和 Kibana.这三款软件都是开源软件,通常是配合使用. 2.Elasticsearch 2.1.Elasticsearch介绍 Elasticsearch 是一个实时的分布式搜索和分析引擎,它可以用于全文搜索,结构化搜索以及分析.它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引

ELK搭建实时日志分析平台之二Logstash和Kibana搭建

本文书接前回<ELK搭建实时日志分析平台之一ElasticSearch> 文:铁乐与猫 四.安装Logstash logstash是一个数据分析软件,主要目的是分析log日志. 1)下载和解压logstash 下载地址: https://www.elastic.co/cn/downloads/logstash 上传到服务器/usr/ELK目录后,解压:sudo tar -zxvf logstash-6.1.3.tar.gz 我下的这个6.1.3版本的logstash tar包大小有110多M了

centos7搭建EFK日志分析系统

前言 EFK可能都不熟悉,实际上EFK是大名鼎鼎的日志系统ELK的一个变种 在没有分布式日志的时候,每次出问题了需要查询日志的时候,需要登录到Linux服务器,使用命令cat -n xxxx|grep xxxx 搜索出日志在哪一行,然后cat -n xxx|tail -n +n行|head -n 显示多少行,这样不仅效率低下,而且对于程序异常也不方便查询,日志少还好,一旦整合出来的日志达到几个G或者几十G的时候,仅仅是搜索都会搜索很长时间了,当然如果知道是哪天什么时候发生的问题当然也方便查询,但

[Big Data - ELK] ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台

ELK平台介绍 在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄一小段: 以下内容来自: http://baidu.blog.51cto.com/71938/1676798 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误. 通常,日志被分散的储存不同的设备上.如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志.这

在Windows系统下搭建ELK日志分析平台

再记录一下elk的搭建,个人觉得挺麻烦的,建议还是在linux系统下搭建,性能会好一些,但我是在windows下搭建的,还是记录一下吧,像我这种记性差的人还是得靠烂笔头 简介: ELK由ElasticSearch.Logstash和Kiabana三个开源工具组成: Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等. Logstash是一个完全开源的工具,他可以对你的日志进行收集.过

Ubuntu14.04搭建ELK日志分析系统

系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误.日志的作用不言而喻,但对于数量庞大且分布在多台机器上的日志,查看就显得特别麻烦了.所以,对于运维人员来说,使用日志分析系统是非常有必要的. 开源实时日志分析ELK平台能够实现日志的监控与分析,ELK由ElasticSearch.Logstash和Kiabana三个开源工具组成.官方网站:https://www.elastic.co/pr