Apache优化——日志管理

11.22 访问日志不记录静态文件

编辑虚拟主机配置文件“httpd-vhosts.conf”：

[[email protected] ~]# vim /usr/local/apache2.4/conf/extra/httpd-vhosts.conf
……
<VirtualHost :80>
DocumentRoot "/data/wwwroot/111.com"
ServerName 111.com
ServerAlias www.example.com
<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_HOST} !^111.com$
RewriteRule ^/(.)$ http://111.com/$1 [R=301,L]
</IfModule>
ErrorLog "logs/111.com-error_log"
SetEnvIf Request_URI "..gif$" img
SetEnvIf Request_URI "..jpg$" img
SetEnvIf Request_URI "..png$" img
SetEnvIf Request_URI "..bmp$" img
SetEnvIf Request_URI "..swf$" img
SetEnvIf Request_URI "..js$" img
SetEnvIf Request_URI ".*.css$" img
#以上为定义变量：将所有关于图片的请求定义为变量img
CustomLog "logs/111.com-access_log" combined env=!img
#“env=!img”表示非img变量。本行命令的含义是：不记录关于变量img的请求日志。
</VirtualHost>
说明： 将所有访问图片的请求定义为变量img，在访问记录（日志）中将其排除即可。重新加载后使用curl访问img变量中所指定格式的文件内容时将不会产生访问记录。

扩展：

apache日志记录客户端请求的域名

正常情况下，根本就没有必要记录这一项，毕竟咱们大都根据虚拟主机来设置相应的访问日志，但也有个别的情况，比如 ServerName *.abc.com这样泛解析的形式，所以有必要记录一下用户请求的域名到底是哪个。 而apache的LogFormat 中正好有一项值满足了这个需求。即 %V 这里是大写的V ,小写的v 记录的是咱们在虚拟主机中设置的ServerName ，这个的确是没有必要记录的。

apache只记录指定URI的日志

需求： 把类似请求 www.aaa.com/aaa/... 这样的请求才记录日志。

方法： 在httpd.conf 或者 相关的虚拟主机配置文件中添加：

SetEnvIf RequestURI "^/aaa/.*" aaa-request
CustomLog "|/usr/local/apache/bin/rotatelogs -l /usr/local/apache/logs/aaa-access%Y%m%d.log 86400" combined env=aaa-request
原理和不记录图片等静态访问的日志（ http://www.lishiming.net/thread-561-1-1.html ）是一样的。

apache日志中记录代理IP以及真实客户端IP

默认情况下log日志格式为：

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
，其中%h 是记录访问者的IP，如果在web的前端有一层代理，那么这个%h其实就是代理机器的IP，这不是我们想要的。我们需要的是记录客户端的真实IP，“%{X-FORWARDED-FOR}i ”该字段会记录客户端真实IP，所以log日志的格式应改为：

LogFormat "%h %{X-FORWARDED-FOR}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
11.23 访问日志切割

配置

编辑虚拟主机配置文件：

[[email protected] ~]# vim /usr/local/apache2.4/conf/extra/httpd-vhosts.conf
……
<VirtualHost :80>
DocumentRoot "/data/wwwroot/111.com"
ServerName 111.com
ServerAlias www.example.com
<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_HOST} !^111.com$
RewriteRule ^/(.)$ http://111.com/$1 [R=301,L]
</IfModule>
ErrorLog "logs/111.com-error_log"
SetEnvIf Request_URI "..gif$" img
SetEnvIf Request_URI "..jpg$" img
SetEnvIf Request_URI "..png$" img
SetEnvIf Request_URI "..bmp$" img
SetEnvIf Request_URI "..swf$" img
SetEnvIf Request_URI "..js$" img
SetEnvIf RequestURI ".*.css$" img
CustomLog "|/usr/local/apache2.4/bin/rotatelogs -l logs/111.com-access%Y%m%d.log 86400" combined env=!img
#使用rotatelogs工具，以系统时间为基准，每天切割一次日志，并且日志名字格式为“111.com-access_%Y%m%d.log”。

#每小时切割一次日志，语法：
#CustomLog "|/usr/local/apache2.4/bin/rotatelogs logs/access_%Y%m%d%H.log 3600" combined

说明： rotatelogs是Apache切割日志的工具；-l表示使用系统（CST=Chinese time）时间，如果加-l选项，将以默认的（UTC）时间为准；日志文件名“%Y%m%d”表示年月日；时间间隔设定为一天（1day=24h=1440min=86400s）。

检测

重载配置文件：
[[email protected] 111.com]# /usr/local/apache2.4/bin/apachectl -t
Syntax OK
[[email protected] 111.com]# /usr/local/apache2.4/bin/apachectl graceful
访问、检测日志：
[[email protected] ~]# curl -x192.168.8.131:80 111.com/http.jpg -I

[[email protected] 111.com]# ls /usr/local/apache2.4/logs/
111.com-access_20170801.log 111.com-error_log abc.com-error_log error_log
111.com-access_log abc.com-access_log access_log httpd.pid
说明： 配合计划任务使用，定期清理日志文件，避免日志文件累计导致磁盘空间不足。

扩展：

rotatelogs命令

语法： rotatelogs [ -l ] logfile [ rotationtime [ offset ]] rotatelogs [ filesizeM ] logfile

选项： -l：使用本地时间代替GMT时间作为时间基准。注意：在一个改变GMT偏移量(比如夏令时)的环境中使用-l会导致不可预料的结果。所以一定要加上-l 否则出现的日志时间和实际时间是相差8小时的。 rotationtime：日志文件滚动的以秒为单位的间隔时间。 offset：相对于UTC的时差的分钟数。如果省略，则假定为”0″并使用UTC时间。比如，要指定UTC时差为”-5小时”的地区的当地时间，则此参数应为”-300″。 filesizeM：指定以filesizeM文件大小滚动，而不是按照时间或时差滚动。

日志切割方法2：

使用cronolog命令：

一：每一天建立一个新日志
CustomLog "|bin/cronolog logs/access_%Y%m%d.log" combined

二：每小时建立一个新日志
CustomLog "|bin/cronolog logs/access_%Y%m%d%h.log" combined
11.24 静态元素过期时间

当浏览器访问网站时会把静态文件（如图片文件、css、js文件等）缓存到本地电脑，这样下次访问的时候就不用去远程下载了，可以自定义清除该部分缓存的时间，即设定静态元素过期时间。该设置可用于优化网站，特别是公司内网。

配置

编辑虚拟主机配置文件：

[[email protected] ~]# vim /usr/local/apache2.4/conf/extra/httpd-vhosts.conf
……
<VirtualHost :80>
DocumentRoot "/data/wwwroot/111.com"
ServerName 111.com
ServerAlias www.example.com
<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_HOST} !^111.com$
RewriteRule ^/(.)$ http://111.com/$1 [R=301,L]
</IfModule>

<IfModule mod_expires.c>
ExpiresActive on
#打开该功能的开关
ExpiresByType image/gif "access plus 1 days"
ExpiresByType image/jpeg "access plus 24 hours"
ExpiresByType image/png "access plus 24 hours"
ExpiresByType text/css "now plus 2 hour"
ExpiresByType application/x-javascript "now plus 2 hours"
ExpiresByType application/javascript "now plus 2 hours"
ExpiresByType application/x-shockwave-flash "now plus 2 hours"
ExpiresDefault "now plus 0 min"
#以上是定义不同类型的文件缓存的时间
</IfModule>
ErrorLog "logs/111.com-error_log"
SetEnvIf Request_URI "..gif$" img
SetEnvIf Request_URI "..jpg$" img
SetEnvIf Request_URI "..png$" img
SetEnvIf Request_URI "..bmp$" img
SetEnvIf Request_URI "..swf$" img
SetEnvIf Request_URI "..js$" img
SetEnvIf RequestURI ".*.css$" img
CustomLog "|usr/local/apache2.4/bin/rotatelogs -l logs/111.com-access%Y%m%d.log 86400" combined env=!img
#使用rotatelogs工具，以系统时间为基准，每天切割一次日志，并且日志名字格式为“111.com-access_%Y%m%d.log”。
说明： 在配置文件添加mod_expires.c模块内容，其余不变。

检测

检测语法错误：
[[email protected] 111.com]# /usr/local/apache2.4/bin/apachectl -t
Syntax OK

检测Apache配置文件是否开启expire模块：
[[email protected] 111.com]# /usr/local/apache2.4/bin/apachectl -M |grep expires
说明： 在此未检测到expires模块，所以需要编辑Apache配置文件，加载expires模块。

配置Apache，加载expires模块

编辑Apache配置文件：

[[email protected] 111.com]# vim /usr/local/apache2.4/conf/httpd.conf

LoadModule expires_module modules/mod_expires.so

加载配置文件：
[[email protected] 111.com]# /usr/local/apache2.4/bin/apachectl -t
Syntax OK
[[email protected] 111.com]# /usr/local/apache2.4/bin/apachectl graceful

检查模块是否开启：
[[email protected] 111.com]# /usr/local/apache2.4/bin/apachectl -M |grep expires
expires_module (shared)

说明： 输入“/”查找expires模块，并开启加载该模块的命令行（去掉#即可）。

再次检测

[[email protected] 111.com]# curl -x192.168.8.131:80 111.com/baidu.png -I
HTTP/1.1 200 OK
Date: Tue, 01 Aug 2017 10:17:36 GMT
Server: Apache/2.4.27 (Unix) PHP/5.6.30
Last-Modified: Tue, 01 Aug 2017 10:13:45 GMT
ETag: "e7a-555ae670b0840"
Accept-Ranges: bytes
Content-Length: 3706
Cache-Control: max-age=86400
Expires: Wed, 02 Aug 2017 10:17:36 GMT
Content-Type: image/png
说明： 当前时间“Date: Tue, 01 Aug 2017 10:17:36 GMT”，缓存时长“Cache-Control: max-age=86400s”，失效时间“Expires: Wed, 02 Aug 2017 10:17:36 GMT”，即png格式图片缓存时长为1天。

原文地址：http://blog.51cto.com/13242922/2083276

时间： 2024-11-09 01:49:46

Apache优化——日志管理的相关文章

apache访问日志管理

1.访问日志 在之前的虚拟主机配置文件中,有两行日志相关的配置,末尾的combined是日志的格式类型  ErrorLog "logs/111.com-error_log"  CustomLog "logs/111.com-access_log" combined 在apache的主配置文件中定义了如下的日志格式     LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i

CentOS7.4—Apache优化应用二（日志管理）

Apache优化应用二(日志管理)目录第一部分 准备工作第二部分 安装Apache服务第三部分 日志管理一(配置日志分割)第四部分 日志管理二(配置Awstats日志分析软件) 第一部分 准备工作一:服务器:Linux系统-CentOS 7.4:IP地址:192.168.80.10 客户端:以WIN7为例,测试验证结果,与服务器在同一网段:IP地址:192.168.80.2 二:准备压缩包 //apr-1.6.2.tar.gz和apr-util-1.6.0.tar.gz是httpd2.4以后的版

apache的优化-日志轮询、错误页面重定向、压缩功能deflate、客户端缓存expire

1.apache日志轮询 1.1)什么是日志轮询 默认情况下apache的日志是写入到一个文件中的,这对日志的备份和分析造成不便.日志轮询就是可以把apache的日志根据时间进行分开,例如按天轮询:即apache会把当天的日志写入到一个独立的文件中. 1.2)下载并安装日志轮询工具 wget http://cronolog.org/download/cronolog-1.6.2.tar.gz tarzxf cronolog-1.6.2.tar.gz  cdcronolog-1.6.2 ./con

apache日志管理

一.apache日志类型 1.apache日志共分为:访问日志,错误日志 2.日志信息的级别 严重程度 等级  说明 1 emerg 系统不可用 2 alert 需要立即引起注意的情况 3 crit  危急情况 4 error 错误信息 5 warn 警告信息 6 notice 需要引起注意的情况 7 info 一般信息 8 debug 由运行于debug模式的程序输出的信息 说明: 如果用户把错误日志设置成warn级别,则严重程度由1~5的所有错误信息都会被记录下来 二.apache访问日志

apache优化之防盗链，日志拆分，ab压力测试

Apache调优之apache防盗链.日志拆分和ab压力测试 1.apache防盗链 盗链,全称是盗取链接,假如我们的网站有很多好看的图片,别人可以查看我们网站图片的链接,然后应用在他的网站上,这样的话,去访问他的网站,实际上消耗的是我们的流量(因为实际链接在我们这里),这样我们就不得不去配置防盗链,使得别人不能复制我们图片的链接 要实现防盗链,我们就必须先理解盗链的实现原理,提到防盗链的实现原理就不得不从HTTP协议说起,在HTTP协议中,有一个表头字段叫referer,采用URL的格式来表示

Linux之apache优化

Linux之apache优化 一. Apache的优化配置: apache所运行的硬件环境都是对性能影响最大的因素,即使不能对硬件进行升级,也最好给apache一个单独的主机以免受到其他应用的干扰.各个硬件指标中,对性能影响最大的是内存,对于静态内容(图片.javascript文件.css文件等),它决定了apache可以缓存多少内容,它缓存的内容越多,在硬盘上读取内容的机会就越少,大内存可以极大提高静态站点的速度:对动态高负载站点来说,每个请求保存的时间更多一些,apache的mpm模块会为每

从Apache的日志文件收集和提供统计数据（一个Python插件架构的简单实现）

从Apache的日志文件收集和提供统计数据 这一章我们将介绍基于插件程序的架构和实现.作为例子,我们将构建一个分析Apache服务器log文件的框架.这一次我们不再使用单片机的方式来创建,而是改为采用模块化的方式.一旦我们有了一个基本框架,我们就可以为它创建一个插件.这个插件可以基于请求者的地理位置执行分析. 程序的结构和功能 在数据维护和统计收集领域,很难有一个单一的应用程序可以适合多个用户的需求.让我们以分析Apache的web服务器日志文件为例.web服务器接受到的每一个请求都被记录在日志

web站点服务器日志管理及分析

管理Web网站不只是监视Web的速度和Web的内容传送.它不仅要关注服务器每天的吞吐量,还要了解这些Web网站的外来访问,了解网站各页面的访问情况.根据各页面的点击频率来改善网页的内容和质量,提高内容的可读性,以及跟踪包含有商业交易的步骤及管理Web网站"幕后"的数据等. 为了更好地提供WWW服务,监控Web服务器的运行情况.了解网站内容的详细访问状况就显得越来越重要和迫切了.而这些要求都可以通过对Web服务器日志文件的统计和分析来实现.本文将对Web服务器日志分析的原理和技术进行讨论

ELK统一日志管理平台第三篇-logstash grok插件的使用

1. ELK统一日志管理平台第三篇-logstash grok插件的使用   在本篇博文中,主要讲解如下几个知识点和实践经验,供大家参考:   1. 关于JAVA应用程序的日志内容标准规范:   2. 如何使用logstash的grok插件来完成message字段的拆分:   3. 定时删除Es的索引: 1. 关于JAVA应用程序的日志内容标准规范:   最近公司一直在主推ELK这个项目,而我是ELK这个项目的运维人员.所以针对ELK项目会有很多经验输出:由于我们公司的业务系统以JAVA语言开发