web访问日志分析

关于web访问日志相信很多人一看都是表示一脸懵逼，这里我就给各位小伙伴分享一下。

一般的访问日志都是access.log但是具体的不一样还是要看你的web配置文件。

这是我截取了我日志的最后一行

日志：

10.0.0.1 - - [22/Nov/2015:11:02:00 +0800] "GET /mobile/sea-modules/gallery/zepto/1.1.3/zepto.js HTTP/1.1" 200 24662 "http://shuai12138.blog.51cto.com/" "Mozilla/5.0 (Linux; U; Android 5.1.1; zh-cn; HUAWEI CRR-UL00 Build/HUAWEICRR-UL00) AppleWebKit/533.1 (KHTML, like Gecko)Version/4.0 MQQBrowser/5.4 TBS/025478 Mobile Safari/533.1 MicroMessenger/6.3.7.51_rbb7fa12.660 NetType/3gnet Language/zh_CN"

分析

第一步：首先我们把这个日志拆分开来

[[email protected] log]# head  -1 access.log | tr "\"" "\n"

10.0.0.1 - - [22/Nov/2015:11:02:00 +0800]

GET /mobile/sea-modules/gallery/zepto/1.1.3/zepto.js HTTP/1.1

200 24662

http://shuai12138.blog.51cto.com/

Mozilla/5.0 (Linux; U; Android 5.1.1; zh-cn; HUAWEI CRR-UL00 Build/HUAWEICRR-UL00) AppleWebKit/533.1 (KHTML, like Gecko)Version/4.0 MQQBrowser/5.4 TBS/025478 Mobile Safari/533.1 MicroMessenger/6.3.7.51_rbb7fa12.660 NetType/3gnet Language/zh_CN

第二步分析：

10.0.0.1

这是IP访问用户

- - [22/Nov/2015:11:02:00 +0800]

这是访客访问该资源的时间（Date），-0600是该时间所对应的时区，即与格林威治时间相差-6个小时

GET /mobile/sea-modules/gallery/zepto/1.1.3/zepto.js HTTP/1.1

以GET方式，按照HTTP/1.1协议获取网mobile/sea-modules/gallery/zepto/1.1.3/zepto.js

200 24662

这个就是一个系统的返回状态码200代表正常。

http://shuai12138.blog.51cto.com/

这个代表用户访问的网页。

Mozilla/5.0 (Linux; U; Android 5.1.1; zh-cn; HUAWEI CRR-UL00 Build/HUAWEICRR-UL00) AppleWebKit/533.1 (KHTML, like Gecko)Version/4.0 MQQBrowser/5.4 TBS/025478 Mobile Safari/533.1 MicroMessenger/6.3.7.51_rbb7fa12.660 NetType/3gnet Language/zh_CN

这个则是关于用户的浏览器类型了，比如这个就可以看到用户是android手机，华为crr-ul00型号等。

现在再看是不是觉得好简单。哈哈。

这次分享就到这里了，感谢大家。

时间： 2024-08-08 09:40:24

web访问日志分析的相关文章

今晚九点|如何使用 Python 分析 web 访问日志？

主题:如何使用 Python 分析 Web 访问日志 内容 Python 基础 字符串.字典.文件.时间 Web 访问日志 实战 提问 主讲师:KK 多语言混搭工程师,热爱开源技术,喜欢GET新技能,5年 PHP.Python 项目开发经验,带领团队完成多个中.小型项目开发,对安全.云等多个领域富有浓厚兴趣,擅长于 WEB 安全开发.性能优化.分布式应用开发&设计等多方面,做事认真负责,乐于分享技能,现任 51Reboot.com Python 实战班讲师 任何语言都有使用场景,只有合适和不合适

Python分析web访问日志

通用日志格式127.0.0.1 - - [14/May/2017:12:45:29 +0800] "GET /index.html HTTP/1.1" 200 4286远程 - - 主机 IP 请求时间 时区 方法 资源 协议 状态码 发送字节 组合日志格式127.0.0.1 - - [14/May/2017:12:51:13 +0800] "GET /index.html HTTP/1.1" 200 4286 "http://127.0.0.1/&quo

干货|可视化分析 web 访问日志

内容目录 Python 基础 使用模块介绍 可视化组件 echarts 介绍 Web 访问日志 代码解读 讲师:KK 多语言混搭开发工程师,多年 PHP.Python 项目开发经验,曾就职 360.绿盟科技,7年工作经验.擅长于 Web 安全开发.性能优化.分布式应用开发&设计等多方面,51Reboot 金牌讲师. Python 基础 数值.字符串.列表.字典.文件的使用 with 关键字使用 函数.lambda 函数.sorted 时间类型转化 时间类型转化 统计 list 中每个元素出现的次

iptables+rsyslog(syslog)+logrotate访问日志分析

最近,因为相应的业务需求需要对服务器的相应服务做访问分析,在做之前大致思考了下,可以利用iptables的log日志功能用来做相应的日志分析,在此就以做ssh端口访问做日志分析来简单讲解下,在实际生产环境下也可以根据实际情况调整,可以用来做WEB服务等等的相应的访问日志分析. 首先,在使用日志分析之前最重要的就是iptables的log功能,至于iptables中的log功能使用 也很简单,在开启后会把日志写入/var/log/messages内核日志中,而iptables的日志功能使用的几个参

Nginx 访问日志分析

0:Nginx日志格式配置 # vim nginx.conf ## # Logging Settings ## log_format access '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent $request_body "$http_referer" ' '"$http_user_agent" "$http_x_for

五、基于hadoop的nginx访问日志分析--userAgent和spider

useragent: 代码(不包含蜘蛛): # cat top_10_useragent.py #!/usr/bin/env python # coding=utf-8 from mrjob.job import MRJob from mrjob.step import MRStep from nginx_accesslog_parser import NginxLineParser import heapq class UserAgent(MRJob): nginx_line_parser =

二、基于hadoop的nginx访问日志分析---计算日pv

代码: # pv_day.py#!/usr/bin/env python # coding=utf-8 from mrjob.job import MRJob from nginx_accesslog_parser import NginxLineParser class PvDay(MRJob): nginx_line_parser = NginxLineParser() def mapper(self, _, line): self.nginx_line_parser.parse(line)

三、基于hadoop的nginx访问日志分析--计算时刻pv

代码: # cat pv_hour.py #!/usr/bin/env python # coding=utf-8 from mrjob.job import MRJob from nginx_accesslog_parser import NginxLineParser class PvDay(MRJob): nginx_line_parser = NginxLineParser() def mapper(self, _, line): self.nginx_line_parser.parse

查看web访问日志各url shell

[email protected]:~/Workspace# awk ' { if(match($7,"/*\.php*")) { if(index($7,"?")) { print substr($7,0,index($7,"?")) } else { print $7; } } } ' access.log | sort -d | uniq -c 8 /allinone_beta_02/dma_14/index.php 641 /allino