统计分析日志

已知 nginx 访问的日志文件在 /usr/local/nginx/logs/access.log 内，请统计下早上 10 点到 12 点来访 ip 最多的是哪个?

日志样例：

111.199.186.68 - [15/Sep/2017:09:58:37 +0800]  "//plugin.php?id=security:job" 200 "POST //plugin.php?id=security:job HTTP/1.1""http://a.lishiming.net/forum.php?mod=viewthread&tid=11338&extra=page%3D1%26filter%3Dauthor%26orderby%3Ddateline" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3141.7 Safari/537.36" "0.516"

203.208.60.208 - [15/Sep/2017:09:58:46 +0800] "/misc.php?mod=patch&action=ipnotice&_r=0.05560809863330207&inajax=1&ajaxtarget=ip_notice" 200 "GET /misc.php?mod=patch&action=ipnotice&_r=0.05560809863330207&inajax=1&ajaxtarget=ip_notice HTTP/1.1""http://a.lishiming.net/forum.php?mod=forumdisplay&fid=65&filter=author&orderby=dateline" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3141.7 Safari/537.36" "0.065"

grep ‘15/Sep/2017:1[0-2]:[0-5][0-9]:‘ /usr/local/nginx/logs/access.log|awk ‘{print $1}‘|sort -n|uniq -c |tail -n1
时间： 2024-10-31 04:06:37

统计分析日志的相关文章

hadoop MR 统计分析日志脚本一例

#! /bin/sh ############################ #split today and yesterday for i in $(seq 10) do echo " " >> /u1/hadoop-stat/stat.log done echo "begin["`date "+%Y-%m-%d" -d "-1 days"`"]" >> /u1/hadoop-

第三方推送-个推使用

个推的使用在Android客户端相对来说使用比较简单,已经提供了sdk Demo,按照文档和Demo配置相关代码就可以.下图为推送的示意图 客户端需要区分通知和透传的使用,根据需求告诉服务端选择不同的模板 服务端注意的东西相对来说比较多: 个推每天的消息推送量数以亿计,统计分析日志时,经常可以从日志规律发现调用方的一些使用误区,今天提几点开发者在使用个推api时易出现的几个误区. 误区一 推送选错接口 个推服务端adk提供给开发者三个推送接口:pushMessageToSingle/ pushM

浅谈SDN架构下的运维工作

导读 目前国内的网络运维还处于初级阶段,工作人员每天就像救火一样,天天疲于奔命.运维人员只能埋头查找系统运行的日志,耗时耗力,老眼昏花不说,有时候忙了半天还一无所获,作为运维工程师的你,有木有遇到过类似苦逼的经历? 目前国内的网络运维还处于初级阶段,工作人员每天就像救火一样,天天疲于奔命."什么破网络怎么又断了","我去,服务器宕机啊","这个网速慢的跟乌龟爬的一样",这些埋怨声每天都在运维人员耳边回荡.运维人员只能埋头查找系统运行的日志,耗时耗

网站数据统计分析中的日志收集原理及其实现

> 网站数据统计分析工具是网站站长和运营人员经常使用的一种工具,比较常用的有谷歌分析.百度统计 和 腾讯分析等等.所有这些统计分析工具的第一步都是网站访问数据的收集.目前主流的数据收集方式基本都是基于javascript的.本文将简要分析这种数据收集的原理,并一步一步实际搭建一个实际的数据收集系统. 1.数据收集原理分析 简单来说,网站统计分析工具需要收集到用户浏览目标网站的行为(如打开某网页.点击某按钮.将商品加入购物车等)及行为附加数据(如某下单行为产生的订单金额等).早期的网站统计往往只收

Nginx Access Log日志统计分析常用命令

Nginx Access Log日志统计分析常用命令 Nginx Access Log日志统计分析常用命令 IP相关统计 统计IP访问量 awk '{print $1}' access.log | sort -n | uniq | wc -l 查看某一时间段的IP访问量(4-5点) grep "07/Apr/2017:0[4-5]" access.log | awk '{print $1}' | sort | uniq -c| sort -nr | wc -l 查看访问最频繁的前100

Hadoop学习笔记—20.网站日志分析项目案例（三）统计分析

网站日志分析项目案例(一)项目介绍:http://www.cnblogs.com/edisonchou/p/4449082.html 网站日志分析项目案例(二)数据清洗:http://www.cnblogs.com/edisonchou/p/4458219.html 网站日志分析项目案例(三)统计分析:当前页面 一.借助Hive进行统计 1.1 准备工作:建立分区表 为了能够借助Hive进行统计分析,首先我们需要将清洗后的数据存入Hive中,那么我们需要先建立一张表.这里我们选择分区表,以日期作

Windows事件日志写入SQL Server并PowerBI统计分析

在这里我准备了2台系统,一个Windows Server 2012 R2的域控服务器DC01,一台SQL on CentOS7的SQL数据库服务器 首先我使用SQL Manager Studio连接到SQL数据库服务器创建需要存放Windows转发事件日志的数据库"EventCollections" CREATE DATABASE EventCollections GO USE EventCollections GO -- the table name loosely relates

转 Nginx Access Log日志统计分析常用命令

Nginx Access Log日志统计分析常用命令Nginx Access Log日志统计分析常用命令IP相关统计 统计IP访问量 awk '{print $1}' access.log | sort -n | uniq | wc -l 查看某一时间段的IP访问量(4-5点) grep "07/Apr/2017:0[4-5]" access.log | awk '{print $1}' | sort | uniq -c| sort -nr | wc -l 查看某个时间点的IP访问量(

网站数据统计分析之一：日志收集原理及其实现

网站数据统计分析工具是网站站长和运营人员经常使用的一种工具,比较常用的有谷歌分析.百度统计 和 腾讯分析等等.所有这些统计分析工具的第一步都是网站访问数据的收集.目前主流的数据收集方式基本都是基于javascript的.本文将简要分析这种数据收集的原理,并一步一步实际搭建一个实际的数据收集系统. 注:从上图中可以看出,一个统计分析平台架构的挑战来自以下 5 个: (1)日志采集.(2)元数据管理.(3)业务数据建模.(4)任务调度.(5)OLAP引擎 1.数据收集原理分析 简单来说,网站统计分析