统计日志中ip出现的次数

grep -r ‘GET /weixin/weixin_izp/index.html‘ ./chunyun.access.log > ~/access.log

cat access.log |awk ‘{print $1}‘|cut -d, -f3|sort|uniq -c > mycount.log

1.要提取访问量最大的IP,需要先从日志中把IP段提取出来。

$ cat aa.txt |awk -F " " ‘{print $1}‘

127.0.0.1

192.168.1.100

192.168.1.100

192.168.1.100

(PS,此处也可以用cut命令实现。

$ cut -d " " -f 1 aa.txt

127.0.0.1

192.168.1.100

192.168.1.100

192.168.1.100)

2.对IP进行统计,看各IP出现过多少次

$ cat aa.txt |awk -F " " ‘{print $1}‘ |uniq -c

1 127.0.0.1

3 192.168.1.100

(PS:wc -l也可以对行数统计,但统计的是整体的,所有行数。不会分类统计)

3.按IP出现次数从大到小排列

$ cat aa.txt |awk -F " " ‘{print $1}‘ |uniq -c |sort -r

3 192.168.1.100

1 127.0.0.1

sort  | uniq -c | sort -nr | head -10
是计算重复行并且列出重复量最大的N 条记录的基本用法了

时间: 2024-08-27 00:18:09

统计日志中ip出现的次数的相关文章

用python统计日志中IP的数量

引 入 日志文件,是我们记录用户行为的重要手段.而对于不同的用户,我们往往又会根据IP来区分,所以统计日志文件中的IP访问,对于数据分析人员和相关运营专员来说,是一件重要的事情,这里,采用python这门语言来完成这个小功能. 一.分析IP格式 这里只讨论ipv4. 分析IP格式思路有许多,这里我只分析其中一种比较容易理解的. 1) 从分析一个从1~255的数字开始 一个1~255的数细分成以下5个分组. 数字分组 正则表达式表示 1~9 [1-9] 10~99 [1-9][0-9] 100~1

技巧之C#统计字符串中字符出现的次数(转)

方法1.自定义类 class CharNum { private char c; private int num; public char C { get { return c; } } public int Num { get { return num; } set { num = value; } } public CharNum(char ch) { this.c = ch; this.num = 1; } } static void Main(string[] args) { /* */

你用pig分析access_log日志中ip访问次数

环境说明: os版本:rhel5.7 64位 hadoop版本:hadoop-0.20.2 hbase版本:hbase-0.90.5 pig版本:pig-0.9.2 访问日志文件,下载文章中的附件! 日志放在本地目录路径为:/home/hadoop/access_log.txt 日志格式为: 220.181.108.151 - - [31/Jan/2012:00:02:32 +0800] "GET /home.php?mod=space&uid=158&do=album&

Spark 加强版WordCount ,统计日志中文件访问数量

原文地址:http://blog.csdn.net/whzhaochao/article/details/72416956 写在前面 学习Scala和Spark基本语法比较枯燥无味,搞搞简单的实际运用可以有效的加深你对基本知识点的记忆,前面我们完成了最基本的WordCount功能的http://blog.csdn.net/whzhaochao/article/details/72358215,这篇主要是结合实际生产情况编写一个简单的功能,功能就是通过分析CDN或者Nginx的日志文件,统计出访问

python脚本统计日志独立ip

题目: 有如下log文件,请打印出独立IP,并统计独立IP数,打印出访问最多的前5个ip及访问次数: log文件www.log内容类似如下格式: 125.78.48.67 - - [25/Dec/2014:15:31:20 +0800] "GET /logo.jpg HTTP/1.1" 200 5183 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)" 10

Zabbix监控之检测程序日志中错误发生的次数

最近开发人员提了一个新的监控需求,当一个日志文件中出现的错误的次数增加时(日志文件中的错误关键字出现数量增加)则触发报警. 我觉得这是一个无聊的问题,问题之所以无聊,是因为该问题本身就具有局限性(自己给自己挖坑).首先,日志文件不可能无穷的增大,因此当日志文件因为人为维护时发生的任何变化必会触发报警: 其次,通过检测错误关键字或者错误代码的方法也可能不靠谱,例如日志中可能出现一些并不是错误代码但与错误代码相同的数字,因此错误关键字和错误代码需要同时监测: 再如产生日志的进程的重新启动或者挂起,日

操作文件-取出一个60s内log日志中ip访问次数超过100次的ip

import timea=0while True: d={} f = open(r"/Users/**juan/Downloads/access.log",encoding="utf-8") f.seek(a) for line in f: if line.split() !="": f1=line.split(" ")[0] if f1 not in d: d[f1]=1 else: d[f1] += 1 a=f.tell(

shell统计文本中单词的出现次数

Ubuntu14.04 给定一个文本,统计其中单词出现的次数 # solution 1 grep与awk配合使用,写成一个sh脚本 fre.sh sh fre.sh wordfretest.txt #! /bin/bash# solution 1 if [ $# -eq 0 ] then echo "Usage:$0 args error" exit 0 fi if [ $# -ge 2 ] then echo "analyse the first file $1"

Python统计列表中元素出现的次数

Python列表可以进行简单的统计,比如list的函数count()可以直接统计元素出现的次数. mylist = [2,2,2,2,2,2,3,3,3,3] myset = set(mylist) #删除列表中的重复元素   print myset    set([2, 3]) for item in myset: print mylist.count(item), " of ", item, " in list" 打印结果: 6 of 2 in list  #