日志查找排序统计

背景:查找10万个请求中,异常返回的请求get 1是否与省份有关?集中在部分省份还是所有省份?

命令:head -n 100000 test.log|grep  "get 1" |awk ‘{print $8}‘|cut -d = -f 3|sort|uniq -c|sort -r

1、head -n 100000 test.log:显示test.log中开头的10万行

延伸阅读转载:https://www.cnblogs.com/zdz8207/p/linux-log-tail-cat-tac.html

https://blog.csdn.net/qq_28286027/article/details/81121473

https://www.cnblogs.com/kbkiss/p/7567725.html

linux查看日志文件命令,tail、cat、tac、head、echo、sed;第二类:进入vim编辑器中查找

应用场景一:按行号查看---过滤出关键字附近的日志

应用场景二:根据日期查询日志

应用场景三:日志内容特别多,打印在屏幕上不方便查看

2、grep  "get 1" |awk ‘{print $8}‘|cut -d = -f 3|sort|uniq -c|sort -r:过滤出异常请求,取数据所在列,用“=”分割取到具体数值,(注:uniq得和sort并用)排序去重统计,再按照统计数排序,最终效果

转载:https://www.cnblogs.com/maybe2030/p/5325530.html#_label0

Linux文本操作命令,包括wc(统计)、cut(切分)、sort(排序)、uniq(去重)、grep(查找)、sed(替换、插入、删除)、awk(文本分析)

原文地址:https://www.cnblogs.com/hehe735845436/p/10586698.html

时间: 2024-10-10 00:56:48

日志查找排序统计的相关文章

C++提高5 STL算法 :查找,统计,排序,拷贝,替换,算术,集合 |STL 案例:学校演讲比赛介绍

[本文谢绝转载] <大纲> STL 算法 查找算法 adjacent_find()查找容器中重复元素的首地址 distance()根据迭代器,返回元素的下标 binary_search()二分查找:在有序的序列 find   查找函数 find_if 自定义查找函数 统计算法 count 返回容器中相同元素的个数 cout_if 统计大于3的元素个数 排序算法 marge()对两个有序容器组合到另一个容器 sort 自定义排序 random_shuffle 随机洗牌 基本数据类型 random

List集合元素的计算、排序、查找、统计

引入:针对List元素的计算.排序.查找.统计. 1)计算(max,min,sum) 示例1: list01=[45, 90, 123, 987, -18, 78, 96] print("list01的最小值:",min(list01)) print("list01的最大值:",max(list01)) print("list01所有元素的和:%d"%sum(list01)) 示例2: list02=["Abby", &quo

老男孩教育每日一题-2017年4月26日-通过访问日志access.log统计IP和每个地址访问的次数

通过访问日志access.log统计IP和每个地址访问的次数 101.226.61.184 - - [22/Nov/2015:11:02:00 +0800] "GET /mobile/sea-modules/gallery/zepto/1.1.3/zepto.js HTTP/1.1" 200 24662 "http://m.oldboyedu.com/mobile/theme/oldboyedu/home/index.html" "Mozilla/5.0 

[cocos2dx]利用NDK崩溃日志查找BUG

摘要: 在android上开发c++应用, crash日志都是汇编码, 很难对应到c++代码中去. 通过此文, 你可以定位到程序崩溃时的C++代码, 精确查找问题. 博客: http://www.cnblogs.com/jhzhu 邮箱: [email protected] 作者: 知明所以 时间: 2014-06-20 背景介绍 本文主要内容: 利用android的crash log来对c++开发的android应用进行错误定位. 容易稳定复现的BUG, 一般可以通过断点调试来解决. 如果测试

NBUT 1118 Marisa&#39;s Affair (排序统计,水)

题意:每行给出一个人名和一个int值,人名可重复出现.要求对同一个人名统计int值,最大的先输出,若相同,则按照人名出现次数,若再相同,则按照人名字典序. 思路:输入完全部进行排序,写个比较函数传进去sort即可. 1 #include <bits/stdc++.h> 2 using namespace std; 3 4 struct node 5 { 6 char nam[22]; 7 int lik; 8 int tim; 9 }a[5500]; 10 11 map<string,

海量日志数据如何处理统计?

项目需要做一个dashboard图表网站,展示日志的相关统计信息.这个页面图表很多,一次性会加载出很多数据. 日志表有很多种,都是一些入侵攻击日志.恶意站点访问日志等等,需要统计出当前时间.过去24小时.过去一周被攻击主机个数.恶意站点数(这是其中两个需求)等等数据. 比如被攻击主机个数,需要查多张数据表,然后统计出这个数据. 日志存储在PostgreSQL里面,已经基于时间做了分表,但是每天的的日志量都在100W以上. 写入数据库的模式是随时从其他的系统中写入. 根据这个应用场景,如果设计这个

NBUT 1114 Alice&#39;s Puppets(排序统计,水)

题意:给一棵人名树,按层输出,同层则按名字的字典序输出. 思路:首先对每个人名做索引,确定其在哪一层,按层装进一个set,再按层输出就自动排好序了. 1 #include <bits/stdc++.h> 2 using namespace std; 3 vector< set<string> > ord; //每层一个set,自动按照字典序排好了 4 map<string,int> mapp; //作哈希用 5 6 int main() 7 { 8 //fr

常用查找排序算法

1.折半查找算法: 对于一个已排好序的数组,若要查找某元素是否属于数组中,则可以用这种算法. 返回找到的元素在数组中的下标,找不到则返回-1 #include <stdio.h> #define LEN 8 int a[LEN] = { 1, 3, 3, 3, 4, 5, 6, 7 }; int binarysearch(int number) { int mid, start = 0, end = LEN - 1; while (start <= end) { mid = (start

&lt;1&gt;Linux日志查找方法

Linux日志查找方法 适用于测试,开发,运维人员,用来查找Linux服务器问题的一般方法,比较实用,如果有更好的办法可以一块讨论,欢迎大神们来指导哈!!! 进入正题 第一步.通过Xshell登录服务器 链接方法—找度娘.开发同事#最好是自己找度娘,自给自足丰衣足食嘛账号.密码—找技术老大 第二步.进入log日志目录 使用到另个命令:ll.cd 第三步.将含有关键字的日志保存到新的文本 使用到cat.grep命令 cat –n 日志名 |grep ‘关键字’  >保存文件名 第四步.下载到本地