sort+awk+uniq三者结合使用

（1）统计文件中出现次数最多的前10个单词

#ps -ef > ps.file

#cat ps.file | awk ‘{print $1}’ | sort | uniq -c | sort -n -r -k1 | head -10

（2）输出至少出现3次的的单词

# cat ps.file | awk ‘{print $1}‘ | sort | uniq -c | sort -n -r -k1 | awk ‘{if ($1 > 3){print $0} }‘

时间： 2024-08-05 08:12:35

sort+awk+uniq三者结合使用的相关文章

awk, uniq, sort统计日志信息

log基本行为: my mempool new called, return:0xd20c50, size:#32#, cnt:633 需要取所有行的size后面的数值统计数量并排序: cat log| awk -F"#" '{print $2}'|sort -n|uniq -c|sort -rn sort -n: 按数值排序 uniq -c: 统计数据,把相同行合并,前面是相同行的数量 sort -rn: 再次按数值反向排序(最大值放前面)

Shell脚本三剑客（awk、sort、uniq）内含多个小Demo

awk工具 在Linux/UNIX系统中,awk是一个功能强大的编辑工具,逐行读取输入文本,并根据指定的匹配模式进行查找,对符合条件的内容进行格式化输出或者过滤处理,可以再无交互的情况下实现相当复杂的文本操作,被广泛应用于Shell脚本,完成各种自动化配置任务. 1.awk常见用法:通常情况下 awk 所使用的命令格式如下所示,其中,单引号加上大括号"{}"用于设置对数据进行的处理动作.awk 可以直接处理目标文件,也可以通过"-f"读取脚本对目标文件进行处理. D

日志分析查看——grep,sed,sort,awk运用

概述 我们日常应用中都离不开日志.可以说日志是我们在排查问题的一个重要依据.但是日志并不是写了就好了,当你想查看日志的时候,你会发现线上日志堆积的长度已经超越了你一行行浏览的耐性的极限了.于是,很有必要通过一些手段来高效地辅助你来快速的从日志中找到你要找的问题.本文通过一个从项目中衍生出来的例子从查找日志,筛选日志和统计日志3个方面层层递进来简述日志文件查看中一些有用的手段.(注:在linux环境下) 目录 0.查找关键日志grep 1.查找关键日志grep 2.精简日志内容 sed 3.对记录

Linux 去重 先sort再uniq

从uniq命令的帮助信息中可以看到,该命令只过滤相邻的重复行． 如果要去掉所有重复行,需要先排序,或者使用uniq -u $ uniq --h Usage: uniq [OPTION]... [INPUT [OUTPUT]] Filter adjacent matching lines from INPUT (or standard input), writing to OUTPUT (or standard output). With no options, matching lines ar

grep,sed,sort,awk运用

概述 我们日常应用中都离不开日志.可以说日志是我们在排查问题的一个重要依据.但是日志并不是写了就好了,当你想查看日志的时候,你会发现线上日志堆积的长度已经超越了你一行行浏览的耐性的极限了.于是,很有必要通过一些手段来高效地辅助你来快速的从日志中找到你要找的问题.本文通过一个从项目中衍生出来的例子从查找日志,筛选日志和统计日志3个方面层层递进来简述日志文件查看中一些有用的手段.(注:在linux环境下) 目录 0.查找关键日志grep 1.查找关键日志grep 2.精简日志内容 sed 3.对记录

xargs、sort、uniq命令

xargs.sort.uniq命令,我们由LeetCode的一道题来引入,并使用加以理解: 题目是这样的:写一个 bash 脚本以统计一个文本文件 words.txt 中每个单词出现的频率. words.txt的内容为: the day is sunny the the the sunny is is 1.cat words.txt | sort 来看下会是什么效果 [[email protected] tmp]# cat words.txt | sort the day is sunny th

几个常用文本处理小工具tr ，wc，cut，sort，uniq用法详解

几个文本处理的小工具:tr ,wc,cut,sort,uniq 1. tr命令可以对来自标准输入的字符进行替换.压缩和删除.它可以将一组字符变成另一组字符,经常用来编写优美的单行命令,作用很强大. 语法:tr 选项  SET1 SET2 -c或--complerment:取代所有不属于第一字符集的字符(就是补集): -d或--delete:删除所有属于第一字符集的字符: -s或--squeeze-repeats:把连续重复的字符以单独一个字符表示: -t或--truncate-set1:先删除第

sort，uniq，cut常用指令

sort: 排序所有指定文件并将结果写到标准输出. -u:去除重复行 -r:反向排序 -n:数值排序从小到大 -t:指定分段的符号 -k:指定的第几个段 -b:忽略所有空白行  [[email protected] ~]# sort Andy.txt 1 2 2 34 56 accp benet I'm sorry, Mr. Three pineapple Two watermelon Water on the refrigerator [[email protected] ~]# sort -

sort、uniq、wc

sort sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出.如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序. sort语法 [[email protected] ~]# sort [-fbMnrtuk] [file or stdin] 选项与参数: -f :忽略大小写的差异,例如 A 与 a 视为编码相同: -b :忽略最前面的空格符部分: -M :以月份的名字来排序,例如 JAN, DEC 等等的排序方法: -n :使