uniq命令注意事项,检查重复行的时候,只会检查相邻的行。

今天在使用uniq命令统计数量时,uniq -c总是得不到想要的效果,相同的行没有合并,例如

后来在http://ju.outofmemory.cn/entry/78365才看到,原来uniq检查重复行的时候,只会检查相邻的行,茅塞顿开。

加上sort命令把各行先排个序,把相同的行放到一起,然后再用uniq就好了:

时间: 2024-10-04 05:17:54

uniq命令注意事项,检查重复行的时候,只会检查相邻的行。的相关文章

[shell基础]——uniq命令

uniq命令常见选项      去除重复行      -u  显示不重复的行      -d  显示有重复的行      -c  打印每一行重复的次数 测试文本内容如下: # cat 4.txt 111 111 2222 2222 3333 3333 4444 (1)uniq# cat 4.txt | uniq 去重复行111222233334444 (2) -u# cat 4.txt | uniq -u 显示不重复的行4444 (3) -d# cat 4.txt | uniq -d 显示重复的

第十三章 对文本进行排序、单一和重复操作:sort命令、uniq命令

第十三章 对文本进行排序.单一和重复操作:sort命令.uniq命令 sort命令 名字解释 sort命令 它将文件进行排序,并将排序结果标准输出.sort命令即可以从特定的文件,也可以从stdin中获取输入. 语法 sort (选项) (参数) 选项 -b:忽略每行前面开始出的空格字符: -c:检查文件是否已经按照顺序排: -d:排序时,处理英文字母.数字及空格字符外,忽略其他的字符: -f:排序时,将小写字母视为大写字母: -i:排序时,除了040-176之间的ASCII字符外,忽略其他的字

linux uniq命令用法

uniq命令: 对指定的ASCII文件或标准输入进行唯一性检查,以判断文本文件中重复出现的行,常用于分析日志:查看tcp各个状态连接数,ip或域名连接数排名等等场景,一般与 sort 命令结合使用. 命令格式: uniq [选项]... [文件1] [文件2] uniq从已经排好序的文本文件file1中删除重复的行,输出到标准输出或file2,常作为过滤器,配合管道试压.在使用uniq命令前,必须确保操作的文本文件已经sort排序了,若不带参数运行uniq,将删除重复的行. 常见参数: [[em

Linux命令总结--uniq命令

Linux uniq 命令 Linux 命令大全 Linux uniq 命令用于检查及删除文本文件中重复出现的行列,一般与 sort 命令结合使用. uniq 可检查文本文件中重复出现的行列. 语法 uniq [-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][--help][--version][输入文件][输出文件] 参数: -c或--count 在每列旁边显示该行重复出现的次数. -d或--repeated 仅显示重复出现的行列. -f<栏

linux sort uniq命令详解

sort 功能说明:将文本文件内容加以排序,sort可针对文本文件的内容,以行为单位来排序. sort [-bcdfimMnr][-o<输出文件>][-t<分隔字符>][+<起始栏位>-<结束栏位>][--help][--verison][文件] -b   忽略每行前面开始处的空格字符 . -c   检查文件是否已经按照顺序排序. -d   排序时,处理英文字母.数字及空格字符外,忽略其他的字符. -f   排序时,将小写字母视为大写字母. -i   排序时

uniq命令

uniq命令需要和sort命令结合到一起使用 -c:排序后统每行出现的次数 -u:排序后显示不重复的行 -d:排序后显示重复的行 -i:忽略大小写

Linux之uniq命令

uniq - report or omit repeated lines  省去重复的行 参数: -i  忽略大小写字符的不同 -c  对重复的行进行记数 注意:uniq命令只会对相邻的重复的行进行去重,所以uniq常常和sort命令一起用,sort命令可将重复的行排在一起,然后使用uniq进行重复数统计 [[email protected] test]# cat c.txt a a b a a a b b b d b [[email protected] test]# cat c.txt |u

Linux uniq命令

200 ? "200px" : this.width)!important;} --> 介绍 uniq命令是一个文本去重命令,它能对标准输入和文本文件进行去重操作,并且能将结果通过stdout输出,uniq命令经常会同sort命令一起使用,uniq命令默认对多条重复的行只显示一行. 参数 -c, --count 在每行记录前显示该行内容的数量 -d, --repeated 仅显示重复的记录行,并且去重 -D, --all-repeated[=delimit-method] 仅显示

linux命令之文件内容定位:sed、uniq命令

sed命令 1.sed -n '2'p  file 只打印 file 文件的第二行. 2.sed -n '1,4'p file 只打印从第一行到第四行得记录. 3.sed -n '/los/'p file 打印匹配los的行. 4.sed -n '4,/los/'p file 打印从第四行到匹配los的之间的所有行. 5.sed '1,2'd file 把第一行和第二行全部删除. uniq命令 1.uniq -c file 打印紧挨的重复行出现的次数. 2.uniq -d file 只打印重复的