uniq

说明：只能用于排过序的数据输入，或者与sort配合使用。（下面的文件都是经过排序处理的文件或者未排序文件配合sort使用）

  • uniq file：去除重复行数据（sort file | uniq）
  • uniq -u file：显示没有重复的行数据（sort file | uniq -u）
  • uniq -c file：统计重复次数（sort file | uniq -c）
  • uniq -d file：显示重复的行数据（sort file | uniq -d）
  • uniq -s n：跳过前n个字符
  • uniq -w n：最多比较n个字符
时间： 2024-08-08 01:18:33

uniq的相关文章

uniq命令

uniq命令需要和sort命令结合到一起使用 -c:排序后统每行出现的次数 -u:排序后显示不重复的行 -d:排序后显示重复的行 -i:忽略大小写

linux命令-sed,uniq,cut,wc

sort sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出.如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序. sort语法 [[email protected] ~]# sort [-fbMnrtuk] [file or stdin] 选项与参数: -f :忽略大小写的差异,例如 A 与 a 视为编码相同: -b :忽略最前面的空格符部分: -M :以月份的名字来排序,例如 JAN, DEC 等等的排序方法: -n :使

sort+awk+uniq三者结合使用

(1)统计文件中出现次数最多的前10个单词 #ps -ef > ps.file #cat ps.file | awk ‘{print $1}’ | sort | uniq -c | sort -n -r -k1 | head -10 (2)输出至少出现3次的的单词 # cat ps.file | awk '{print $1}' | sort | uniq -c | sort -n -r -k1 | awk '{if ($1 > 3){print $0} }'

几个常用文本处理小工具tr ，wc，cut，sort，uniq用法详解

几个文本处理的小工具:tr ,wc,cut,sort,uniq 1. tr命令可以对来自标准输入的字符进行替换.压缩和删除.它可以将一组字符变成另一组字符,经常用来编写优美的单行命令,作用很强大. 语法:tr 选项  SET1 SET2 -c或--complerment:取代所有不属于第一字符集的字符(就是补集): -d或--delete:删除所有属于第一字符集的字符: -s或--squeeze-repeats:把连续重复的字符以单独一个字符表示: -t或--truncate-set1:先删除第

Linux之uniq命令

uniq - report or omit repeated lines  省去重复的行 参数: -i  忽略大小写字符的不同 -c  对重复的行进行记数 注意:uniq命令只会对相邻的重复的行进行去重,所以uniq常常和sort命令一起用,sort命令可将重复的行排在一起,然后使用uniq进行重复数统计 [[email protected] test]# cat c.txt a a b a a a b b b d b [[email protected] test]# cat c.txt |u

Linux的uniq和diff命令

有两个有用的文件内容相关的命令,这里复习脑补一下. uniq命令 uniq [选项] 文件 说明:这个命令读取输入文件,并比较相邻的行.在正常情况下,第二个及以后更多个重复行将被删去,行比较是根据所用字符集的排序序列进行的.该命令加工后的结果写到输出文件中.输入文件和输出文件必须不同.如果输入文件用"- "表示,则从标准输入读取. 该命令各选项含义如下:. – c 显示输出中,在每行行首加上本行在文件中出现的次数.它可取代- u和- d选项. – d 只显示重复行. – u 只显示文件

6 shell命令之sort,uniq

sort用来排序,uniq用来去重,这两个命令经常被结合在一起使用.主要就是因为uniq去重的前提是文本必须排好序才可以. 当然字面上面理解,这两个命令的确是这样的功能.但是其实不然,他们还有相关的其它能力.一起来看看. sort [option] filename ...    对filename指定的文件进行排序相关的操作. option常用的包括: -b   忽略最前面的空格. -c   检查是否已经排序,结果通过$?来查看 -n   按数字进行排序 -d   字典排序. -M   月份排

sort，uniq，cut常用指令

sort: 排序所有指定文件并将结果写到标准输出. -u:去除重复行 -r:反向排序 -n:数值排序从小到大 -t:指定分段的符号 -k:指定的第几个段 -b:忽略所有空白行  [[email protected] ~]# sort Andy.txt 1 2 2 34 56 accp benet I'm sorry, Mr. Three pineapple Two watermelon Water on the refrigerator [[email protected] ~]# sort -

sort、uniq、wc

sort sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出.如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序. sort语法 [[email protected] ~]# sort [-fbMnrtuk] [file or stdin] 选项与参数: -f :忽略大小写的差异,例如 A 与 a 视为编码相同: -b :忽略最前面的空格符部分: -M :以月份的名字来排序,例如 JAN, DEC 等等的排序方法: -n :使

sort,uniq,cut,wc命令详解

sortsort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出.如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序. sort语法 sort [-fbMnrtuk] [file or stdin]选项与参数:-f  :忽略大小写的差异,例如 A 与 a 视为编码相同:-b  :忽略最前面的空格符部分:-M  :以月份的名字来排序,例如 JAN, DEC 等等的排序方法:-n  :使用『纯数字』进行排序(默认是以文字型态来排序的):