Linux命令之uniq

uniq 去除重复行

-c 去除重复行，并统计每行出现的次数
-d 只显示重复行
-u 只显示唯一的行

uniq只能去除连续出现的重复行，所以需要sort排序后使用

查看测试文件内容：
[[email protected] tmp]# cat uniq.txt
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
news:x:9:13:news:/etc/news:

1 直接使用sort ，会只去除连续的行

2 sort后，在uniq

3 去除重复行并统计

  [[email protected] tmp]# sort uniq.txt |uniq -c
  1 adm:x:3:4:adm:/var/adm:/sbin/nologin
  1 bin:x:1:1:bin:/bin:/sbin/nologin
  1 daemon:x:2:2:daemon:/sbin:/sbin/nologin
  1 halt:x:7:0:halt:/sbin:/sbin/halt
  1 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
  1 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
  1 news:x:9:13:news:/etc/news:
  6 root:x:0:0:root:/root:/bin/bash
  1 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
  1 sync:x:5:0:sync:/sbin:/bin/sync

总结：uniq不能单独使用，必须和sort一起使用

原文地址：http://blog.51cto.com/shaiyawu/2132331

时间： 2024-10-10 05:57:17

Linux命令之uniq的相关文章

Linux命令总结--uniq命令

Linux uniq 命令 Linux 命令大全 Linux uniq 命令用于检查及删除文本文件中重复出现的行列,一般与 sort 命令结合使用. uniq 可检查文本文件中重复出现的行列. 语法 uniq [-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][--help][--version][输入文件][输出文件] 参数: -c或--count 在每列旁边显示该行重复出现的次数. -d或--repeated 仅显示重复出现的行列. -f<栏

linux命令-sed,uniq,cut,wc

sort sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出.如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序. sort语法 [[email protected] ~]# sort [-fbMnrtuk] [file or stdin] 选项与参数: -f :忽略大小写的差异,例如 A 与 a 视为编码相同: -b :忽略最前面的空格符部分: -M :以月份的名字来排序,例如 JAN, DEC 等等的排序方法: -n :使

Linux命令：uniq

uniq命令简介: 此个命令读取输入文件,并比较相邻的行. 1．命令格式: uniq [OPTION]... [INPUT [OUTPUT]] 2．命令功能: 第二个及以后更多个重复行将被删去,行比较是根据所用字符集的排序序列进行的.该命令加工后的结果写到输出文件中.输入文件和输出文件必须不同.如果输入文件用"-  "表示,则从标准输入读取. 3．命令参数: – c 显示输出中,在每行行首加上本行在文件中出现的次数.它可取代- u和- d选项. – d 只显示重复行. – u 只显示文

日志快速筛选 之 linux命令grep|uniq|wc|awk

以前我个人的观念是,在线上运行的东西尽量不要记什么流水日志. 但是后来我变了,发现在线上记日志是一个绝对有必要的东西,尤其是在当下很流行的微服务的推动下,没有日志的帮助,犹如一个睁眼瞎,排查问题基本靠猜,这可不行. 那就打印记录每次的访问日志,尤其是访问接口时的参数及返回数据和耗费时间等,这是对自己将问题抛给上层及性能优化的依据.但是日志量应该是非常大的,一定要注意及时清理. 那么问题来了,当发现问题时,如何快速定位到错误的地方就很重要了. 日志样例如下(某次访问的产生的日志): [2017-0

Linux命令之 uniq

uniq uniq 命令可以去除排序过的文件中的重复行,因此 uniq 经常和 sort 合用.也就是说,为了使 uniq 起作用,所有的重复行必须是相邻的.详细看例一. [email protected]:~/shell#uniq  -[icu] 选项与参数: -i:    忽略大小写字符的不同; -c :    进行计数 -u :    只显示唯一的行 -d:   只显示有重复的行 -s  N:    忽略前面的N个符 例一: #file文件内容 [email protected]:~/sh

Linux 命令 - uniq: 通知或忽略重复行

给定一个已排好序的文件,uniq 会删除重复行并将结果输出到标准输出中.uniq 通常与 sort 结合使用以删除 sort 输出内容中的重复行. 命令格式 uniq [OPTION]... [INPUT [OUTPUT]] 命令参数 -c, --count 输出重复行列表,并且重复行前面加上其出现的次数. -d, --repeated 只输出重复行. -f, --skip-fields=N 忽略每行前 N 个字段.字段以空格隔开,这与 sort 类似,但不能提供参数设置可选择的字段分隔符. -

[Android ] linux命令英文缩写的含义（方便记忆）

du -sh */ reference to : http://blog.chinaunix.net/uid-27164517-id-3299073.html linux常用命令的英文单词缩写 命令缩写:ls:list(列出目录内容)cd:Change Directory(改变目录)su:switch user 切换用户rpm:redhat package manager 红帽子打包管理器pwd:print work directory 打印当前目录 显示出当前工作目录的绝对路径ps: proc

十年linux命令总结

十年linux命令总结 本文链接: http://codingstandards.iteye.com/blog/786653 关于命令类型划分 本表中列出了我穷尽了我所有的记忆整理出来的Linux命令,其中关于外部命令.关键字或内建命令的划分,不一定正确.有很多命令,既是内建命令也 可能是外部命令,为啥?Bash为了更高效率的执行命令和脚本,把很多外部命令以内建命令的方式实现了.我们使用type这个命令就可以知道一个命令的类 型了,如下所示: [[email protected] ~]# typ

Linux学习记录-----《快乐的Linux命令行》.

之前自学python的时候一直用的Win7,没想过,也有点怕使用Linux,可能人对未知的东西都有点恐惧,但是,但是,学了4个多月,退无可退了,不管是网站的部署,还是基于后端工作的需求,Linux的学习必须提上日程, 参考用书,,, <快乐的Linux命令行>,操作系统通过虚拟机安装的Ubuntu  16 很喜欢书中的一句话 最开始的准备工作进入超级用户,,,, su -这样,就在当前目录下,变更成超级用户如果之前没有设置过超级用户密码的话需要使用sudo passwd root按照提示,如果