Linux命令:uniq

uniq命令简介:

此个命令读取输入文件,并比较相邻的行。

1.命令格式:

uniq [OPTION]... [INPUT [OUTPUT]]

2.命令功能:

第二个及以后更多个重复行将被删去,行比较是根据所用字符集的排序序列进行的。该命令加工后的结果写到输出文件中。输入文件和输出文件必须不同。如果输入文件用“-  ”表示,则从标准输入读取。

3.命令参数:

– c 显示输出中,在每行行首加上本行在文件中出现的次数。它可取代- u和- d选项。

– d 只显示重复行。

– u 只显示文件中不重复的各行。

– n 前n个字段与每个字段前的空白一起被忽略。一个字段是一个非空格、非制表符的字符串,

彼此由制表符和空格隔开(字段从0开始编号)。

+n   前n个字符被忽略,之前的字符被跳过(字符从0开始编号)。

– f   n 与- n相同,这里n是字段数。

– s   n 与+n相同,这里n是字符数。

4.命令实例:

实例一:uniq test

[[email protected] ~]# cat test
boy took bat home
boy took bat home
girl took bat home
boy took bat home
boy took bat home
dog brought hat home
dog brought hat home
dog brought hat home

uniq命令不加任何参数,仅显示连续重复的行一次

[[email protected] ~]# uniq test
boy took bat home
girl took bat home
boy took bat home
dog brought hat home

实例二:uniq -c test

[[email protected] ~]# uniq -c test
2 boy took bat home
1 girl took bat home
2 boy took bat home
3 dog brought hat home
1

-c 参数显示文件中每行连续出现的次数。

实例三:排序后再显示

[[email protected] ~]# cat test |sort | uniq -c
1
4 boy took bat home
3 dog brought hat home
1 girl took bat home

实例四:显示连续重复出现的行

[[email protected] ~]# uniq -d test
boy took bat home
boy took bat home
dog brought hat home

实例五:显示没有连续出现的行

[[email protected] ~]# uniq -u test
girl took bat home

实例六:忽略每行的前2个字段,忽略第二个空白字符和第三个字段的首字符,结果at home

[[email protected] ~]# cat test
boy took bat home
boy took bat home
girl took bat home
boy took bat home
boy took bat home
dog brought hat home
dog brought hat home
dog brought hat home
[[email protected] ~]# uniq -f 2 -s 2 test
boy took bat home

实例七:忽略每行的第一个字段,这样boy ,girl开头的行看起来是连续重复的行

[[email protected] ~]# uniq -f 1 test
boy took bat home
dog brought hat home

实例八:显示所有重复的行,每个重复的行都显示

[[email protected] ~]# uniq -D test
boy took bat home
boy took bat home
boy took bat home
boy took bat home
dog brought hat home
dog brought hat home
dog brought hat home
时间: 2024-08-04 21:55:45

Linux命令:uniq的相关文章

Linux 命令 - uniq: 通知或忽略重复行

给定一个已排好序的文件,uniq 会删除重复行并将结果输出到标准输出中.uniq 通常与 sort 结合使用以删除 sort 输出内容中的重复行. 命令格式 uniq [OPTION]... [INPUT [OUTPUT]] 命令参数 -c, --count 输出重复行列表,并且重复行前面加上其出现的次数. -d, --repeated 只输出重复行. -f, --skip-fields=N 忽略每行前 N 个字段.字段以空格隔开,这与 sort 类似,但不能提供参数设置可选择的字段分隔符. -

linux命令(12)uniq去重

转载地址:http://blog.51yip.com/shell/1022.html 实例详细说明linux下去除重复行命令uniq 一,uniq干什么用的 文本中的重复行,基本上不是我们所要的,所以就要去除掉.linux下有其他命令可以去除重复行,但是我觉得uniq还是比较方便的一个.使用uniq的时候要注意以下二点 1,对文本操作时,它一般会和sort命令进行组合使用,因为uniq 不会检查重复的行,除非它们是相邻的行.如果您想先对输入排序,使用sort -u. 2,对文本操作时,若域中为先

Linux命令总结--uniq命令

Linux uniq 命令 Linux 命令大全 Linux uniq 命令用于检查及删除文本文件中重复出现的行列,一般与 sort 命令结合使用. uniq 可检查文本文件中重复出现的行列. 语法 uniq [-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][--help][--version][输入文件][输出文件] 参数: -c或--count 在每列旁边显示该行重复出现的次数. -d或--repeated 仅显示重复出现的行列. -f<栏

Linux的uniq和diff命令

有两个有用的文件内容相关的命令,这里复习脑补一下. uniq命令 uniq [选项] 文件 说明:这个命令读取输入文件,并比较相邻的行.在正常情况下,第二个及以后更多个重复行将被删去,行比较是根据所用字符集的排序序列进行的.该命令加工后的结果写到输出文件中.输入文件和输出文件必须不同.如果输入文件用"- "表示,则从标准输入读取. 该命令各选项含义如下:. – c 显示输出中,在每行行首加上本行在文件中出现的次数.它可取代- u和- d选项. – d 只显示重复行. – u 只显示文件

[Android ] linux命令英文缩写的含义(方便记忆)

du -sh */ reference to : http://blog.chinaunix.net/uid-27164517-id-3299073.html linux常用命令的英文单词缩写 命令缩写:ls:list(列出目录内容)cd:Change Directory(改变目录)su:switch user 切换用户rpm:redhat package manager 红帽子打包管理器pwd:print work directory 打印当前目录 显示出当前工作目录的绝对路径ps: proc

十年linux命令总结

十年linux命令总结 本文链接: http://codingstandards.iteye.com/blog/786653 关于命令类型划分 本表中列出了我穷尽了我所有的记忆整理出来的Linux命令,其中关于外部命令.关键字或内建命令的划分,不一定正确.有很多命令,既是内建命令也 可能是外部命令,为啥?Bash为了更高效率的执行命令和脚本,把很多外部命令以内建命令的方式实现了.我们使用type这个命令就可以知道一个命令的类 型了,如下所示: [[email protected] ~]# typ

Linux学习记录-----《快乐的Linux命令行》.

之前自学python的时候一直用的Win7,没想过,也有点怕使用Linux,可能人对未知的东西都有点恐惧,但是,但是,学了4个多月,退无可退了,不管是网站的部署,还是基于后端工作的需求,Linux的学习必须提上日程, 参考用书,,, <快乐的Linux命令行>,操作系统通过虚拟机安装的Ubuntu  16 很喜欢书中的一句话 最开始的准备工作进入超级用户,,,, su -这样,就在当前目录下,变更成超级用户如果之前没有设置过超级用户密码的话需要使用sudo passwd root按照提示,如果

《Linux命令应用大词典》一书,讲述729个命令,1935个例子

<Linux命令应用大词典>涵盖了Linux系统常用的命令,内容涉及基础入门.系统管理.网络管理.网络安全.服务器配置和程序编译等多方面,共计729个命令,1935个例子,内容非常全面.每一个命令都讲述了它的功能描述.命令语法.选项含义和命令实例,内容清晰明了,正所谓一书在手,万事不愁. <Linux命令应用大词典>可以作为读者学习Linux系统的参考书.案头书,遇到不懂的命令或命令选项一查即可:适合Linux爱好者.Linux系统管理工程师.培训机构教师和学生以及高等院校计算机专

最有用的Linux命令行使用技巧集锦

最近在Quora上看到一个问答题目,关于在高效率Linux用户节省时间Tips.将该题目的回答进行学习总结,加上自己的一些经验,记录如下,方便自己和大家参考. 下面介绍的都是一些命令行工具,这些工具在几位回答者的日常工作中都很有用.对于任何不了解的命令,请使用"man <COMMANDNAME>"查看,或者使用Google.有些命令需要先用 yum, apt-get install 命令安装. 1.基本命令 了解基本的bash 通读整个bash man page. 学习VI

每一个程序员需要了解的10个Linux命令

作为一个程序员,在软件开发职业生涯中或多或少会用到Linux系统,并且可能会使用Linux命令来检索需要的信息.本文将为各位开发者分享10个有用的Linux命令,希望对你会有所帮助. 以下就是今天我们要介绍的Linux命令: man touch, cat and less sort and grep cut sed tar find diff uniq chmod 接下来让我们逐一来详细介绍. 1.man命令 第一个你需要知道的Linux命令就是man命令,该命令可以显示指定命令的用法和描述.比