linux shell 去重 uniq和sort的区别

sort -u 和 uniq都能起到删除重复信息的功能，那么他们的区别究竟在哪呢？
$ cat test
jason
jason
jason
fffff
jason

下面分别执行三个命令

1：sort -u test

sort -u test
fffff
jason

2: uniq test

$uniq test
jason
fffff
jason

3: sort test|uniq

$sort test |uniq
fffff
jason

从上面三个命令我们很容易看出他们之间的区别。uniq所谓的重复是连续出现的相同记录

时间： 2024-08-28 17:44:03

linux shell 去重 uniq和sort的区别的相关文章

Linux Shell常用技巧(六) sort uniq tar split

Linux Shell常用技巧(六) sort uniq tar split 十二. 行的排序命令sort: 1. sort命令行选项: 选项描述 -t 字段之间的分隔符 -f 基于字符排序时忽略大小写 -k 定义排序的域字段,或者是基于域字段的部分数据进行排序 -m 将已排序的输入文件,合并为一个排序后的输出数据流 -n 以整数类型比较字段 -o outfile 将输出写到指定的文件 -r 倒置排序的顺序为由大到小,正常排序为由小到大 -u 只有唯一的记录,丢弃所有具有相同键值的记

Linux 文本去重之命令sort 与

sort [-fbMnrtuk] [file or stdin] 选项与参数: -f :忽略大小写的差异,例如 A 与 a 视为编码相同: -b :忽略最前面的空格符部分: -M :以月份的名字来排序,例如 JAN, DEC 等等的排序方法: -n :使用『纯数字』进行排序(默认是以文字型态来排序的): -r :反向排序: -u :就是 uniq ,相同的数据中,仅出现一行代表: -t :分隔符,默认是用 [tab] 键来分隔: -k :以那个区间 (field) 来进行排序的意思 sort -

shell中uniq与sort -u 两种去重的对别

sort -u 和 uniq都能起到删除重复信息的功能,那么他们的区别究竟在哪呢?$ cat test jasonjasonjasonfffffjason 下面分别执行三个命令 1:sort -u test sort -u testfffffjason 2: uniq test $uniq test jasonfffffjason 3: sort test|uniq $sort test |uniq fffffjason 从上面三个命令我们很容易看出他们之间的区别.un

Linux SHELL中sh和bash的区别

什么是SHELL? shell的中文意思就是贝壳,其实比较类似于我们内核的壳.简而言之就是只要能够操作应用程序的接口都能够称为SHELL.狭义的shell指的是命令行方面的软件,广义的SHELL则包括图形界面. SHELL的版本在鸟哥的私房菜的一书中,介绍了UNIX的版本以及众多的SHELL版本. 早在UNIX年代,发展者众多,所以由于shell依据发展者的不同就有许多版本,比如sh,C SHell,K SHell,还有TCSH等,每一种Shell都各有特点.当然也有我们的bash,bash这

linux shell 中 printf 与 echo的区别

echo echo是非常常用的shell命令.参数如下: -e:打开反斜杠字符backslash-escaped的解析,即对/n,/t等字符进行解析,而不视之为两个字符 -E:关闭反斜杠字符的解析,/n作为两个字符,这是系统缺省模式 -n:删除最后的换行 /a : 发出警告铃音(ALERT or CTRL-G (bell)) /b : 退格(BACKSPACE or CTRL-H ) /c : 删除最后的字符及最后的换行(Omit final NEWLINE ) /e : 删除后面的一

linux shell 管道命令(pipe)使用及与shell重定向区别

linux shell 管道命令(pipe)使用及与shell重定向区别看了前面一节:linux shell数据重定向(输入重定向与输出重定向)详细分析估计还有一些朋友是头晕晕的,好复杂的重定向了.这次我们看下管道命令了.shell管道,可以说用法就简单多了. 管道命令操作符是:"|",它仅能处理经由前面一个指令传出的正确输出信息,也就是 standard output 的信息,对于 stdandard error 信息没有直接处理能力.然后,传递给下一个命令,作为标准的输入 st

Shell编程之正则表达式——sort，uniq工具

sort概述 sort 是一个以行为单位对文件内容进行排序的工具,也可以根据不同的数据类型来排序.例如数据和字符的牌局就不一样.sort 命令的语法为"sort [选项] 参数",其中常用的选项包括以下几种. -f:忽略大小写: -b:忽略每行前面的空格: -M:按照月份进行排序: -n:按照数字进行排序: -r:反向排序: -u:等同于 uniq,表示相同的数据仅显示一行: -t:指定分隔符,默认使用[Tab]键分隔: -o <输出文件>:将排序后的结果转存至指定文件:

Linux Shell sort 指定排序第几列

ip.txt 里存储着ip信息统计排序后取前10条 awk '{cnt[$1]++} END{for (ip in cnt) print ip":"cnt[ip]}' ip.txt | sort -k 2 -rn -t":" | head -n 10 awk '{cnt[$1]++} END{for (ip in cnt) print cnt[ip],ip}' ip.txt | sort -rn | head -n 10 sort -k 根据第几列排序 -n

linux shell中'',""和``的区别

今天学习一个bash脚本,看到有一条:bin=`dirname "$0"` (dirname filename是输出该文件所在的目录,$0是该bash文件的文件名,在bash中一般使用cd `dirname $0`进入该脚本所在的目录中) 我尝试着cat $bin 输出是:. 然后我将反引号``去掉:bin=dirname "$0" 在运行cat $bin后报错. 网上查了一些bash的单引号'',双引号""和反引号``的区别. 单引号''和双引