cut、sort及uniq工具简介

一、cut工具

1.cut工具在文件中负责剪切数据,以行为一个对象进行处理,在这个点上与工具sed是一样处理机制的。

2.cut用法 ,cut命令主要接受三个定为方法:

(1)按照字节进行剪切,使用选项-b(如下例子)

(2)按照字符进行剪切,使用选项-c(如下例子)

(3)按照域进行剪切,使用选项-f(如下例子,-d用来指定域)

二、sort工具

1.sort如cut一般,也是以行为单位,从首字符向后,一次按照ASCII码值进行比较,最后按照升序输出。

2.sort命令加选项使用:

(1)-u :去掉文件中重复行

(2)-r:将文件默认升序输出的顺序改为降序

(3)-o:由于sort默认把结果输出到标准输出,所以需要重定向才能将结果写入文件,但是sort处理后的数据已经是排序后的数据,所以再使用宠定向就不行了,那么这个选项就可以实现

(4)-n:实现数字比较不按照默认的字符来排序

(5)-t:这个选项之后可以设置间隔符

(6)-k:指定一个文件的列数

(7)-f:将小写字母都转换为大写字母进行比较(及忽略大小写)

(8)-c:检查文件是否已经排好序,如果乱序,则输出第一个乱序的行的相关信息,最后返回1

(9)-C:检查文件是否已经排好序,如果乱序,则不输出内容,仅返回1

(10)-b:忽略每一行前面的所有空白部分,从第一个可见字符开始比较

三、uniq工具

1.uniq读取输入文件,并比较相邻的行,在正常的情况下,第二个以及后面的重复行将会被删去,行比较是根据字符集的排序序列进行排序的,最后默认将处理过的数据写入到输出文件中。当然这里的输出文件和输入文件必须不同。

2.命令使用

(1)-c:显示输出文件中,在每行行首加上本行在文件中出现的次数

(2)-u:只显示文件中不重复的行

(3)-d:只显示重复行

时间: 2024-08-01 17:11:43

cut、sort及uniq工具简介的相关文章

Shell编程之正则表达式——sort,uniq工具

sort概述 sort 是一个以行为单位对文件内容进行排序的工具,也可以根据不同的数据类型来排序.例如数据和字符的牌局就不一样.sort 命令的语法为"sort [选项] 参数",其中常用的选项包括以下几种. -f:忽略大小写: -b:忽略每行前面的空格: -M:按照月份进行排序: -n:按照数字进行排序: -r:反向排序: -u:等同于 uniq,表示相同的数据仅显示一行: -t:指定分隔符,默认使用[Tab]键分隔: -o <输出文件>:将排序后的结果转存至指定文件:

shell脚本之正则表达式(四)---sort与uniq工具

sort 工具 sort 是一个以行为单位对文件内容进行排序的工具,也可以根据不同的数据类型来排序. sort 语法 sort [选项] 参数 sort常用选项 -f:忽略大小写 -b:忽略每行前面的空格 -M:按照月份进行排序 -n:按照数字进行排序 -r:反向排序 -u:表示相同的数据仅显示一行(去除不连续的重复) -t:指定分隔符,默认使用[Tab]键分隔 -o <输出文件>:将排序后的结果转存至指定文件 -k:指定排序区域 范例演示 将/etc/passwd 文件中第三列进行排序,并将

cut,sort,wc,uniq,tee,tr,split,并且,和,或者

cut 把一个文件分段 cut -d:(指定分割符) -f(第几段) 3,4,5 /etc/passwd cut -c(截取第几个字符) 1-10 /etc/passwd sort 用来排序 sort -t:(指定分割符) -k3(第几段) -n(纯数字排序) /etc/passwd sort -t:(指定分割符) -k3,5(区间段用,号,不能用-) -n(纯数字排序) -r(反序排序) -u(去重复) /etc/passwd wc -l(文档有多少行数) 1.txt 2.txt wc -w(

Linux CentOS 7 shell中的特殊字符及与管道相关的命令(cut,sort,wc,uniq,tee,tr,split)

一. shell特殊符号cut命令 1.特殊符号 * :任意个任意字符 ? :任意单个字符# :注释\ :转义字符 | :管道符 2.几个和管道相关的命令 (1) cut cut 把文件分段 cat /etc/passwd cut -d: -f 3  /etc/passwd    cut -d: -f 3,6,5  /etc/passwd cut -d: -f 3-6  /etc/passwd cut -c 10 /etc/passwd   取第十个字符 cut -c 5-10 /etc/pas

65.shell特殊符号与和cut,sort,wc,uniq,tee,tr,split命令

liunx的特殊符号 代表字母或者数字 多个 ? 任意一个字符"#" 注释\ 脱义字符| 管道符 1.* 代表任意个任意字符或者数字 [[email protected] /]# ls *.txt1.txt[[email protected] /]# 2.?任意一个字符 [[email protected] /]# ls ?.txt1.txt[[email protected] /]# 3.注释 [[email protected] /]# #11111[[email protecte

linux命令, cut,sort,wc,uniq,tee 说明

 cut :截取某一个字段 语法:cut -d "分隔字符" [-cf] n 这里的n是数字 -d :后面跟分隔字符,分隔字符要用双引号括起来 -c :后面接的是第几个字符 -f :后面接的是第几个区块 -d 后面跟分隔字符,这里使用冒号作为分割字符,-f 1 就是截取第一段,-f和1之间的空格可有可无. -c 后面可以是1个数字n,也可以是一个区间n1-n2,还可以是多个数字n1,n2,n3  sort :用做排序 语法:sort [-t 分隔符] [-kn1,n2] [-nru] 

几个常用文本处理小工具tr ,wc,cut,sort,uniq用法详解

几个文本处理的小工具:tr ,wc,cut,sort,uniq 1. tr命令可以对来自标准输入的字符进行替换.压缩和删除.它可以将一组字符变成另一组字符,经常用来编写优美的单行命令,作用很强大. 语法:tr 选项  SET1 SET2 -c或--complerment:取代所有不属于第一字符集的字符(就是补集): -d或--delete:删除所有属于第一字符集的字符: -s或--squeeze-repeats:把连续重复的字符以单独一个字符表示: -t或--truncate-set1:先删除第

文本查看及处理工具:wc, cut, sort, uniq, diff, patch

wc:字符统计,直接使用会依次显示行数.单词数.和字符 wc  [OPTION]...  [FILE]... -l: 行数 -w:单词数 -c: 字符 cut:选取命令,就是将一段数据经过分析,取出我们想要的列,后面必须跟参数使用 cut OPTION... [FILE]... OPTION:     -d CHAR:以指定的字符为分隔符:     -f FIELDS:挑选出的字段:     #:指定的单个字段:     #-#:连续的多个字段:     #,#:离散的多个字段: [[email

文本处理小公举(cut,sort,uniq,head,tail,tr,wc,diff)

tr 作用:可搭配集对应字符对字符的转换和删除 集对应字符 [:alnum:]:字母和数字 [:alpha:]:字母 [:cntrl:]:控制(非打印)字符 [:digit:]:数字 [:graph:]:图形字符 [:lower:]:小写字母 [:print:]:可打印字符 [:punct:]:标点符号 [:space:]:空白字符 [:upper:]:大写字母 [:xdigit:]:十六进制字符 #语法: tr [OPTION]... SET1 [SET2] #选项 -c或--complerm