文本处理命令--cut、sort、join

声明:下面介绍的只是命令的常用选项,如果需要详细了解命令全部细节,需要参考其他的资料。

一、cut

cut是一个选取命令,就是将一段数据经过分析,取出我们想要的。一般来说,选取信息通常是针对“行”来进行分析的,并不是整篇信息分析的。

-d:自定义分隔符,默认分隔符是制表符。

-f:指定显示哪个区域

示例:

(my_python_env)[[email protected] ~]# echo "a b c" | cut -d ‘ ‘ -f 1
a
(my_python_env)[[email protected] ~]# echo "a b c" | cut -d ‘ ‘ -f 1,2
a b
(my_python_env)[[email protected] ~]# echo "a b c" | cut -d ‘ ‘ -f 1-3
a b c

二、sort(转载,原文地址:http://www.cnblogs.com/51linux/archive/2012/05/23/2515299.html)

sort命令的作用是对文本进行排序。

2.1sort的工作原理

sort将文件的每一行作为一个单位,相互比较,比较原则是从首字符向后,依次按ASCII码值进行比较,最后将他们按升序输出。

示例:

[[email protected] programming]$ cat seq.txt
banana
apple
pear
orange
[[email protected] programming]$ sort seq.txt
apple
banana
orange
pear

2.2sort的-u选项

在输出行中去除重复行。

示例:

[[email protected] programming]$ cat seq.txt
banana
apple
pear
orange
pear
[[email protected] programming]$ sort seq.txt
apple
banana
orange
pear
pear
[[email protected] programming]$ sort -u seq.txt
apple
banana
orange
pear

pear由于重复被-u选项无情的删除了。

2.3sort的-r选项

sort默认的排序方式是升序,如果想改成降序,就需要使用-r

[[email protected] programming]$ cat number.txt
1
3
5
2
4
[[email protected] programming]$ sort number.txt
1
2
3
4
5
[[email protected] programming]$ sort -r number.txt
5
4
3
2
1

2.4sort的-o选项

由于sort默认是把结果输出到标准输出,所以需要用重定向才能将结果写入文件,形如sort filename > newfile。

但是,如果你想把排序结果输出到原文件中,用重定向可就不行了。

[[email protected] programming]$ sort -r number.txt > number.txt
[[email protected] programming]$ cat number.txt
[[email protected] programming]$

看,竟然将number清空了。

就在这个时候,-o选项出现了,它成功的解决了这个问题,让你放心的将结果写入原文件。这或许也是-o比重定向的唯一优势所在。

[[email protected] programming]$ cat number.txt
1
3
5
2
4
[[email protected] programming]$ sort -r number.txt -o number.txt
[[email protected] programming]$ cat number.txt
5
4
3
2
1

 2.5sort的-n选项

你有没有遇到过10比2小的情况。我反正遇到过。出现这种情况是由于排序程序将这些数字按字符来排序了,排序程序会先比较1和2,显然1小,所以就将10放在2前面喽。这也是sort的一贯作风。

我们如果想改变这种现状,就要使用-n选项,来告诉sort,“要以数值来排序”!

[[email protected] programming]$ cat number.txt
1
10
19
11
2
5
[[email protected] programming]$ sort number.txt
1
10
11
19
2
5
[[email protected] programming]$ sort -n number.txt
1
2
5
10
11
19

2.6sort的-t和-k选项

如果有一个文件的内容是这样:

[[email protected] programming]$ cat facebook.txt
banana:30:5.5
apple:10:2.5
pear:90:2.3
orange:20:3.4

这个文件有三列,列与列之间用冒号隔开了,第一列表示水果类型,第二列表示水果数量,第三列表示水果价格。
那么我想以水果数量来排序,也就是以第二列来排序,如何利用sort实现?
幸好,sort提供了-t选项,后面可以设定间隔符。
指定了间隔符之后,就可以用-k来指定列数了。

[[email protected] programming]$ sort -n -k 2 -t : facebook.txt
apple:10:2.5
orange:20:3.4
banana:30:5.5
pear:90:2.3

我们使用冒号作为间隔符,并针对第二列来进行数值升序排序,结果很令人满意。

2.7sort的-f选项

-f会将小写字母都转换为大写字母来进行比较,亦即忽略大小写

2.8sort的-t和-k选项的扩展

源文件是:

$ cat facebook.txt
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500

第一个域是公司名称,第二个域是公司人数,第三个域是员工平均工资。

我想让这个文件按公司的字母顺序排序,也就是按第一个域进行排序:(这个facebook.txt文件有三个域)

$ sort -t ‘ ‘ -k 1 facebook.txt
baidu 100 5000
google 110 5000
guge 50 3000
sohu 100 4500

我想让facebook.txt按照公司人数排序

$ sort -n -t ‘ ‘ -k 2 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

我想让facebook.txt按照公司人数排序 ,人数相同的按照员工平均工资升序排序:

 sort -n -t ‘ ‘ -k 2 -k 3 facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

看,我们加了一个-k2 -k3就解决了问题。对滴,sort支持这种设定,就是说设定域排序的优先级,先以第2个域进行排序,如果相同,再以第3个域进行排序。(如果你愿意,可以一直这么写下去,设定很多个排序优先级)

我想让facebook.txt按照员工工资降序排序,如果员工人数相同的,则按照公司人数升序排序:(这个有点难度喽)

$ sort -n -t ‘ ‘ -k 3r -k 2 facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

此处有使用了一些小技巧,你仔细看看,在-k 3后面偷偷加上了一个小写字母r。你想想,再结合我们上一篇文章,能得到答案么?揭晓:r和-r选项的作用是一样的,就是表示逆序。因为sort默认是按照升序排序的,所以此处需要加上r表示第三个域(员工平均工资)是按照降序排序。此处你还可以加上n,就表示对这个域进行排序时,要按照数值大小进行排序,举个例子吧:

$ sort -t ‘ ‘ -k 3nr -k 2n facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

看,我们去掉了最前面的-n选项,而是将它加入到了每一个-k选项中了。

 三、join

功能介绍:找出两个文件中,指定栏位内容相同的行,并加以合并,再输出到标准输出设备。join强大呀,像sql里 面的join 呢.join工作方式。这里有两个文件f i l e 1和f i l e 2,当然已经分类。每个文件里都有一些元素与另一个文件相关。由于这种关系, join将两个文件连在一起,这有点像修改一个主文件,使之包含两个文件里的共同元素。

注意:这两个文件必须已经在此列上是按照相同的规则进行了排序。

测试文件准备:

file1:

(my_python_env)[[email protected] ~]# cat file1
aa 1 2
bb 2 3
cc 4 6
dd 3 3

file2:

(my_python_env)[[email protected] ~]# cat file2
aa 2 1
bb 8 2
ff 2 4
cc 4 4
dd 5 5

3.1最基本的用法

(my_python_env)[[email protected] ~]# join file1 file2
aa 1 2 2 1
bb 2 3 8 2
join: file 2 is not in sorted order

(my_python_env)[[email protected] ~]# join file2 file1
aa 2 1 1 2
bb 8 2 2 3
join: file 1 is not in sorted order

默认以两个文件的第一列做匹配字段,默认以空格(不限个数)做分隔符。

3.2-j选项

-j选项指定了两个文件的join使用的域

(my_python_env)[[email protected] ~]# join -j 1 file1 file2
aa 1 2 2 1
bb 2 3 8 2
join: file 2 is not in sorted order
(my_python_env)[[email protected] ~]# join -j 2 file1 file2
2 bb 3 aa 1
join: file 1 is not in sorted order
join: file 2 is not in sorted order

3.3-1 FIELD -2 FIELD

以file1中field字段进行匹配和以file2中field字段进行匹配

(my_python_env)[[email protected] ~]# join -1 2 -2 3 file1 file2
1 aa 2 aa 2
2 bb 3 bb 8
4 cc 6 ff 2
4 cc 6 cc 4

3.4-o选项、-e选项和-a选项

-o:用来指定文件的输出格式,1.2就代表输出第一个文件的第二个列

-e:空域处理

-a:后面接1或者2,把文件1或者文件2中不匹配的行也显示出来

(my_python_env)[[email protected] ~]# join -o 1.1 -o 1.2 -o 1.3 -o 2.1 -o 2.2 -o 2.3 -e ‘empty‘ -a 1 file1 file2
aa 1 2 aa 2 1
bb 2 3 bb 8 2
cc 4 6 empty empty empty
dd 3 3 empty empty empty
join: file 2 is not in sorted order

3.5-v选项

-v和-a相似,但是只显示不匹配的行

(my_python_env)[[email protected] ~]# join -v 1 file1 file2
cc 4 6
dd 3 3
join: file 2 is not in sorted order

3.6join标准输入

有时我们需要将多个格式相同的文件join到一起,而join接受的是两个文件的指令,此时我们可以使用管道和字符“-"来实现
join file1 file2 | join - file3 | join - file4
这样就可以将四个文件 连接到 一起了。

时间: 2024-12-23 19:39:33

文本处理命令--cut、sort、join的相关文章

Linux CentOS 7 shell中的特殊字符及与管道相关的命令(cut,sort,wc,uniq,tee,tr,split)

一. shell特殊符号cut命令 1.特殊符号 * :任意个任意字符 ? :任意单个字符# :注释\ :转义字符 | :管道符 2.几个和管道相关的命令 (1) cut cut 把文件分段 cat /etc/passwd cut -d: -f 3  /etc/passwd    cut -d: -f 3,6,5  /etc/passwd cut -d: -f 3-6  /etc/passwd cut -c 10 /etc/passwd   取第十个字符 cut -c 5-10 /etc/pas

Linux学习总结(十八)几个简单的文本处理工具cut sort tr split

1 命令cut 用来截取某一个字段格式 : cut -d '分隔符' [-cf] n, n为数字,表示第几段-d:后面跟分隔符,分割符要加单引号-c:后面接的是第几个字符-f:后面接的是第几段那么意思是-c,-f选项二选一例如: head -3 /etc/passwd |cut -d ':' -f 1例如 head -3 /etc/passwd |cut -c 1-c也可以是一个区间例如 head -3 /etc/passwd |cut -c1-3-c 也可以单独指定好几个位置的字符例如 hea

文本操作3(cut,sort)

需求 检查当前系统中的各种shell程序,统计出它们各被多少用户所使用,并把统计结果按照从多到少排序打印出来 解决方案 每个用户所使用登录的shell都保存在系统文件/etc/passwd中,我们已经知道这个文件中每一行对应一个用户的信息,并且最后一个字段就是这个用户所使用的shell程序.因此可以使用cut命令提取shell程序的字段,在通过sort命令进行合并,然后使用uniq命令统计各个shell的使用次数,最后通过sort命令对数字进行排序. #cut命令从文件中的每一行数据中剪切出一部

linux文本处理命令--cut

cut作用及用法: cut [-option] 文件名 cut - remove sections from each line of files 从一个文件每一行里剪切某段内容 -d:指定字段分隔符,默认分隔符为空格 -f:指定要显示的字段 -f1,3 显示1和3段 -f1-3 显示从1到3段,即1,2,3段 [[email protected] test]# cut -d : -f1,3 /etc/passwd root:0 bin:1 daemon:2 adm:3 lp:4 sync:5

0219自学Linux_bash特性+命令学习(cut,sort,uniq,wc,tr,histroy,alias)+通配符glob

09 GPL,BSD,Apache三个开源协定的大体联系及其区别 1.自由软件,版权描述:但是照样是有版权的 2.开源协定,版权描述 www.kernel.org内核版本的版本号查看网址,也是官网 查看最新kernel的最新版本,www.kernel.org习惯了解 列出linux发行版和linux内核的关系 Lniux发行版,GUN:GUN/Linux. 源代码:必须要编译才可以运行,所以发行版是已经将源代码已经编译完成的东西,组合在一起,就形成了发行版,主流的三大发行版:Fedora:它为r

Linux文本处理命令笔记汇总

目录管理: ls.cd.pwd.mkdir.rmdir/tree 文件管理 touch.stat.file.rm.mv.nano 日期时间: date.clock.hwclock.ca 查看文本: cat.tac.more.less.less.head.tail cat: 连接并显示 -n -E 分屏显示: more: 向前翻 less: head: 查看前n行 tail: 查看后n行 n默认是10行 tail -f : 查看文件尾部,不退出,等待显示后续追加至此文件的新内容: 文本处理: cu

文本处理命令(六)

文本处理命令:sort,uniq,join,cut,paste,split,tr,wc 6.1.sort 功能:文本文件排序 语法:sort [OPTION]... [FILE]... sort [OPTION]... --files0-from=F 常用选项: -b 忽略每行前面开始的空格字符. -c 检查文件是否已按顺序排序. -f 忽略大小写 -M 根据月份比较排序,如:DEC FEb -h  单位换算,也叫人性化显示 -n 数字比较排序 -o 将结果输出到文件 -t 指定分隔符 -k n

Linux下常见的文本处理命令

众所周知,在Linux下"一切皆文件"的原则,一切配置文件都可以以文本的方式进行编辑.存储.故对文本文件的操作能力,决定着你是否能够在Linux下操纵自如.今天,就写下几个关于Linux下一些常用的文本处理命令. 1.文本文件查看命令:cat.more.less.head.tail 1.1 cat命令:连接并显示,当文本文件有多个时,将其连接并一个一个的完整地显示出来 eg: cat /etc/inittab cat /etc/fstab cat /etc/inittab /etc/f

linux学习之路及文本查看和文本处理命令

这一篇主要介绍几个常用的文本查看命令和文本处理命令. 首先介绍文本查看命令 cat:用于连接文件并显示 说明:当只有一个文件时,则用于查看文件内容:当有多个文件时,cat命令会将这些文件连接起来,在一起显示出来 语法格式:cat [option] FILE... -n:显示内容的时候把行号显示出来 -E:显示每一行的结束符$符(默认不显示) tac:也是用于显示文件内容,只不过他是将文件的内容倒过来显示,与cat相反 -n:显示行号 -E:显示每一行结尾的结束符$ 分屏操作命令 more与les