awk、uniq、sort三个命令的基本用法

今天对awk、uniq、sort三个命令做了基础功能的学习,这里自己记录一下:

1.awk(数据处理工具,将一行分割成多个“字段”来处理)

awk -F ‘文本切割符‘‘{处理过程}’ 文件名称

如:cat /ect/passwd | awk -F ‘:‘ ‘{print $1}‘   #以:分割,打印第一列的数据;如果为$0表示整个文件内容

cat /etc/passwd | awk -F ‘‘BEGIN {print "begin,goto"} {print $1","$7} END {print “end,end”}  #以空白符作为分割,打印begin,goto开始执行信息,打印1,7行,以end,end结束

2.uniq 命令用来过滤重复部分显示文件内容,这个命令读取输入文件,并比较相邻的行

参数:

-c  显示输出中,在每行行首加上本行在文件中出现的次数

-d  只显示重复行

-u  只显示文件中不重复的各行

-n  前n个字段与每个字段前的空白一起被忽略

+n 前n个字符被忽略,之前的字符被跳过(字符从0开始编号)

-f   n与-n相同,这里n是字段数

-s   n与+n相同,这里n是字符数

常用: uniq -c  首行显示文件中出现的次数

3.sort 排序

参数:

-u  在输出行中去除重复行

-r   默认的排序方式为升序,-r转换为降序排列

-n  默认按照字符来排序出现10在2前面,-n以数值来排序

-t   后面设定间隔符

-k  指定列数

如:sort -n -k 2 -t : test.txt  以数值排序,按照第二列以“:”间隔来排列顺序

以上简单总结而已,后续如有其他使用,再更新!!!

时间: 2024-10-18 18:54:37

awk、uniq、sort三个命令的基本用法的相关文章

awk, uniq, sort统计日志信息

log基本行为: my mempool new called, return:0xd20c50, size:#32#, cnt:633 需要取所有行的size后面的数值统计数量并排序: cat log| awk -F"#" '{print $2}'|sort -n|uniq -c|sort -rn sort -n: 按数值排序 uniq -c: 统计数据,把相同行合并,前面是相同行的数量 sort -rn: 再次按数值反向排序(最大值放前面)

sort & cut 命令的常用用法

sort命令介绍: sort是在Linux里非常常用的一个命令,管排序的,集中精力,五分钟搞定sort,现在开始! 1 sort的工作原理 sort将文件的每一行作为一个单位,相互比较,比较原则是从首字符向后,依次按ASCII码值进行比较,最后将他们按升序输出. [[email protected] programming]$ cat seq.txtbananaapplepearorange[[email protected] programming]$ sort seq.txtappleban

[转]Linux中set,env和export这三个命令的区别

转自:http://www.2cto.com/os/201306/223758.html Linux中set,env和export这三个命令的区别 set命令显示当前shell的变量,包括当前用户的变量; env命令显示当前用户的变量; export命令显示当前导出成用户变量的shell变量. 每个shell有自己特有的变量(set)显示的变量,这个和用户变量是不同的,当前用户变量和你用什么shell无关,不管你用什么shell都在,比如HOME,SHELL等这些变量, 但shell自己的变量不

sort 和wc命令

sort和wc 命令:用做排序 语法: sort [-t 分隔符] [-kn1,n2] [-nru] 这里的n1 < n2 -t 分隔符 :作用跟cut的-d一个意思 -n :使用纯数字排序 -r :反向排序 -u :去重复 -kn1,n2 :由n1区间排序到n2区间,可以只写-kn1,即对n1字段排序 [[email protected] ~]# head -n5 /etc/passwd |sort adm:x:3:4:adm:/var/adm:/sbin/nologin bin:x:1:1:

【译】 AWK教程指南 6在AWK程序中使用Shell命令

awk程序中允许调用Shell指令,并提供管道解决awk与系统间数据传递的问题.所以awk很容易使用系统资源,读者可利用这个特点来编写某些适用的系统工具. 范例:写一个awk程序来打印出线上人数. 将下列程序建文件,命名为 count.awk BEGIN { while ( "who" | getline ) n++ print n } 并执行下列命令: $ awk -f count.awk 执行结果将会打印出目前在线人数. 说 明: 1. awk 程序并不一定要处理数据文件,以本例而

Oracle学习笔记三 SQL命令

SQL简介 SQL 支持下列类别的命令: 1.数据定义语言(DDL) 2.数据操纵语言(DML) 3.事务控制语言(TCL) 4.数据控制语言(DCL)               下面是这四种SQL语言的详细笔记: Oracle学习笔记三 SQL命令(二):SQL操作语言类别 Oracle数据类型 创建表时,必须为各个列指定数据类型 以下是 Oracle 数据类型的类别: 字符数据类型 CHAR类型 当需要固定长度的字符串时,使用 CHAR 数据类型. CHAR 数据类型存储字母数字值. CH

MVVM模式解析和在WPF中的实现(三) 命令绑定

MVVM模式解析和在WPF中的实现(三) 命令绑定 0x00 命令绑定要达到的效果 命令绑定要关注的核心就是两个方面的问题,命令能否执行和命令怎么执行.也就是说当View中的一个Button绑定了ViewModel中一个命令后,什么时候这个Button是可用的,按下Button后执行什么操作.解决了这两个问题基本就实现了命令绑定.另外一个问题就是执行过程中需要的数据(参数)要如何传递.本次主要探讨这几个问题. 0x01 命令绑定的实现 自定义一个能够被绑定的命令需要实现ICommand接口.该接

iOS:使用Github托管自己本地的项目代码方式三(命令行方式: Terminal Line)

使用终端命令行将本地项目代码上传到github上进行托管 对于IOS开发者来说,Github的使用是必须要掌握的一种技能,而把项目由本地上传到Github有多种方式 1.开发工具Xcode配置Git,由Xcode-->Source Control-->Commit: 2.使用Github客户端上传代码: 3.使用终端命令行上传到Github.其中我的Github地址有我根据实际项目制作的一个配置说明书https://github.com/FISHBALL1/Xcode-git ,现在来介绍第三

RHEL7、CentOS7提供三种命令行方式方式来设置和显示日期

RHEL7.CentOS7提供三种命令行方式方式来设置和显示日期.时间.timedatectl是在RHEL7及CentOS7中新增的systemd的一部分,date是传统的日期时间设置命令,hwclock单元访问的是硬件时钟. 一.timedatectl [root@Geeklp-Administrator ~]# timedatectl Local time: 六 2017-12-16 19:49:53 CST Universal time: 六 2017-12-16 11:49:53 UTC