Linux 文本处理利器--Awk常用命令

简介:

在 Linux/UNIX 系统中,awk 是一个功能强大的编辑工具,逐行读取输入文本,并根据指定的匹配模式进行查找,对符合条件的内容进行格式化输出或者过滤处理,可以在无交互的情况下实现相当复杂的文本操作,被广泛应用于 Shell 脚本,完成各种自动化配置任务。

工作原理

逐行读取文本,默认以空格为分隔符进行分隔,将分隔所得的各个字段保存到内建变量中,并按模式或者条件执行编辑命令

常见用法:

单引号加上大括号“{}”用于设置对数据进行的处理动作。awk 可以直接处理目标文件,也可以通过“-f”读取脚本对目标文件进行处理。
awk 将文本文件中的一行视为一个记录,而将一行中的某一部分(列)作为记录中的一个字(域)。为了操作这些不同的字段,awk 借用 shell 中类似于位置变量的方法, 用$1、$2、$3…顺序地表示行(记录)中的不同字段。另外 awk 用$0 表示整个行(记录)。不同的字段之间是通过指定的字符分隔。awk 默认的分隔符是空格。awk 允许在命令行中用“-F 分隔符”的形式来指定分隔符。

命令格式

awk [选项] ‘模式或条件 {编辑指令}‘ 文件1 文件2
awk -f 脚本文件 文件1 文件2

特殊的内建变量

FS:指定每行文本的字段分隔符,默认为空格或制表位(tab键);
NF:当前处理的行的字段个数;
NR:当前处理的行的行号(序数);
$0:当前处理的行的整行内容;
$n:当前处理行的第 n 个字段(第 n 列);
FILENAME:被处理的文件名;
RS:数据记录分隔,默认为\n,即每行为一条记录;

关系运算符号:

只有当条件为真,才执行指定的动作。
大于(>);小于(<);大于等于(>=);小于等于(<=);
等于(==)、不等于(!=);
&&(与)、||(或)、!(非);
加(+)、减(-)、乘(*)、除(/)、取余(%)、乘方(^);

示例如下:

打印文本内容

awk ‘{print $1"---"$2}‘ aa.txt #在第一和第二字段之间插入--符号

awk ‘{print$0}‘ aa.txt #输出所有行内容

awk ‘/^6/{print}‘ aa.txt #输出以6开头的行

awk ‘/^(6|8)/{print}‘ aa.txt # #输出以6或8开头的行

awk ‘/^(6)/ && $3 > 70 {print}‘ aa.txt #输出以6开头和第三字段大于70的行

awk ‘/^(6)/ && $3 == 55 {print}‘ aa.txt #输出以6开头和第三字段等于60的行

awk ‘NR==1,NR==3{print}‘ aa.txt #输出第1至第3行内容
等于awk ‘(NR>=1)&&(NR<=3){print}‘ aa.txt

awk ‘NR==1;NR==3{print}‘ aa.txt #输出第1行、第3行内容
等于awk ‘NR==1 || NR==3{print}‘ aa.txt

awk ‘/^root/{print}‘ /etc/passwd #输出以root开头的行

按字段输出文本

awk ‘{print $1}‘ aa.txt #输出第1字段内容

awk ‘{print$1,$3}‘ aa.txt #输出每行中的第1、3字段

awk -F ‘ ‘ ‘{print $2}‘ aa.txt #以空格分割,输出第二字段

原文地址:https://blog.51cto.com/13760351/2474737

时间: 2024-07-30 05:48:42

Linux 文本处理利器--Awk常用命令的相关文章

linux awk常用命令【转载】

简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理. awk有3个不同版本: awk.nawk和gawk,未作特别说明,一般指gawk,gawk 是 AWK 的 GNU 版本. awk其名称得自于它的创始人 Alfred Aho .Peter Weinberger 和 Brian Kernighan 姓氏的首个字母.实际上 AWK

整理Linux查看系统日志的一些常用命令

整理Linux查看系统日志的一些常用命令 last -a 把从何处登入系统的主机名称或ip地址,显示在最后一行. -d 指定记录文件.指定记录文件.将IP地址转换成主机名称. -f <记录文件> 指定记录文件. -n <显示列数>或-<显示列数> 设置列出名单的显示列数. -R 不显示登入系统的主机名称或IP地址. -x 显示系统关机,重新开机,以及执行等级的改变等信息 以下看所有的重启.关机记录 last | grep reboot last | grep shutd

linux中vim编辑器各种常用命令及用法

linux中vim编辑器的常用命令以及用法(注意严格区分大小写以及中英文): vim编辑器有三种模式,分别是:编辑模式,输入模式以及末行模式. 模式转换: 编辑模式>>>输入模式: i:在光标所在字符前面,转为输入模式(即转完后在光标所在字符前输入):                      I:在光标所在行的行首,转为输入模式(即转完后在行首输入,不包括行首空                         白) a:在光标所在字符后,转为输入模式(即转完后在光标所在字符后面输入):

linux下维护服务器之常用命令

linux下维护服务器之常用命令! 第1套如下: 正则表达式: 1.如何不要文件中的空白行和注释语句: [[email protected] ~]# grep -v '^$' 文件名 |grep -v '^#' 2.如何查阅系统上面正在运作当中的程序呢? 利用静态的 ps 或者是动态的top,还能以 pstree 来查阅程序树之间的关系! 一个是叧能查阅自己 bash 程序癿『 ps -l 』一个则是可以查阅 所有系统运作癿程序『 ps aux 』 [[email protected] ~]#

Linux的简单介绍和常用命令的介绍

Linux的简单介绍和常用命令的介绍 本说明以Ubuntu系统为例 Ubuntu系统的安装自行百度,或者参考http://www.cnblogs.com/CoderJYF/p/6091068.html 自行安装 Linux简介及Ubuntu安装 Linux,免费开源,多用户多任务系统.基于Linux有多个版本的衍生.RedHat.Ubuntu.Debian 安装VMware或VirtualBox虚拟机.具体安装步骤,找百度. 再安装Ubuntu.具体安装步骤,找百度 常用指令 ls      

Linux学习之Vi编辑器常用命令

VI编辑器常常简称为Vi(visual editor),它可以自行输入.删除.查找.替换.复制.粘贴.块操作等多功能编辑器.用户需要根据自己的需求进行定制,这个是其他编辑程序所没有的一个功能.vi 编辑器并不是一个排版程序,它不像Word或WPS那样可以对字体.格式.段落等其他属性进行编排,它只是一个文本编辑程序.没有菜单,只有命令,且命令繁多.vi有3种基本工作模式:命令行模式.文本输入模式和末行模式.. 基本上vi可以分为三种状态, 分别是 游标控制 k 游标向上移  (添数字 移动字符个数

Linux文本处理工具AWK使用解析

在linux系统上有三大文本处理工具分别是:grep,sed,awk,这次主要来看看awk. awk  option  'pattern'  file -F    指定分隔符: -v     申明自定义变量: 查看当前系统上,用户名和用户shell,输出分隔符为~. # awk -F: 'BEGIN{OFS="~";print "UserName   Shell"}{print $1,$7}END{print "================end===

Linux 系统基础优化和常用命令

目录 Linux 系统基础优化和常用命令 软连接 tar解压命令 gzip命令 netstart命令 ps命令 kill命令 killall命令 SELinux功能 iptables防火墙 Linux中文显示设置(防止中文乱码) df 命令 tree命令 设置主机名 DNS 查看Linux的dns, 唯一配置文件 本地强制dns解析文件 /etc/hosts nslookup命令 计划任务crond服务 软件包管理 windows程序 macos程序 RPM软件包管理器 实例 rpm安装软件 r

linux 文本三剑客之awk

awk简介 awk同sed.grep被称为linux文本处理三剑客,都起源于行编辑器ed.awk继承了行编辑器的特点,循环的读取文本的每一行(或者是分隔符分割的每一段文本)直至文本结束,但是awk加入了段分割符的概念.将每次读入的行进行再次分割.awk每次读取的行都只是未经过awk语句处理的对象.或读取行后会根据段分割符在将行分成多个对象.结构近似数组,然后进行指定语句的操作.作为一款报表生成器,作用是对对文本内容进行各种排版,进而格式化显示. awk有自己的语法,可以说是一款独立的编程语言.