awk案例学习

awk是一个强大的文本分析工具，awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作。

使用方法

awk ‘{pattern+action} {filename}‘

pattern 表示 AWK 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令。

例子1：读取指定列的内容。（last -n:列出最近登陆系统的n个用户的信息）

[[email protected]~]$last -5
jihite   pts/4        :0.0             Mon Aug 18 23:00   still logged in
jihite   pts/2        :0.0             Mon Aug 18 23:00   still logged in
jihite   pts/1        :0.0             Mon Aug 18 23:00   still logged in
reboot   system boot  3.2.0-61-generic Mon Aug 18 22:40 - 23:03  (00:23)
reboot   system boot  3.2.0-61-generic Sat Aug 16 20:27 - 12:54  (16:26)    

wtmp begins Sat Aug  2 01:18:13 2014

现在利用awk命令只提取第一列的用户名

[[email protected]~]$last -5 | awk ‘{print $1}‘
jihite
jihite
jihite
reboot
reboot

wtmp

awk工作流程：逐行读取（以‘\n’区分），默认以空格分开，$0是整行内容，$1是第一列内容。

如果只是显示/etc/passwd的账户

#cat /etc/passwd |awk  -F ‘:‘  ‘{print $1}‘
root
daemon
bin
sys

这种是awk+action的示例，每行都会执行action{print $1}。

-F指定域分隔符为‘:‘ (默认的域分隔符是空格)。

例子2：-F指定分割的符号

如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割

#cat /etc/passwd |awk  -F ‘:‘  ‘{print $1"\t"$7}‘
root    /bin/bash
daemon  /bin/sh
bin     /bin/sh
sys     /bin/sh

$1,$7之间以“\t”分开

例子3：在输出的开头和结尾添加输出

在所有行添加列名name,shell，在最后一行添加"blue,/bin/nosh"。

cat /etc/passwd |awk  -F ‘:‘  ‘BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}‘
name,shell
root,/bin/bash
daemon,/bin/sh
bin,/bin/sh
sys,/bin/sh
....
blue,/bin/nosh

awk工作流程是这样的：先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。

例子4：搜索含有某关键字的行 （找出含有关键字‘man’的行）

[[email protected]~]$cat ‘/etc/passwd‘ | awk -F : ‘/man/{print $0}‘
man:x:6:12:man:/var/cache/man:/bin/sh
colord:x:102:107:colord colour management daemon,,,:/var/lib/colord:/bin/false

例子5：内置变量

ARGC               命令行参数个数
ARGV               命令行参数排列
ENVIRON            支持队列中系统环境变量的使用
FILENAME           awk浏览的文件名
FNR                浏览文件的记录数
FS                 设置输入域分隔符，等价于命令行 -F选项
NF                 浏览记录的域的个数
NR                 已读的记录数
OFS                输出域分隔符
ORS                输出记录分隔符
RS                 控制记录分隔符

实例

[[email protected]~]$awk  -F ‘:‘  ‘{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF}‘ /etc/passwd
filename:/etc/passwd,linenumber:1,columns:7
filename:/etc/passwd,linenumber:2,columns:7
filename:/etc/passwd,linenumber:3,columns:7
filename:/etc/passwd,linenumber:4,columns:7
filename:/etc/passwd,linenumber:5,columns:7
filename:/etc/passwd,linenumber:6,columns:7
filename:/etc/passwd,linenumber:7,columns:7
filename:/etc/passwd,linenumber:8,columns:7
filename:/etc/passwd,linenumber:9,columns:7
filename:/etc/passwd,linenumber:10,columns:7
filename:/etc/passwd,linenumber:11,columns:7
filename:/etc/passwd,linenumber:12,columns:7
filename:/etc/passwd,linenumber:13,columns:7
filename:/etc/passwd,linenumber:14,columns:7
filename:/etc/passwd,linenumber:15,columns:7
filename:/etc/passwd,linenumber:16,columns:7
filename:/etc/passwd,linenumber:17,columns:7
filename:/etc/passwd,linenumber:18,columns:7
filename:/etc/passwd,linenumber:19,columns:7
filename:/etc/passwd,linenumber:20,columns:7
filename:/etc/passwd,linenumber:21,columns:7
filename:/etc/passwd,linenumber:22,columns:7
filename:/etc/passwd,linenumber:23,columns:7
filename:/etc/passwd,linenumber:24,columns:7
filename:/etc/passwd,linenumber:25,columns:7
filename:/etc/passwd,linenumber:26,columns:7
filename:/etc/passwd,linenumber:27,columns:7
filename:/etc/passwd,linenumber:28,columns:7
filename:/etc/passwd,linenumber:29,columns:7
filename:/etc/passwd,linenumber:30,columns:7
filename:/etc/passwd,linenumber:31,columns:7
filename:/etc/passwd,linenumber:32,columns:7
filename:/etc/passwd,linenumber:33,columns:7
filename:/etc/passwd,linenumber:34,columns:7
filename:/etc/passwd,linenumber:35,columns:7
filename:/etc/passwd,linenumber:36,columns:7

例子5：awk编程

[[email protected]~]$awk ‘{count++;} END{print "user count is:" count}‘ /etc/passwd
user count is:36

awk案例学习,布布扣,bubuko.com