shell学习四十天----awk的惊人表现

awk的惊人表现

awk可以胜任几乎所有的文本处理工作。

awk

调用

1.调用awk:

方式一:命令行方式

awk [-F field-separator ] ‘commands’ input-file(s)

[ -F域分隔符 ]是可选的,因为awk使用空格作为缺省的域分隔符,因此如果要浏览域间有空格的文本,不必指定这个选项,如果要浏览例如passwd文件.此文件名域以冒号作为分隔符,则必须指明-F选项,如:

awk -F ‘commands’ input-file

方式二:将所有awk命令插入一个文件,并使阿瓦库程序可执行,然后用awk命令解释器作为脚本的首行,以便通过键入脚本名成功来调用它.

方式三:将所有的awk命令插入一个单纯文件,然后调用:

awk -f awk-script-file input-file(s)

-f选项指明在文件awk_script_file中的awk脚本,input_file(s)是使用awk进行浏览的文件名.

模式和动作

任何awk语句都是有模式和动作组成.在一个awk脚本中可能有很多语句,模式部分决定动作语句何时触发以及出发时间.处理即对数据进行的操作.如果省略模式部分,动作将时刻保持执行状态.模式可以是任何条件语句或符合语句或正则表达式.模式包括两个特殊字段BEGIN和END.使用BEGIN语句设置计数和打印头.BEGIN语句使用在任何文本浏览动作之前,之后文本浏览动作一句输入文本开始执行.END语句用来在awk完成浏览动作后打印输出文本总数和结尾状态标识.

域和记录

使用$1,$3表示参照第一个和第三个域,注意这里使用逗号做域分割,如果希望打印一个有5个域的记录的所有域,可使用$0,意即所有域.

为打印一个域或所有域,使用printf命令,这是一个awk动作

模式和动作

模式:两个特殊段BEGIN和END

动作:实际动作大多在{}内指明

输出:

1.抽取域

命令:awk -F: ‘{print $1}‘ /etc/passwd

输出:打印/etc/passwd目录下的所有用户名

2.保存输出

awk -F: ‘{print $1}’ /etc/passwd |tee user  使用tee命令,在输出文件的同时,输出到屏幕

3.使用标准输出

awk -F : ‘{print $1}’ /etc/passwd > user3

4.打印所有记录

awk -F : ‘{print $0}’ /etc/passwd

5.打印单独记录

awk -F: ‘{print $1,$4}’ /etc/passwd

6.打印报告头

awk -F : ‘BEGIN{print “NAME\n”}{print $1}’ /etc/passwd

7.打印结尾

awk -F: ‘{print $1}END{print “this is all users\n”}’ /etc/passwd

条件操作符

1.匹配

awk -F : ‘{if($1~/root/) print}‘ /etc/passwd

分析:if($1~/roo/t) 表示如果file中包含root,打印他

2.精确匹配

使用符号==

awk -F: ‘{if($3==0) print}‘ /etc/passwd

3.不匹配

!~

awk -F: ‘{if($1!~/linuxone/) print}‘ /etc/passwd

精确不匹配

!=

awk -F: ‘{if($1!=/linuxone/) print}‘ /etc/passwd

4.小于

<

5.小于等于

<=

6.大于

>

7.设置大小写

awk ‘/[Rr]oot’ /etc/passwd

8.任意字符

awk -F : ‘{f($1~/^...t/) print}‘ /etc/passwd

分析:if($1~/^...t/)表示第四个字母是t

9.或关系匹配

awk -F : ‘{if($1~/(squid|nagios)/) print}‘ /etc/passwd

10.行首

awk ‘/^root/‘ /etc/passwd

分析:^root(行首包含root)

11 AND &&

awk -F : ‘{if($1=="root"&&$3=="0") print}‘ /etc/passwd

12.OR ||

内置变量:

案例:

打印有多少行记录

awk ‘END{print NR}‘ /etc/passwd

设置输入域到变量名

awk -F : ‘{name=$1;path=$7; if(name~/root/)print name"\tpath is : " path}‘ /etc/passwd

域值比较操作

awk ‘{if($6<$7) print $0}‘ input-file

修改文本域只显示修改的记录

awk -F : ‘{if($1=="root"){$1="nagios server" ; print}}‘ /etc/passwd

文件长度相加

ls -l | awk ‘/^[^d]/ {print $9"\t" $5}{tot+=$5}\

END {print "total kb:"tot}‘

内置的字符串函数

1.gsub

awk ‘gsub(/^root/,"netseek") {print}‘ /etc/passwd  #将以root开头的字符串替换为netseek并打印

awk ‘gsub(/0/,2){print}‘ /etc/passwd

awk ‘{print gsub(/0/,2) $0}‘ /etc/fstab

2.index

awk ‘BEGIN{print index("root","o")}‘  #查询o在root字符串中出现的第一位置

awk -F : ‘$1=="root" {print index($1,"o")" " $1}‘ /etc/passwd

awk -F : ‘{print index($1,"o") $1}‘ /etc/passwd

3.length

awk -F : ‘{print length($1)}‘ /etc/passwd

wk -F : ‘$1=="root"{print length($1)"\t" $0}‘ /etc/passwd

4.match(在ANCD中查找C的位置)

awk ‘BEGIN{print match("ANCD","C")}‘

5.split返回字符串数组元素个数

awk ‘BEGIN{print split("123#456#789",array,"#")}‘

6.sub只能替换指定域的第一个0

awk ‘sub(/0/,2){print }‘ /etc/fstab

7.substr 按照起始位置以及长度返回字符串的一部分

awk ‘BEGIN{print substr("www.baidu.com",5,9)}‘ #第五个子夫开始,取9个字符

awk ‘BEGIN{print substr("www.baidu.com",5)}‘  #第五个位置开始,一直到最后

字符串屏蔽序列

案例:

awk -F : ‘{print $1,"\b" $2,"\t" $3}‘ /etc/passwd

分析:print和printf两者效果不同

printf修饰符

-  : 左对齐

width : 域的步长0表示0步长

.prec : 最大字符串长度,或小数点右边的位数

awk printf格式

1.字符串转换

echo "65" | awk ‘{printf "%c\n", $0}‘

awk ‘BEGIN{printf "%c\n" ,65}‘

awk ‘BEGIN{printf "%f\n",999}‘

2.格式化输出

awk -F : ‘{printf "%-15s %s\n",$1,$3}‘ /etc/passwd

awk -F : ‘BEGIN{printf "USER\t\tUID\n"}{printf "%-15s %s\n",$1,$3}‘ /etc/passwd

3.向一行awk命令传值

who | awk ‘{if ($1==user) print $1 " you are connected :" $2}‘ user=$LOGNAME

4.awk脚本文件(在文件名字后面加后缀.awk翻遍区分)

#!/bin/awk -f

BEGIN{

FS=":"

print "User\t\tUID"

print "----------------"

}

{printf "%-15s %s\n",$1,$3}

END{

print "end"

}

分析:awk脚本文件开头一般都是这样的：#!/bin/awk -f

已经指明了 -f 选项。

执行时，直接在awk脚本名后面加要处理的文件名作为参数即可。

版权声明：本文为博主原创文章，未经博主允许不得转载。