AWK
AWK是一种用于处理文本的编程语言工具。它是 Linux中也是任何环境中现有的功能最强大的数据处理引擎之一。
基本语法
awk [options] ‘program‘ file file ...
awk [options] ‘PATTERN{action}‘ filefile ...
-FCHAR：定义输入分隔符
1、awk的输出
(1) 各项目之间使用逗号分隔，而输出时则使用输出分隔符分隔（输出分隔符默认为空白）；
(2) 输出的各item可以是字符串或数值、当前记录的字段、变量或awk的表达式；如果是数值的话会被隐式转换为字符串后输出；
(3) print后面item如果省略，相当于print$0；如果要输出空白时，使用pirnt ""（在awk中，字串要使用双引号“”）；
使用示例：
A、显示出系统中所有用户的用户名
[[email protected] ~]#awk -F: ‘{print $1}‘ /etc/passwd
-F：表示指定输入分隔符，‘{print$1}‘表示打印第一个字段，文件是/etc/passwd
B、显示系统中所有用户名和用户的shell信息，且显示的时候两字段不分隔
[[email protected] ~]#awk -F: ‘{print $1 $7}‘ /etc/passwd
-F：表示指定输入分隔符，‘{print $1$7}‘表示打印第一个字段和第七个字段当$1和$7之间为空格时，所表示的是打印的结果是$1和$7是连在一起的，文件是/etc/passwd
C、显示系统中所有用户名和用户的shell信息，且显示的时候两字段分隔
[[email protected] ~]#awk -F: ‘{print $1,$7}‘ /etc/passwd
-F：表示指定输入分隔符，‘{print $1$7}‘表示打印第一个字段和第七个字段当$1和$7之间为逗号时，所表示的是打印的结果是$1和$7是用空格分隔的，文件是/etc/passwd
D、显示出系统中所有用户的用户名，在用户名前显示hi字符并分隔显示两字段
[[email protected] ~]#awk -F: ‘{print "hi",$1}‘ /etc/passwd
-F：表示指定输入分隔符，‘{print"hi",$1}‘表示在$1前添加字符并打印出来，文件是/etc/passwd
2、awk的变量
内置变量，自定义变量
2.1、内置变量
FS：Field Seperator, 输入时的字段分隔符
使用示例：
使用内置变量FS来显示系统中用户的用户名和shell并分隔显示
[[email protected] ~]#awk ‘BEGIN{FS=":"}{print $1,$7}‘ /etc/passwd
RS：Record Seperator, 输出行分隔符，也就是换行符
使用示例：
使用RS变量来换行显示系统中所有用户在passwd文件中的信息，
[[email protected] ~]#awk ‘BEGIN{RS=":"}{print }‘ /etc/passwd
OFS: Output Field Seperator, 输出时的字段分隔符;
使用示例：
使用OFS变量显示出使用：分隔系统中所用用户和其对应的shell信息
[[email protected] ~]#awk ‘BEGIN{FS=":";OFS=":"}{print $1,$7}‘ /etc/passwd
ORS: Outpput Row Seperator, 输出时的行分隔符；
使用示例：
使用ORS变量显示出使用以**为行分隔符的所用用户和其对应的shell信息
[[email protected] ~]#awk ‘BEGIN{FS=":";ORS="**"}{print $1,$7}‘ /etc/passwd
内置变量很多，这里列出常用的的变量：
NF：Numbers of Field，字段数
使用示例：
使用NF显示列中的字段数
[[email protected] ~]#awk ‘BEGIN{FS=":"}{print NF}‘ /etc/passwd
NR：Numbers of Record, 行数；当有多个文件时，所有文件的一并计数；
FNR：行数；各文件分别计数；
使用示例：
使用FNR显示出文件的行数
[[email protected] ~]#awk ‘BEGIN{FS=":"}{print NR $1,$7}‘ /etc/passwd；NR和FNR的使用格式相同，需要列出多个文件时只需在命令后再添加文件路径即可
ARGV：数组，保存命令本身这个字符，awk‘{print $0}‘ 1.txt 2.txt，意味着ARGV[0]保存awk,
ARGC: 保存awk命令中参数的个数；
FILENAME： awk正在处理的当前文件的名称；
2.2 可自定义变量
-v var_name=VALUE
变量名区分字符大小写；只能包含字母，下划线且不能以数字开头
自定义变量的两种方式：
(1) 可以program中定义变量；
(2) 可以命令行中通过-v选项自定义变量；
自定义变量的使用
使用示例：
自定义变量配置两种案例：
[[email protected] ~]#awk ‘BEGIN{a="hi awk";print a}‘
[[email protected] ~]#awk -v a="hi gawk" ‘BEGIN{print a}‘
3、awk的printf命令
命令的使用格式：printfformat, item1, item2,...
要点：
(1) 要指定format；
(2) 不会自动换行；如需换行则需要给出换行符\n
(3) format用于为后面的每个item指定其输出格式；
format格式的指示符都%开头，后跟一个字符：
%c: 显示字符的ASCII码；
%d, %i: 十进制整数；
%e, %E: 科学计数法显示数值；
%f: 显示浮点数；
%g, %G: 以科学计数法格式或浮点数格式显示数值；
%s: 显示字符串；
%u: 显示无符号整数；
%%: 转义符，显示%自身；
修饰符：
#：显示宽度
-：左对齐
+：显示数值的符号
.#: 取值精度
使用示例：
使用printf显示用户名和对应的shell，要求用户名用20个字符的宽度，shell用30个字符的宽度
[[email protected] ~]#awk -F: ‘{printf "%20s,%30s\n",$1,$7}‘ /etc/passwd
示例中%20s表示20个字符宽，%30s\n表示30个字符宽并换行显示，然后再将$1和$7套入%20s和%30s内，便可达到所要求的结果
浮点数使用案例：%f
[[email protected] ~]#awk ‘BEGIN{printf "%f\n",2.3659899}‘
其他指示符跟浮点数的案例相同，这里不再详细给出案例
4、awk输出重定向
print items > output-file
print items >> output-file
可以将print items得到的直接重定向到所指向的文件内
print items | command
也可以将结果直接使用管道符送给所需要的命令
在输出重定向中也包含特殊文件描述符，分别有以下几种
特殊文件描述符：
/dev/stdin: 标准输入
/dev/stdout: 标准输出
/dev/stderr: 错误输出
5、awk的操作符
算术操作符：
x+y：x加y
x-y ：x减y
x*y：x乘y
x/y：x除以y
x**y：x^y都表示x的y次方
x%y:取模运算
-x：负值
+x：转换为数值
字符串操作符：
只有一种符号叫做连接，这个操作没有符号
赋值操作符：
=：等
+=：加等
-=：减等
*=：乘等
/=：除等
%=：取模
^=，**=：都表示次方
++：加加
--：减减
如果模式自身是=号，要写为/=/
比较操作符
<：
<=：
>：
>=：
==：
!=：不等于
~：模式匹配，左边的字符串能够被右边的模式所匹配为真，否则为假；
!~:和~相反的匹配
逻辑操作符：
&&： 与
||：或
条件表达式:
selector?if-true-expression:if-false-expression
？表示如果为真则执行if-true-expression，：表示否则则执行if-false-expression
使用示例：
判断用户的ID号：
[[email protected] ~]#awk -F: ‘{$3>=500?utype="common user":utype="admin";print $1,"is",utype}‘/etc/passwd
$3表示用户的ID号，用以比较是否大于等于500；?utype="commonuser"表示如果大于等于500就显示为common user，:utype="admin"表示否则就显示为admin；print$1,"is",utype表示打印用户名后跟刚才声明的变量
函数调用：
function_name(argu1,argu2)
6、模式
1） Regexp:（正则表达式） 格式为/PATTERN/
仅处理被/PATTERN/匹配到的行；
使用示例：
显示/etc/passwd文件中包含root的行
[[email protected] ~]#awk -F: ‘/root/{print }‘ /etc/passwd
2）Expression：（表达式）比较表达式较多，其结果为非0或非空字符串时满足条件便会被处理；仅处理满足条件的行；
使用示例：
显示用户的ID号大于等于500的用户
[[email protected] ~]#awk -F: ‘$3>=500{print $1,$3}‘ /etc/passwd
3）Ranges：（范围）行范围，此前地址定界，startline, endline
仅处理范围内的行
4） BEGIN/END: 特殊模式，仅在awk命令的program运行之前（BEGIN）或运行之后（END）执行一次；BEGIN通常用于首部，END通常用于尾部
5） Empty:空模式，匹配文件中的任意行；
7、常用的action
1）Expressions表达式
2）Control statements控制语句
3）Compound statements组合语句
4）inout statements输入语句
5）output statements输出语句
8、控制语句
1）if-else（条件判断）
格式：if(condition条件) {then body语句，可有多个语句} else {else body}
使用示例：
A、判断用户的ID号：
[[email protected] ~]#awk -F: ‘{if ($3>=500){print $1 "is a common user"}else{print $1"is an admin"}}‘ /etc/passwd
B、判断/etc/inittab文件中大于8个字段的行
[[email protected] ~]#awk ‘{if (NF>=8) {print}}‘ /etc/inittab
注释：NF表示显示字段数
2)while
格式：while(condition) {while body}（条件为真时进行循环，为假是退出循环）
使用示例：
A、显示/etc/inittab文件中奇数的字段
[[email protected] ~]#awk ‘{i=1;while(i<=NF){printf "%s",$i;i+=2};print ""}‘/etc/inittab
注释：声明i=1的变量，；号隔开表示一个语句；
B、显示/etc/inittab文件中字符个数大于等于6个
[[email protected] ~]#awk ‘{i=1;while (i<=NF){if (length($i)>=6) {print $i}; i++}}‘/etc/inittab
注释：length()内置函数：取字符串的长度
3) do-while循环
格式：do{do-while body} while (condition)（先进入循环执行一遍，再判断为真为假，至少执行一次循环体）
4）for循环
格式：for(variable assignment变量赋值; condition条件; iteration process条件修正) {for body}
使用示例：
A、显示/etc/inittab文件中奇数的字段
[[email protected] ~]#awk ‘{for(i=1;i<=NF;i+=2){printf "%s",$i};print " "}‘/etc/inittab
B、显示/etc/inittab文件中字符个数大于等于6个
[[email protected] ~]#awk ‘{for (i=1;i<=NF;i++){if (length($i)>=6)print $i}}‘ /etc/inittab
for循环还可用来遍历数组元素：
语法格式：for (iin array) {for body}
5）case语句
语法：switch (expression表达式) {caseVALUE or /RGEEXP/: statement1;... default: stementN}
6）循环控制
break（跳出循环）
continue（提前结束本轮循环，执行下一轮）
7）next
用于实现提前结束对本行的处理进而进入下一行的处理；
使用示例：
A、显示/etc/passwd文件用户的ID号为奇数的
[[email protected] ~]#awk -F: ‘{if($3%2==0) next;print $1,$3}‘ /etc/passwd
注释：如果$3对2取模等于0，否则就显示出来
B、显示/etc/passwd文件中奇数行
[[email protected] ~]#awk -F: ‘{if(NR%2==0) next;print NR,$1}‘ /etc/passwd
9、数组
关联数组：
array[index-expression]
其中index-expression: 可以使用任意字符串; 如果某数组元素事先不存在，那么在引用时，awk会自动创建此元素并将其初始化为空串；因此，要判断某数组是否存在某元素，必须使用“index in array”这种格式；
如果要遍历数组中的每一个元素，需要使用如下特殊结构：
for (var in array) {for body}
注释：其中var会遍历array的索引；而非元素值
state[LISTEN]++
state[ESTABLISHED]++
使用示例：
# netstat -tan | awk‘/^tcp/{++state[$NF]}END{for (s in state) {print s,state[s]}}‘
# awk ‘{ip[$1]++}END{for (i inip) {print i,ip[i]}}‘ /var/log/httpd/access_log
删除数组元素：
delete array[index]
10、awk的内置函数
split(string,array[,fieldsep[,seps]])：
功能：将string表示的字符串以fieldsep为分隔符进行切片，并切片后的结果保存至array为名的数组中；数组下标从1开始；
root:x:0:0::/root:/bin/bash
user[1]="root",user[2]
此函数有返回值，返回值为切片后的元素的个数
使用示例：
# netstat -tn | awk‘/^tcp/{lens=split($5,client,":");ip[client[lens-1]]++}END{for (i inip) print i,ip[i]}‘
length(string)
功能：返回给定字串的长度
substr(string,start[,length])
功能：从string中取子串，从start为起始位置为取length长度的子串；