awk是命令还是编程语言

awk是linux下的一个命令，他对其他命令的输出，对文件的处理都十分强大，其实他 更像一门编程语言，他可以自定义变量，有条件语句，有循环，有数组，有正则，有函数等。他读取输出，或者文件的方式是一行，一行的读，根据你给出的条件进 行查找，并在找出来的行中进行操作，感觉他的设计思想，真的很简单，但是结合实际情况，具体操作起来就没有那么简单了。他有三种形 势，awk，gawk，nawk，平时所说的awk其实就是gawk。

二，awk中的记录，域，分割符

当我们读取输出时，或者读取文件时，读取一行就是一个记录。记录分割符是默认是回车符，保存在RS，ORS中。

我们从记录中分割出我们要单词，或者是词组等，我们称他为域，域分割符，默认的是空格和TAB銉，保存在内建变

量ORS中。举个例子：

aaaa:bbbb:ccccccc

1111:2343:5t43343

上面有二行，这二行就是二个记录，每行后面的回车呢，就是记录分割符，里面冒号呢，就是域分割符，分割出来的，aaaa,1111这类东西就是域了。

awk -F: ‘{print $1}‘ testfile

三，awk的内建变量和运算符

1，变量

变 量 描述

$n 当前记录的第n个字段，字段间由 FS分隔。
$0 完整的输入记录。
ARGC 命 令行参数的数目。
ARGIND 命令行中当前文件的位置(从0开始算)。
ARGV 包 含命令行参数的数组。
CONVFMT 数字转换格式(默认值为%.6g)
ENVIRON 环 境变量关联数组。
ERRNO 最后一个系统错误的描述。
FIELDWIDTHS 字 段宽度列表(用空格键分隔)。
FILENAME 当前文件名。
FNR 同 NR，但相对于当前文件。
FS 字段分隔符(默认是任何空格)。
IGNORECASE 如 果为真，则进行忽略大小写的匹配。
NF 当前记录中的字段数。
NR 当 前记录数。
OFMT 数字的输出格式(默认值是%.6g)。
OFS 输 出字段分隔符(默认值是一个空格)。
ORS 输出记录分隔符(默认值是一个换行符)。
RLENGTH 由 match函数所匹配的字符串的长度。
RS 记录分隔符(默认是一个换行符)。
RSTART 由 match函数所匹配的字符串的第一个位置。
SUBSEP 数组下标分隔符(默认值是\034)。

2，运算符

运算符 描述

= += -= *= /= %= ^= **= 赋值
?: C条件表达式
|| 逻 辑或
&& 逻辑与
~ ~! 匹 配正则表达式和不匹配正则表达式
< <= > >= != == 关 系运算符
空格 连接
+ - 加，减
* / & 乘，除与求余
+ - ! 一元加，减和逻辑非
^ *** 求幂
++ -- 增加或减少，作为前缀或后缀
$ 字 段引用
in 数组成员

四，awk的正则

匹配符 描述

\Y 匹配一个单词开头或者末尾的空字符串
\B 匹配单词内的空字符串
\< 匹配一个单词的开头的空字符串，锚定开始
\> 匹配一个单词的末尾的空字符串，锚定末尾
\W 匹配一个非字母数字组成的单词
\w 匹配一个字母数字组成的单词
\‘ 匹配字符串末尾的一个空字符串
\‘ 匹配字符串开头的一个空字符串

五，awk的函数

1，字符串函数

函数名 描述

sub 匹配记录中最大、最靠左边的子字符串的正则表达式，并用替换字符串替换这些字符串。如果没有指定目标字符串就默认使用整个记录。替换只发生在第一次匹配的 时候
gsub 整个文档中进行匹配
index 返回子字符串第一次被匹配的位置，偏移量从位置1开始
substr 返回从位置1开始的子字符串，如果指定长度超过实际长度，就返回整个字符串
split 可按给定的分隔符把字符串分割为一个数组。如果分隔符没提供，则按当前FS值进行分割
length 返回记录的字符数
match 返回在字符串中正则表达式位置的索引，如果找不到指定的正则表达式则返回0。match函数会设置内建变量RSTART为字符串中子字符串的开始位 置，RLENGTH为到子字符串末尾的字符个数。substr可利于这些变量来截取字符串
toupper和tolower 可用于字符串大小间的转换，该功能只在gawk中有效

2，数学函数

函数名 返回值

atan2(x,y) y,x 范围内的余切
cos(x) 余弦函数
exp(x) 求 幂
int(x) 取整
log(x) 自然对 数
rand() 随机数
sin(x) 正弦
sqrt(x) 平 方根
srand(x) x是rand()函数的种子
int(x) 取 整，过程没有舍入
rand() 产生一个大于等于0而小于1的随机数

六，实例

学习awk的时候，做了一个例子，学东西，不要光看，光看是记不住东西的。光看的话，也许你知道怎么回事，真正实际操作，不是这儿有问题，就是那儿有问题。所以一定要动手亲自操作一下。

1，测试文件test

root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/bin/false
daemon:x:2:2:daemon:/sbin:/bin/false
mail:x:8:12:mail:/var/spool/mail:/bin/false
ftp:x:14:11:ftp:/home/ftp:/bin/false
&nobody:$:99:99:nobody:/:/bin/false
zhangy:x:1000:100:,,,:/home/zhangy:/bin/bash
http:x:33:33::/srv/http:/bin/false
dbus:x:81:81:System message bus:/:/bin/false
hal:x:82:82:HAL daemon:/:/bin/false
mysql:x:89:89::/var/lib/mysql:/bin/false
aaa:x:1001:1001::/home/aaa:/bin/bash
ba:x:1002:1002::/home/zhangy:/bin/bash
test:x:1003:1003::/home/test:/bin/bash
@zhangying:*:1004:1004::/home/test:/bin/bash
policykit:x:102:1005:Po

例1：

cat test | awk -F: ‘{ if ($1 == "root"){ print $1; }else if($1 == "bin"){ print $2; }else{ print $3; } }‘

例2：

awk ‘{ for(i=0;i<NF;i++){ if ($i ~/^root/){ print $i; }else if($i ~/zhangy/){ print $i;continue; }else if($i ~/mysql/){ print $i;next; }else if($i ~/^test/){ print $i;break; }  }}‘ test

例3：

tail test | awk ‘BEGIN{while(getline d){ split(d,test);for(i in test){ print test[i]}}}‘

例4：

ls -al /home/zhangy/mytest | awk ‘BEGIN{while(getline d){ split(d,test); print test[9] ;}
}‘

例5：

echo "32:34" |awk -F: ‘{print "max = ",max($1,$2)}function max(one,two){
if(one > two){
 return one;
}else{
 return two;
}
}
‘

例6：

#awk ‘BEGIN{print "what is your name"; getline name < "/dev/tty"}$1 ~name{print
#"found name on line" NR}END{print "see you" name}‘ test
#awk ‘{sub(/daemon/,"tankzhang");print}‘ test
#awk ‘{{sub(/zhangy/,"tankzhang");$1};print}‘ test

#awk ‘{{gsub(/zhangy/,"tankzhang");$1};print}‘ test
#awk -F: ‘{print index("zhangy",$1)}‘ test
#awk -F: ‘{print substr($1,1,2)}‘ test
awk -F: ‘{mat=match($1,/^[a-zA-Z]+$/);print mat,RSTART,RLENGTH}‘ test

例7：

cat test |awk -F: ‘ NF != 7{printf("line %d,does not have 7 fields:%s\n",NR,$0)}$1 !~ /^[A-Za-z0-9]/{printf("line %d,non alpha and numeric user id:%s: %s\n",NR,$1,$0)}$2 == "*" {printf("lind %d,no password:%s\n",NR,$0)}‘

转载请注明

作者:海底苍鹰

地址: http://blog.51yip.com/shell/985.html

时间： 2024-10-10 02:46:26

awk是命令还是编程语言的相关文章

linux awk(9)命令详解

简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理. awk有3个不同版本: awk.nawk和gawk,未作特别说明,一般指gawk,gawk 是 AWK 的 GNU 版本. awk其名称得自于它的创始人 Alfred Aho .Peter Weinberger 和 Brian Kernighan 姓氏的首个字母.实际上 AWK

linux awk常用命令【转载】

简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理. awk有3个不同版本: awk.nawk和gawk,未作特别说明,一般指gawk,gawk 是 AWK 的 GNU 版本. awk其名称得自于它的创始人 Alfred Aho .Peter Weinberger 和 Brian Kernighan 姓氏的首个字母.实际上 AWK

awk统计命令(求和、求平均、求最大值、求最小值)

本节内容:awk统计命令 1.求和 cat data|awk '{sum+=$1} END {print "Sum = ", sum}' 2.求平均 cat data|awk '{sum+=$1} END {print "Average = ", sum/NR}' 3.求最大值 cat data|awk 'BEGIN {max = 0} {if ($1>max) max=$1 fi} END {print "Max=", max}' 4.求

cut\grep\awk\sed命令详解

cut\grep\awk\sed命令详解 1.cut命令详解及实例 (1)作用:提取文件中指定的列 语法格式:cut  选项  文件名   (2)选项作用:      -d 分隔符     按照指定的分割符进行分割      -f 列号       指定提取第几列      -c 字符范围  不依赖分割符来分割,而是通过字符范围进行字段提取      -b 字节数     以字节为单位进行分割.    (3)cut实际应用案例. 例1:cut的-d和-f选项的使用,列出/etc/passwd里面

awk处理命令行参数

ARGV awk可以从内置数组ARGV中得到命令行参数,其中包括命令awk.但所有传递给awk的选项都不在其中.ARGV数组的下标从0开始. ARGC ARGC是一个包含命令行参数个数的内置变量. 范例 $ cat argvs # Scriptname:argvs BEGIN{ for(i=0; i<ARGC; i++){ printf("argv[%d] is %s\n",i,ARGV[i]) } printf("The number of arguments, AR

获取连接状态数的awk数组命令

awk -n|more [email protected]780:~/Icpp/server$ netstat -n|more 激活Internet连接 (w/o 服务器) Proto Recv-Q Send-Q Local Address Foreign Address State tcp 28 0 10.8.0.171:43313 91.189.92.10:443 CLOSE_WAIT tcp 0 0 10.8.0.171:37374 116.213.120.232:80 ESTABLISH

awk常用命令

转自:http://www.cnblogs.com/repository/archive/2011/05/13/2045927.html ———————————————————————————————————————————————————— awk 用法:awk ' pattern {action} ' 变量名 含义 ARGC 命令行变元个数 ARGV 命令行变元数组 FILENAME 当前输入文件名 FNR 当前文件中的记录号 FS 输入域分隔符,默认为一个空格 RS 输入记录分隔符 NF

awk getline命令解析

getline命令是我个人认为awk最强大的一个命令.因为它彻底改变了awk的运行逻辑.awk本质上就是一个for循环,它每次对输入文件的一行进行处理,然后转而执行下一行,直到整个文件的每一行都被执行完毕.整个过程是自动的,你无需做什么.但是,getline命令却可以让你去控制循环.当然,getline命令执行后,awk会设置NF,NR,FNR和$0等这些内部变量. 我们先看一个简单的例子,打印出从1到10之间的偶数: [email protected]:~/bash/awk$ seq 10 |

正则表达式及编程三剑客（grep、sed、awk）命令详解

博文大纲:一.正则表达式(1)正则表达式的定义(2)正则表达式用途1.基础正则表达式(1)grep命令工具2.扩展正则表达式二.文本编辑处理器1.grep命令工具2.sed命令工具3.awk命令工具 一.正则表达式 (1)正则表达式的定义 正则表达式又称正规表达式.常规表达式.在代码中常简写为regex.regexp或RE.正则表达式是使用单个字符串来描述,匹配一系列符合某个句法规则的字符串.简单的说,正则表达式是一种匹配字符串的方法,通过一些特殊符号,实现快速查找.删除.替换某个特定字符串.