awk-笔记

语法形式:

awk [options] ‘script‘ var=value file1 [file...]

awk [options] -f scriptfile var=value file [file...]

常用命令选项:

-F指定分隔符,可以是字符串或正则表达式

-v自定义一个变量,并传递给awk,如:awk -v myname=‘zhaoyingnan‘ ‘{print myname}‘ f1

-f从脚本文件中获取命令,如:awk -v myname=‘zhaoyingnan‘ -f 1.awk f1

模式:

/正则表达式/:使用通配符的扩展集

关系表达式:使用运算符进行操作,可以是字符串或数字的比较测试

模式匹配表达式:用运算符~(匹配)和~!(不匹配)

BEGIN语句块、pattern语句块、END语句块

工作原理:

第一步:执行BEGIN{ commands }语句块中的语句

第二步:从文件或标准输入(stdin)读取一行,然后执行pattern{ commands }语句块,它逐行扫描文件,从第一行到最后一行重复这个过程,直到文件全部被读取完毕

第三步:当读至输入流末尾时,执行END{ commands }语句块

BEGIN语句块在awk开始从输入流中读取行之前被执行,这是一个可选的语句块,比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中

END语句块在awk从输入流中读取完所有的行之后即被执行,比如打印所有行的分析结果这类信息汇总都是在END语句块中完成,它也是一个可选语句块

pattern语句块中的通用命令是最重要的部分,它也是可选的。如果没有提供pattern语句块,则默认执行{ print },即打印每一个读取到的行,awk读取的每一行都会执行该语句块

例:

awk -v myname=‘zhaoyingnan‘ ‘BEGIN{print "Hello";}{print myname;}END{print "Bye";}‘ f1

预定义变量:

$n当前记录的第n个字段

$0当前行的文本内容

FILENAME当前输入文件的名

FS字段分隔符(默认是任何空格)

RS记录分隔符(默认是一个换行符)

NF表示字段数,当前行的字段数

NR表示记录数,当前的行号

FNR表示记录数,若只读一个文件,等同NR,但多个文件时,总会在读取文件开始被重置为1,但NR则不会

OFS输出字段分隔符(默认值是一个空格)

ORS输出记录分隔符(默认值是一个换行符)

ENVIRON环境变量关联数组

ERRNO最后一个系统错误的描述

ARGC命令行参数的数目

ARGV包含命令行参数的数组

ARGIND命令行中当前文件的位置(从0开始算)

CONVFMT数字转换格式(默认值为%.6g)

FIELDWIDTHS字段宽度列表(用空格键分隔)

IGNORECASE如果为真,则进行忽略大小写的匹配

OFMT数字的输出格式(默认值是%.6g)

RSTART由match函数所匹配的字符串的第一个位置

RLENGTH由match函数所匹配的字符串的长度

SUBSEP数组下标分隔符(默认值是34)

运算符优先级:

流程控制:

if(表达式){ 语句1; }else if(表达式){ 语句2; }else{ 语句3; }

while(表达式){ 语句; }

for(变量 in 数组){ 语句; }

for(变量;条件;表达式){ 语句; }

do{ 语句; } while(条件)

break 当 break 语句用于 while 或 for 语句时,导致退出程序循环

continue 当 continue 语句用于 while 或 for 语句时,使程序循环移动到下一个迭代

next 能能够导致读入下一个输入行,并返回到脚本的顶部。这可以避免对当前输入行执行其他的操作过程

exit 语句使主输入循环退出并将控制转移到END,如果END存在的话。如果没有定义END规则,或在END中应用exit语句,则终止脚本的执行

数组:

数组定义,获取长度和输出:gawk ‘BEGIN{ array[1]="zhangsan";array[2]="lisi";array["first"]="www";print "array length is "length(array); }{ for(i in array){ print array[i]; } }‘ f1

判断数组的key是否存在,存在则删除:gawk ‘BEGIN{ array["fruit"]="apple"; }{ if("fruit" in array){ print array["fruit"]; delete array["fruit"]; }else{ print "no found"; } }END{ print length(array); }‘

内置函数:

  • 算数函数:

atan2( y, x ) 返回 y/x 的反正切

cos( x ) 返回 x 的余弦;x 是弧度

sin( x ) 返回 x 的正弦;x 是弧度

exp( x ) 返回 x 幂函数

log( x ) 返回 x 的自然对数

sqrt( x ) 返回 x 平方根

int( x ) 返回 x 的截断至整数的值

rand( ) 返回任意数字 n,其中 0 <= n < 1

srand( [expr] ) 将 rand 函数的种子值设置为 Expr 参数的值,或如果省略 Expr 参数则使用某天的时间返回先前的种子值

  • 字符串函数:

gsub( Ere, Repl, [ In ] ) 除了正则表达式所有具体值被替代这点,它和 sub 函数完全一样地执行

sub( Ere, Repl, [ In ] ) 用 Repl 参数指定的字符串替换 In 参数指定的字符串中的由 Ere 参数指定的扩展正则表达式的第一个具体值 sub 函数返回替换的数量 出现在 Repl 参数指定的字符串中的 &(和符号)由 In 参数指定的与 Ere 参数的指定的扩展正则表达式匹配的字符串替换 如果未指定 In 参数,缺省值是整个记录($0 记录变量)

index( String1, String2 ) 在由 String1 参数指定的字符串(其中有出现 String2 指定的参数)中,返回位置,从 1 开始编号 如果 String2 参数不在 String1 参数中出现,则返回 0(零)

length [(String)] 返回 String 参数指定的字符串的长度(字符形式) 如果未给出 String 参数,则返回整个记录的长度($0 记录变量)

blength [(String)] 返回 String 参数指定的字符串的长度(以字节为单位) 如果未给出 String 参数,则返回整个记录的长度($0 记录变量)

substr( String, M, [ N ] ) 返回具有 N 参数指定的字符数量子串 子串从 String 参数指定的字符串取得,其字符以 M 参数指定的位置开始 M 参数指定为将 String 参数中的第一个字符作为编号 1 如果未指定 N 参数,则子串的长度将是 M 参数指定的位置到 String 参数的末尾 的长度

match( String, Ere ) 在 String 参数指定的字符串(Ere 参数指定的扩展正则表达式出现在其中)中返回位置(字符形式),从 1 开始编号,或如果 Ere 参数不出现,则返回 0(零)

RLENGTH 特殊变量设置为匹配的字符串的长度,或如果未找到任何匹配,则设置为 -1(负一)

split( String, A, [Ere] ) 将 String 参数指定的参数分割为数组元素 A[1], A[2], . . ., A[n],并返回 n 变量的值 此分隔可以通过 Ere 参数指定的扩展正则表达式进行,或用当前字段分隔符(FS 特殊变量)来进行(如果没有给出 Ere 参数) 除非上下文指明特定的元素还应具有一个数字值,否则 A 数组中的元素用字符串值来创建

tolower( String ) 返回 String 参数指定的字符串,字符串中每个大写字符将更改为小写 大写和小写的映射由当前语言环境的 LC_CTYPE 范畴定义

toupper( String ) 返回 String 参数指定的字符串,字符串中每个小写字符将更改为大写 大写和小写的映射由当前语言环境的 LC_CTYPE 范畴定义

sprintf(Format, Expr, Expr, . . . ) 根据 Format 参数指定的 printf 子例程格式字符串来格式化 Expr 参数指定的表达式并返回最后生成的字符串

  • 其他函数:

close( Expression ) 用同一个带字符串值的 Expression 参数来关闭由 print 或 printf 语句打开的或调用 getline 函数打开的文件或管道 如果文件或管道成功关闭,则返回 0;其它情况下返回非零值 如果打算写一个文件,并稍后在同一个程序中读取文件,则 close 语句是必需的

system(command ) 执行 Command 参数指定的命令,并返回退出状态 等同于 system 子例程

Expression | getline [ Variable ] 从来自 Expression 参数指定的命令的输出中通过管道传送的流中读取一个输入记录,并将该记录的值指定给 Variable 参数指定的变量 如果当前未打开将 Expression 参数的值作为其命令名称的流,则创建流 创建的流等同于调用 popen 子例程,此时 Command 参数取 Expression 参数的值且 Mode 参数设置为一个是 r 的值 只要流保留打开且 Expression 参数求得同一个字符串,则对 getline 函数的每次后续调用读取另一个记录 如果未指定 Variable 参数,则 $0 记录变量和 NF 特殊变量设置为从流读取的记录

getline [ Variable ] < Expression 从 Expression 参数指定的文件读取输入的下一个记录,并将 Variable 参数指定的变量设置为该记录的值 只要流保留打开且 Expression 参数对同一个字符串求值,则对 getline 函数的每次后续调用读取另一个记录 如果未指定 Variable 参数,则 $0 记录变量和 NF 特殊变量设置为从流读取的记录

getline [ Variable ] 将 Variable 参数指定的变量设置为从当前输入文件读取的下一个输入记录 如果未指定 Variable 参数,则 $0 记录变量设置为该记录的值,还将设置 NF、NR 和 FNR 特殊变量

  • 时间函数:

mktime( YYYY MM dd HH MM ss[ DST]) 生成时间格式 strftime([format [, timestamp]]) 格式化时间输出,将时间戳转为时间字符串 具体格式

systime() 得到时间戳,返回从1970年1月1日开始到当前时间(不计闰年)的整秒数

时间: 2024-10-29 19:07:21

awk-笔记的相关文章

Sed&amp;awk笔记之sed篇(转)

Sed是什么 <sed and awk>一书中(1.2 A Stream Editor)是这样解释的: Sed is a "non-interactive" stream-oriented editor. It is stream-oriented because, like many UNIXprograms, input flows through the program and is directed to standard output. Sed本质上是一个编辑器,

Sed&amp;awk笔记之awk篇

http://blog.csdn.net/a81895898/article/details/8482333 Awk是什么 Awk.sed与grep,俗称Linux下的三剑客,它们之间有很多相似点,但是同样也各有各的特色,相似的地方是它们都可以匹配文本,其中sed和awk还可以用于文本编辑,而grep则不具备这个功用.sed是一种非交互式且面向字符流的编辑器(a "non-interactive" stream-oriented editor),而awk则是一门模式匹配的编程语言,因为

Sed&amp;awk笔记之sed篇

http://blog.csdn.net/a81895898/article/details/8482387 Sed是什么 <sed and awk>一书中(1.2 A Stream Editor)是这样解释的: Sed is a "non-interactive" stream-oriented editor. It is stream-oriented because, like many UNIXprograms, input flows through the pr

sed awk 笔记(二)

都说sed awk 运维人员的必备工具.今天起开始整理相关笔记.首先认识一下这两个东西. 共性:使用相同的语法 [address]/pattern/action/flag 都是面向字符流的.从一个文件一次银行的读取输入.并输出到标准输出.即输入驱动的 都是使用正则表达式进行模式匹配的 都允许用户在脚本中指定指令 所以个人认为有几个方面需要突破:语法.正则.编写脚本的思路 [[email protected] test]#今天写的脚本显示洲及所在州的人名 #! /bin/sh awk -F ",&

Sed&amp;awk笔记之awk

Awk是什么? Awk.sed与grep,俗称Linux下的三剑客,它们之间有很多相似点,但是同样也各有各的特色,相似的地方是它们都可以匹配文本,其中sed和awk还可以用于文本编辑,而grep则不具备这个功用.sed是一种非交互式且面向字符流的编辑器(a "non-interactive" stream-oriented editor),而awk则是一门模式匹配的编程语言,因为它的主要功能是用于匹配文本并处理,同时它有一些编程语言才有的语法,例如函数.分支循环语句.变量等等,当然比起

awk笔记1

grep: 文本过滤器    grep 'pattern' input_file ... sed:流编辑器 awk: 报告生成器    格式化以后,显示 AWK a.k.a. Aho, Kernighan and Weinberger new awk: nawk gawk, awk # awk [options] 'script' file1 file2, ...# awk [options] 'PATTERN { action }' file1 file2, ...awk -F: 'BEGIN

awk笔记

数组states[$NF],格式输出printf,注意循环结构范围{} nginx日志格式 分状态码查看流量 awk '{StatesCode[$9]+=$10}END{printf ("StateCode ------ SIZE(bytes)\n");for (i in StatesCode) printf ("%8s%18s\n",i,StatesCode[i])}' access.log

正则表达式 awk笔记

awk '条件类型1 {动作1}条件类型2{动作2}...' filename NF 每一行($0)拥有的字段总数 NR AWK所处理的是某一行的数据 FS 输入字段分割字符,默认为空格 RS输入行分隔符 OFS输出字段分隔符 ORS输出行分隔符 FNR各自统计行 BEGIN 表示后面不带文件 只做演示 -F 分隔符 awk –v 设置变量 例:打印passwd文件中ID小于10的用户 cat /etc/passwd | awk -F":" ' $3<10 {print $1 &

Sed&amp;awk笔记之awk篇(转)

Awk是什么 Awk.sed与grep,俗称Linux下的三剑客,它们之间有很多相似点,但是同样也各有各的特色,相似的地方是它们都可以匹配文本,其中sed和awk还可以用于文本编辑,而grep则不具备这个功用.sed是一种非交互式且面向字符流的编辑器(a "non-interactive" stream-oriented editor),而awk则是一门模式匹配的编程语言,因为它的主要功能是用于匹配文本并处理,同时它有一些编程语言才有的语法,例如函数.分支循环语句.变量等等,当然比起我

awk 笔记之一 -f 多条命令保存文本

可参考文档http://awk.readthedocs.io/en/latest/chapter-one.html cat awk/pro {print NR,"======",$0} ###NR打印第几行,$0打印整行$2$3 > 50 {printf("$%.2f for %s\n",$2$3,$1)}%.2f 保留2位小数的浮点值 %s字符串.\n回车cat awk/emp.data ]# awk -f cmdfile datafilecmdfile存放