awk程序设计语言之-awk基础

awk程序设计语言之-awk基础

  1 http://man.linuxde.net/
  2
  7
  8 常用工具命令之awk命令
  9     awk是一种编程语言,用于在Linux/Unix下对文本和数据处理。数据可以来自标准输入(stdin)、一个或多个文件,或其他命令的输出。它支持用户自定义函数和动态正则表达式
 10     等先进功能,是Linux/unix下的一个强大编程工具。它在命令行中使用,但更多是作为脚本来使用,awk有很多内建功能,比如数组、函数等,这是它和c语言的相同之处,灵活性
 11     是awk最大的优势。
 12
 13 awk命令格式和选项
 14     语法形式
 15         awk [options] ‘script‘ var=value file(s)
 16         awk [options] -f ‘scriptfile‘ var=value file(s)
 17     常用命令选项
 18         -F fs    fs指定输入分隔符,fs可以是字符串或正则表达式,如-F;
 19         -v var=value    赋值一个用户自定义变量,将外部变量传递给awk;
 20         -f scriptfile    从脚本文件中读取awk命令
 21         -m[fr] val    对var值设置内在限制,-mf选项限制分配给val的最大块数目;-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能,在标准awk中不适用。
 22     awk模式和操作
 23 awk脚本是由模式和操作组成的。
 24     模式
 25         模式可以是以下的任意一个
 26             /正则表达式/:使用通配符的扩展集。
 27             关系表达式:使用运算符进行操作,可以是字符串或数字的比较测试。
 28             模式匹配表达式:用运算符~(匹配)和~!(不匹配)
 29             BEGIN语句块、pattern语句块、END语句块
 30     操作
 31         操作是由一个或多个命令、函数、表达式组成,之间由换行符或分号隔开,并位于大括号中,主要部分是
 32             变量或数组赋值
 33             输出命令
 34             内置函数
 35             控制流语句
 36     awk脚本基本结构
 37         awk ‘BEGIN{print "start" } pattern{ commands} END{print "end"}‘ file
 38
 39         一个awk脚本通常由BEGIN语句块、能够使用模式匹配的通用语句块、END语句块3部分组成,这三个部分是可选的。任意一个部分都可以不出现在脚本中,脚本通常是被但引或者
 40         双引中。例如:
 41             awk ‘BEGIN{i=0} {i++} END{print i}‘ filename
 42             awk "BEGIN{ i=0} {i++ }END{print i}" filename
 43     awk的工作原理
 44         awk ‘BEGIN{ commands } pattern{ commands } END{ commands }‘
 45         第一步:执行BEGIN{commands} 语句块中的语句;
 46         第二步:从文件或标准输入(stdin)读取一行,然后执行pattern{commands}语句块中的语句,它逐行扫描文件,从第一行到最后一行重复这个过程,直到文件读取完毕。
 47         第三步:当读入输入流末尾时,执行END{commands}语句块。
 48
 49         BEGIN语句块在awk开始从输入流中读取行之前被执行,这是一个可选的语句块,比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中。
 50
 51         END语句块在awk输入流中读取完所有的行之后即被执行,比如打印所有行的分析结果这类信息汇总都是在END语句块中完成,它是一个可选语句块。
 52
 53         pattern语句块中的通用命令是最重要的部分,他也是可选的,如果没有提供pattern语句块,则默认执行{print},即打印每一个读取到的行,awk的每一行都会执行该语句块
 54
 55     例子
 56         echo -e "A line 1\nA line 2" | awk ‘BEGIN{ print "start" }{ print } END{ print "end"}‘
 57         当使用不带参数的print时,它就打印当前行,当print的参数是以逗号进行分隔时,打印时则以空格作为定界符。在awk的print语句块中的双引号是被当作拼接符使用
 58         例如:
 59         echo | awk ‘{ var1="v1"; var2="v2"; var3="v3"; print var1,var2,var3; }‘
 60         双引号拼接使用:
 61         echo | awk ‘{ var1="v1"; var2="v2"; var3="v3"; print var1"="var2"="var3; }‘
 62         {}类似一个循环体,会对文件中的每一行进行迭代,通常变量初始化语句(如:i=0)以及打印文件头部的语句放入BEGIN块中将打印的结果等语句放在END语句块中。
 63
 64     awk内置变量(预定义变量)
 65         说明:[A][N][P][G]表示第一个支持变量的工具,【A】=awk、【N】=nawk、【P】=POSIXawk、【G】=gawk
 66
 67         $n 当前记录的第n个字段,比如n为1表示第一个字段,n为2表示第二个字段。
 68         $0 这个变量包含执行过程中当前行的文本内容。
 69         [N] ARGC 命令行参数的数目。
 70         [G] ARGIND 命令行中当前文件的位置(从0开始算)。
 71         [N] ARGV 包含命令行参数的数组。
 72         [G] CONVFMT 数字转换格式(默认值为%.6g)。
 73         [P] ENVIRON 环境变量关联数组。
 74         [N] ERRNO 最后一个系统错误的描述。
 75         [G] FIELDWIDTHS 字段宽度列表(用空格键分割)。
 76         [A] FILENAME 当前输入文件的名。
 77         [P] FNR 同NR,但相对于当前文件。
 78         [A] FS 字段分隔符(默认是任何空格)
 79         [G] IGNORECASE 如果为真,则进行忽略大小写的匹配。
 80         [A] NF 表示字段数,在执行过程中对应于当前的字段数
 81         [A] NR 表示记录数,在执行过程中对应小于当前的行号。
 82         [A] OFMT 数字的输出格式(默认值是%.6g)
 83         [A] OFS 输出字段分隔符(默认是一个空格)
 84         [A] ORS 输出记录分隔符(默认值是一个换行符)
 85         [A] RS 记录分隔符(默认是一个换行符)
 86         [N] RSTART 由match函数所匹配的字符串的第一个位置。
 87         [N] RLENGTH 由match函数所匹配的字符串的长度。
 88         [N] SUBSEP 数组下标分隔符(默认值是34)。
 89
 90     示例
 91         echo -e "line1 f2 f3\nline2 f4 f5\nline3 f6 f7" | awk ‘{print "line No :"NR",NO of fields:"NF, "$0="$0, "$1="$1, "$2="$2, "$3="$3}‘
 92         Line No:1, No of fields:3 $0=line1 f2 f3 $1=line1 $2=f2 $3=f3
 93         Line No:2, No of fields:3 $0=line2 f4 f5 $1=line2 $2=f4 $3=f5
 94         Line No:3, No of fields:3 $0=line3 f6 f7 $1=line3 $2=f6 $3=f7
 95
 96         使用print $NF 可以打印出一行中的最后一个字段,使用$(NF-1)则是打印倒数第二个字段,其他以此类推:
 97             echo -e "line1 f2 f3\n line2 f4 f5" | awk ‘{print $NF}‘
 98             f3
 99             f5
100             echo -e "line1 f2 f3\n line2 f4 f5" | awk ‘{print $(NF-1)}‘
101             f2
102             f4
103             打印每一行中的第二个和第三个字段:
104             awk ‘{ print $2,$3 }‘ filename
105             统计文件中的行数:
106             awk ‘END{print NR }‘ filename
107
108             以上命令只使用了END语句块,在读入每一行的时,awk会将NR更新为对应的行号,当到达最后一行NR的值就是最后一行的行号,所以END语句块
109             中NR就是文件的行数。
110
111         一个每一行中第一个字段值累加的例子
112             seq 5 | awk ‘BEGIN{ sum=0; print "总和:"} {print $1"+"; sum+=$1} END{print "等于" ; print sum}‘
113             总和: 1+ 2+ 3+ 4+ 5+ 等于 15
114
115         将外部变量值传递给awk
116             借助-v选项,可以将外部值(并非来自stdin)传递给awk;
117             VAR = 10000
118             echo | awk -v VARIABLE=$VAR ‘{print VARIABLE}‘
119
120         另一种传递外部变量方法:
121             var1="aaa"
122             var2="bbb"
123             echo | awk ‘{print v1,v2}‘ v1=$var1 v2=$var2
124
125         当输入来自文件时使用
126             awk ‘{print v1,v2}‘ v1=$var1 v2=$var2 filename
127             以上方法中,变量之间用空格分隔作为awk的命令行参数跟随在BEGIN、{}和END语句块之后。
128
129         awk运算与判断
130             作为一种程序设计语言所应具有的特点之一,awk支持多种运算,这些运算与c语言提供的基本相同。awk还提供了一系列内置的运算函数(如log、sqr
131             cos、sin等)和一些用于对字符串进行操作的函数(如length、substr等等)。这些函数的引用大大的提高了awk的运算功能。作为对条件转移指令的
132             一部分,关系判断是每种程序设计语言都具有的功能, awk也不例外,awk允许进行多种测试,作为样式匹配,还提供了模式匹配表达式~(匹配)和
133             ~!(不匹配)。作为对测试的一种扩充,awk也支持用逻辑运算符。
134
135         算术运算符
136             运算符            描述
137             + -            加,减
138             */&            乘,除与求余
139             + - !            一元加,减和逻辑非
140             ^ ***            求幂
141             ++ --            增加或减少,作为前缀或后缀
142
143             例:
144                 awk ‘BEGIN{a="b";print a++, ++a;}‘
145                 0 2
146             注意:所有用算数运算符进行操作,操作数自动转为数值,所有非数值都变为0
147
148         复制运算符
149             运算符            描述
150             = += -+ *= /= %= ^= **=    赋值语句
151             例:
152             a+=5; 等价于:a=a+5;其他同类
153
154         逻辑运算符
155             运算符            描述
156             ||            逻辑或
157             &&            逻辑与
158             例:
159             awk ‘BEGIN{a=1;b=2;print(a>5 && b<=2),(a>5 || b<=2);}‘
160             0 1
161
162         正则运算符
163             运算符            描述
164             ~ ~!            匹配正则表达式和不匹配正则表达式
165             例:
166             awk ‘BEGIN{a="100testa";if(a ~ /^100*/){print "ok";}}‘
167             ok
168
169         关系运算符
170             运算符            描述
171             < <= > >= != ==        关系运算符
172             例
173             awk ‘BEGIN{a=11;if(a>=9){print "OK";}}‘
174             OK
175
176             注意:> <可以作为字符串比较,也可以作为数值比较,关键看操作数如果操作数是字符串就会转换成字符串比较。两个都为数字才转为数值比较。
177             字符串比较:按照ASCII码顺序比较。
178
179         其他运算符
180             运算符            描述
181             $            字段引用
182             空格            字符串连接符
183             ?:            C条件表达式三目运算符
184             in            数组中是否存在某键值
185
186             例:
187             awk ‘BEGIN{a="b";print a=="b"?"ok":"err";}‘
188             ok
189
190             awk ‘BEGIN{a="b";arr[0]="b";arr[1]="c";print(a in arr);}‘
191             0
192
193             awk ‘BEGIN{a="b";arr[0]="b";arr["b"]="c"; print(a in arr);}‘
194             1(不懂)
195
196         运算符优先级表
197             级别        运算符                    说明
198             1    =、+=、-=等                赋值、运算、赋值
199             2    ||                    逻辑或
200             3    &&                    逻辑与
201             4    |                    按位或
202             5    ^                    按位异或
203             6    &                    按位与
204             7    ==、!=                    等于、不等于
205             8    <=,>=,<,>                小于等于、大于等于、大于、小于
206             9    << >>                    按位左移,按位右移
207             10    +,-                    加、减
208             11    *,/,%                    乘、除、取模
209             12    !~                    不等于,按位取反或补码
210             13    -,+                    负,正
211             级别越高越优先 所以级别13为优先级最高。
212
213         awk高级输入输出
214                 读取下一条记录
215             awk中next语句使用:在循环逐行匹配,如果遇到next,就会跳过当前行,直接忽略下面的语句。而进行下一行匹配next语句一般用于多行合并
216             cat text.txt
217             a
218             b
219             c
220             d
221             e
222             awk ‘NR%2==1{next}{print NR,$0;}‘ text.txt
223             2 b
224             4 d
225
226             cat text.txt
227                 web01[192.168.2.100]
228                 httpd ok
229                 tomcat ok
230                 sendmail ok
231                 web02[192.168.2.101]
232                 httpd ok
233                 postfix ok
234                 web03[192.168.2.102]
235                 mysqld ok
236                 httpd ok 0
237             awk ‘/^web/{T=$0;next;}{print T":t"$0;}‘ test.txt
238             awk ‘/^web/{T=$0;next;}{print T":t"$0;}‘ test.txt
239                 web01[192.168.2.100]: httpd ok
240                 web01[192.168.2.100]: tomcat ok
241                 web01[192.168.2.100]: sendmail ok
242                 web02[192.168.2.101]: httpd ok
243                 web02[192.168.2.101]: postfix ok
244                 web03[192.168.2.102]: mysqld ok
245                 web03[192.168.2.102]: httpd ok
246             $0 指的是当前的读取行
247
248         简单的读取一条记录
249             awk getline用法:输出重定向需用到getline函数。getline从标准输入、管道或者当前正在处理的文件之外的其他输入文件获得输入。它负责从输入
250             获得下一行的内容,并给NF,NR和FNR等内建变量赋值。如果得到一条记录,getline函数返回1,如果到达文件的末尾就返回0,如果出现错误,例如文件
251             打开失败,就返回-1。
252
253             getline语法:getline var ,变量var包含了特定行的内容。
254
255             awk getline从整体上来说,用法说明:
256                 当其左右无重定向符|或者<时:getline作用于当前文件,读入当前文件的第一行给其后跟的变量var或$0,应该注意到,由于awk在处理
257             getline之前已经读入了一行,所以getline得到的返回结果是隔行的。
258                 当其左右有重定向符|或者<时:getline作用于重定向文件,由于文件是刚打开的,并没有被awk读入一行,只是getline读入,那么getline
259             返回的是该文件的第一行,而不是隔行。
260
261             示例:
262             执行Linux的date命令,并通过管道输出给getline,然后再把输出赋值给自定义变量out,并打印它。
263             awk ‘BEGIN{"date" | getline out; print out}‘ test
264
265             执行shell的date命令,并通过管道输出给getline,然后getline从管道中读取并将输入赋值给out,split函数把变量out转化成数组mon,然后打印数组的第二个元素:
266             awk ‘BEGIN{ "date" | getline out;split(out,mon); print mon[2] }‘ test
267
268             命令ls的输出传递给getline作为输入,循环使getline从ls的输出中读取一行,并把它打印到屏幕。这里没有输入文件,因为BEGIN块在打开输入文件前执行,
269             所以可以忽略输入文件。
270             awk ‘BEGIN{while("ls" | getline) print }‘
271
272         关闭文件
273             awk中允许在程序中关闭一个输入或者输出文件,方法是使用awk的close语句。
274                 close("filename")
275             filename 可以是getline打开的文件,也可以是stdin,包含文件名的变量或者getline使用的确切命令。或一个输出文件,可以是stdout,包含文件名的变量或使用
276             管道的确切命令。
277
278         输出到一个文件
279             awk中允许用如下方式将结果输出到一个文件:
280             echo | awk ‘{printf("hello word!/n") > "datafile"}‘    或     echo | awk ‘{printf("hello word!n") >> "datafile"}‘
281
282         设置字段定界符
283             默认的字段定界符是空格    ,可以使用-F “定界符”明确指定一个定界符:
284             awk -F: ‘{print $NF}‘ /etc/passwd 或 awk ‘BEGIN{ FS=":"} {print $NF}‘ /etc/passwd
285             在BEGIN语句块中则可以用OFS=“定界符”设置输出字段的定界符。
286
287
288         流程控制语句
289             在Linux awk的while、do-while、和for语句中允许使用break,continue语句来控制流程走向,也允许使用exit这样的语句来退出。break中断当前正在执行的循环
290             并跳到循环外下一条语句。if是流程选择用法。awk中,流程控制语句,语法结构,与c语言类型。有了这些语句,其实很多shell程序都可以交给awk,而且性能也是
291             非常快的。下面各个语句:
292
293         条件判断语句
294             if(表达式){
295             语句1
296             }else{
297             语句2
298             }
299
300             格式中语句1可以是多个语句,为了方便判断和阅读,最好将多个语句用{}括起来,awk分枝结构允许嵌套,其格式为:
301             if(表达式){
302             语句1
303             }else if(表达式){
304             语句2
305             }else{
306             语句3
307             }
308
309             示例:
310             awk ‘BEGIN{
311             test=100;
312             if(test>90){
313             print "very good";
314             }else if(test>60){
315             print "good";
316             }else{
317             print "No pass";
318             }
319             }‘
320         输出 very good
321         每条命令以分号(;)结尾。
322
323         循环语句
324         while语句
325             while(表达式)
326             {语句}
327
328             示例:
329             awk ‘BEGIN{
330             test=100;
331             total=0;
332             while(i<=test){
333             total+=i;
334             i++;
335             }
336             print total;
337             }‘
338             输出5050
339
340         for循环
341         for循环有两种格式:
342             格式1:
343             for(变量 in 数组){
344             语句
345             }
346
347             示例:
348             awk ‘BEGIN{
349             for(k in ENVIRON){
350             print k"="ENVIRON[k];
351             }
352             }‘
353             注:ENVIRON是awk常量,是子典型数组。
354
355             格式2:
356             for(变量;条件;表达式){
357             语句
358             }
359
360             示例:
361             awk ‘BEGIN{
362             total=0;
363             for(i=0;i<=100;i++){
364             total+=i;
365             }
366             print total;
367             }‘
368             结果:5050;
369
370         do循环
371             do{语句}
372             while(条件)
373
374             示例:
375             awk ‘BEGIN{
376             total=0;
377             i=0;
378             do{total+=i;i++;}
379             while(i<=100)
380             print total;
381             }‘
382             结果 5050
383
384         其他语句
385             break 当break语句用于while或for语句时,导致退出程序循环。
386             continue 当continue语句用于while或for语句时,使程序循环移动到下一个迭代。
387             next 能够导致读入下一个输入行,并返回到脚本的顶部。这可以避免对当前输入行执行其他的操作过程。
388             exit 语句使主输入循环退出并将控制转移到END,如果END存在的话。如果没有定义END规则,或在END中应用exit语句,则终止脚本的执行。
389
390
391         数组应用
392             数组是awk的灵魂,处理文本中最不能少的就是它的数组处理。因为数组索引(下标)可以是数字和字符串在awk中数组叫做关联数组。
393             awk中不必提前声明数组,也不必声明数组大小。数组元素用0或者空来初始化,这根据上下文而定。
394
395             数组的定义
396                 数字做数组索引(下标):
397                 Array【1】=“sun”;
398                 Array【2】=“kai”;
399                 字符串做数组索引:
400                 Array【“first”】=“www”;
401                 Array【“last”】=“name”;
402                 Array【“birth”】=“1978”;
403
404                 使用print Array【1】会打印出sun;
405
406             读取数组的值
407                 {for(item in array){print array【item】};}        //输出的顺序是随机的
408                 {for(i=1;i<=len;i++){print array【i】};}        //len是数组的长度
409
410             数组相关函数
411                 1、length(数组)    #返回字符串或者数组长度
412                 2、split(字符串)    #将字符串分割成数组,并返回数组长度
413                 3、asort(数组)    #对数组进行排序,并返回数组长度
414
415                 例子:
416                 awk ‘BEGIN{info=“it is a test”;lens=split(info,tA,“ ”);print length(tA),lens;}’    4 4
417                 awk ‘BEGIN{info=“it is a test”;split(info,tA,“ ”);print asort(tA);}’            4
418
419             输出数组内容(无序,有序)
420                 awk ‘BEGIN{info=“it is a test”;split(info,tA,“ ”);for(k in tA){print k,tA【k】;}}’(无序)
421                 awk ‘BEGIN{info=“it is a test”;tlen=split(info,tA,“ ”);for(k=1;k<=tlen;k++){print k,tA【k】;}}’(有序)
422
423                 注意: 数组下标是从1开始,与java数组不一样。
424
425             判断键值存在以及删除键值:
426                 awk ‘BEGIN{tB【“a”】=“a1”;tB【“b”】=“b1”;if(tB【“c”】!=1){print “no found”;};for(k in tB){print k,tB【k】;}}’
427                 (错误的判断)
428                 awk ‘BEGIN{tB【“a”】=“a1”;tB【“b”】=“b1”;if(“c” in tB){print “ok”;};for(k in tB){print k,tB【k】;}}’
429                 (正确的判断)
430                 awk ‘BEGIN{tB【“a”】=“a1”;tB【“b”】=“b1”;delete tB【“a”】;for(k in tB){print k,tB【k】;}}’
431                 (删除键值:delete array【key】可以删除,对应数组key的序列值。)
432
433             二维、多维数组的使用
434                 awk的多维数组本质上是一维数组,更确切一点,awk在存储上并不支持多维数组。awk提供了逻辑上模拟二维数组的访问方式。例如,
435                 array【2,4】=1这样是允许的。
436                 awk使用一个特殊的字符串SUBSEP作为分割字段。
437
438                 类似一维数组的成员检测,多维数组可以使用if((i,j) in array)这样的语法,但是下标必须放置在圆括号中,类似一维数组的循环访问,
439                 多维数组使用for(item in array)这样的语法遍历数组。与一维数组不同的是,多维数组必须使用split()函数来访问单独的下标分量。
440
441                 awk ‘BEGIN{
442                 for(i=1;i<=9;i++){
443                     for(j=1;j<=9;j++){
444                     tarr[i,j]=i*j;print i, "*",j,"=",tarr[i,j];
445                     }
446                 }
447                 }’
448                 (二维数组,乘法口诀)
449
450                 另一种方法:
451                 awk ‘BEGIN{
452                 for(i=1;i<=9;i++){
453                     for(j=1;j<=9;j++){
454                         tarr【i,j】=i*j;
455                     }
456                 }
457                 for(m in tarr){
458                     split(m,tarr2,SUBSEP);print tarr2[1],"*",tarr2[2],"=",tarr[m];
459                 }
460                 }’
461
462         内置函数
463             awk内置函数,主要分以下3种类型:算术函数、字符串函数、其他一般函数、时间函数。
464
465             算术函数
466             格式            描述
467             atan(y,x)        返回y/x的反正切。
468             cos(x)            返回x的余弦;x是弧度。
469             sin(x)        返回x的正弦;x是弧度。
470             exp(x)        返回x的幂函数。
471             log(x)        返回x的自然对数。
472             sqrt(x)        返回x的平方根。
473             int(x)        返回x的截断至整数的值。
474             rand()        返回任意数字n,其中0<=n<1。
475             srand()        将rand函数的种子值设置为Expr参数的值,或如果省略Expr参数则使用某天的时间。返回先前的种子值。
476
477
478             举例:
479             awk ‘BEGIN{OFMT="%.3f";fs=sin(1);fe=exp(10);fl=log(10);fi=int(3.1415);srand();fr=int(100*rand());print fs,fe,fl,fi,fr}’
480             输出:0.841 22026.466 2.303 3 28
481             OFMT是设置保留三位有效数字
482
483
484             字符串函数
485             格式                描述
486             gsub(Ere,Repl,【In】)    替换字符
487             sub(Ere,Repl,【In】)    替换字符
488             index(String1,String2)    在由String1参数指定的字符串(其中出现String2中指定的参数)中,返回位置,如果没有返回0;
489             length【(String)】        返回给定字符串的长度(字符形式)。如果未给定参数,则返回整个记录的长度。
490             blength【(String)】        返回给定字符串的长度(以字节为单位)。如果未给定参数,则返回整个记录的长度。
491             substr(String,M,【N】)    返回具有N参数指定的字符数量子串。
492             match(String Ere)        在String参数指定的字符串(Ere参数指定的扩展正则表达式出现在其中)中返回位置。
493             split(String,A,【Ere】)    将String参数指定的参数分割成数组元素,并返回n变量的值。
494             tolower(String)        字符串中每个大写字符更换成小写。
495             toupper(String)        字符串中的每个小写字符更换成大写。
496             sprintf(Format,Expr,Expr,…)根据Format参数指定的printf子例程格式字符串来格式化Expr参数指定的表达式并返回最后生成的字符串。
497             注:Ere指的是正则表达式;
498
499             gsub,sub使用
500                 awk ‘BEGIN{info="this is a test2016test!";gsub(/[0-9]+/,"!",info);print info}‘
501                 this is a test!test!
502
503             查找字符串(index使用)
504                 awk ‘BEGIN{info=“this is a test2015test!”;print index(info,“test”)?“ok”:“no found”;}’
505
506             正则表达式匹配查找(match使用)
507                 awk ‘BEGIN{info=“this is a test2013test!”;print match(info,/[0-9]+/)?"ok":"no found";}’
508
509             截取字符串(substr使用)
510                 awk ‘BEGIN{info=“this is a test2015test!”;print substr(info,4,10);}’
511
512             分割字符串(split使用)
513                 awk ‘BEGIN{info=“this is a test”;split(info,tA,“ ”);print length(tA);for(k in tA){print k,tA【k】;}}’
514
515             格式化字符串输出(sprintf)
516                 格式化字符串格式:
517                 其中格式化字符串包括两部分内容:一部分是正常字符,这些字符将按原样输出;另一部分是格式化规定字符,以“%”开始,后跟一个或者几个规定
518                 字符,用来确定输出内容格式。
519             格式    描述
520             %d    十进制有符号整数
521             %u    十进制无符号整数
522             %f    浮点数
523             %s    字符串
524             %c    单个字符
525             %p    指针的值
526             %e    指数形式的浮点数
527             %x    %x无符号以十六进制表示的整数
528             %o    无符号以八进制表示的整数
529             %g    自动选择合适的表示法
530
531             awk ‘BEGIN{n1=124.113;n2=-1.224;n3=1.2345;printf(“%.2f,%.2u,%.2g,%x,%on”,n1,n2,n3,n1,n1);}’
532             输出124.11,18446744073709551615,1.2,7c,174n(类似于C语言)
533
534         一般函数
535             格式                描述
536             close(Exception)        关闭文件,关闭由print或者printf语句打开的或调用getline函数打开的文件或管道。如果成功关闭返回0,否则,非零值。
537             system(command)        执行command参数指定的文件,并返回退出状态。等同于system子例程。
538             Exception|getline【Variable】
539             getline【Variable】<Exception    从Exception指定的文件读取输入的下一个记录
540             getline【Variable】        将variable参数指定的变量设置为从当前输入文件读取的下一个输入记录。如果未指定variable参数,则
541                             $0记录变量设置为该记录的值,还将设置NF、NR和FNR特殊变量。
542
543             打开外部文件(close用法)
544                 awk ‘BEGIN{while("cat /etc/passwd"|getline){print $0;};close("/etc/passwd");}‘
545                 输出:    root:x:0:0:root:/root:/bin/bash
546                     bin:x:1:1:bin:/bin:/sbin/nologin
547                     daemon:x:2:2:daemon:/sbin:/sbin/nologin
548                     adm:x:3:4:adm:/var/adm:/sbin/nologin
549
550             逐行读取外部文件(getline使用方法)
551                 awk ‘BEGIN{while(getline<"/etc/passwd"){print $0;};close(“/etc/passwd”);}’
552
553             调用外部应用程序(system使用方法)
554                 awk ‘BEGIN{b=system("ls -al"); print b;}’    效果等同于Linux 指令ls -al
555
556         时间函数
557             格式                    描述
558             函数名                    说明
559             mktime(YYYY MM dd HH MM ss[DST])    生成时间格式
560             strftime(【format【,timestamp】】)    格式化时间输出,将时间戳转化为时间字符串
561             systime()                得到时间戳,返回从1970年1月1日开始到当前时间的整秒数
562
563             建立指定时间(mktime使用)
564                 awk ‘BEGIN{tstamp=mktime(“2000 01 01 21 23 22”);print strftime("%c",tstamp)}’
565                 输出:2001年03月05日 星期一 23时32分32秒
566
567             strftime日期和时间格式说明符
568             格式        描述
569             %a        星期几的缩写(Sun)
570             %A        星期几的完整写法(Sunday)
571             %b        月名的缩写(Oct)
572             %B        月名的完整写法(October)
573             %c        本地时间和日期
574             %d        十进制日期
575             %D        日期08/20/99
576             %e        日期,如果只有一位会补上一个空格
577             %H        用十进制表示24小时格式的小时
578             %I        用十进制表示12小时格式的小时
579             %j        从1月1日起一年中的第几天
580             %m        十进制表示的月份
581             %M        十进制表示的分钟
582             %p        12小时表示法(AM/PM)
583             %S        十进制表示的秒
584             %U        一年中的第几个星期十进制表示
585             %w        十进制表示的星期几(星期天是0)
586             %W        十进制表示的一年中的第几个星期(星期一作为一个星期的开始)
587             %x        重新设置本地日期(08/20/99)
588             %X        重新设置本地时间(12:00:00)
589             %y        两位数字表示的年(99)
590             %Y        当前月份
591             %Z        时区(PDT)
592             %%        百分号(%)
时间: 2024-10-26 15:22:50

awk程序设计语言之-awk基础的相关文章

linux awk命令详解 --awk编程

简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理. awk有3个不同版本: awk.nawk和gawk,未作特别说明,一般指gawk,gawk 是 AWK 的 GNU 版本. awk其名称得自于它的创始人 Alfred Aho .Peter Weinberger 和 Brian Kernighan 姓氏的首个字母.实际上 AWK

软考-程序设计语言基础(编译原理)

首先声明一下,本系列软考的文章是针对软件设计师(中级)的. 在软件设计师考试中,关于程序设计语言这一章节,前面的知识很基础,像一些控制结构和数据类型的知识我想大家都非常熟练就没有总结在图里. 本章节的重点内容在于编译原理,编译原理指的是编译器是将汇编或高级计算机语言翻译为二进制机器语言代码的计算机程序.内容主要包括文法.正规式.有限自动机.语法推导树. 好了,不多说,还是老规矩用图来介绍. 重点看一下编译原理,展开前三项看看. 文法,是描述语法结构的形式规则: 正规式是描述程序语言单词的表达式,

程序员教程-3章-程序设计语言基础知识

这一章难度颇大,好好学也学不到什么,随便写点东西吧 目录结构 3.1 程序设计语言概述 3.1.1 程序设计语言的基本概念 1 低级语言和高级语言 2 编译程序和解释程序 3 程序设计语言的定义 3.1.2 程序设计语言的分类和特点 1 程序设计语言发展概述 2 程序设计范型 3.1.3 程序设计语言的基本成分 1 程序设计语言的数据成分 2 程序设计语言的运算成分 3 程序设计语言的控制成分 4 函数 3.2 语言处理程序基础 3.2.1 汇编程序基础 1 汇编语言 2 汇编程序 3.2.2

【软考】【软件设计师】【知识模块】【第2章:程序设计语言基础知识】

程序设计语言基础知识 2.1 程序设计语言概述 2.1.1  程序设计语言基本概念 低级语言,面向机器的语言,如汇编语言.机器语言: 特性:进行程序设计效率低,程序的可读性差,难以修改.维护,优势是运行速度特别快: 高级语言,面向各类应用的程序设计语言.如C.C++ .Java.Python.Delphi .Pascal.Php 语言处理程序:负责将高级语言翻译成计算机能理解的0和1的程序: 语言之间的翻译基本方式: 汇编.解释.编译: 汇编:对使用汇编语言写成的源程序进行翻译成目标程序(机器可

为什么会有这么多种程序设计语言?

传说人类建造通天塔触怒上帝,上帝施法使人类语言混乱彼此之间无法交流.这就是说各种各样的语言其实就是祸乱之源——只会导致交流的不便.可是看看如今的程序设计语言的数量,你会怀疑人类是否又在造“通天塔”了?真的有这么多语言的必要吗?我到底要学习多少种程序设计语言才够用呢? 根据维基的资料,可以称得上相对“主流”(有人用.有文档)的程序设计语言至少有600种,还有大量的商业化失败.实用性不高.语言小众(这里的“语言”指的是编码的语言,一般的程序设计语言都习惯用拉丁字母集合或其超集来作为源码的字符集,也有

程序设计语言基本概念语 与经典真题

一.基本概念 在计算机中,程序设计语言可划分为低级语言和高级语言两大类,与高级语言相比,用低级语言开发的程序,其运行效率高,但开发效率低.与程序设计相关的基本概念如下. (1)低级语言:又称面向机器语言,它是特定的计算机系统所固有的语言. (2)汇编语言:是机器语言的一种提升,它使用了一些助记符来表示机器指令中的操作码和操作数.但它仍然是一种和计算机机器语言十分接近的语言,使用起来仍然不太方便. (3)高级语言:与人们的自然语言比较接近,使用起来很方便,也极大的提高了程序设计效率. (4)编译程

程序设计语言-标准库概述

1 认识标准库 没有任何一个重要程序只用某种赤裸裸的程序设计语言写出的:首先总要开发出一组支持库,这也形成了进一步工作的基础. 2 第一个程序 #include<iostream>  //指编译器包含位于iostream里的标准流I/O功能的声明 int main() //定义一个main()函数,该函数没有参数,也不做任何事情 { std::cout<<"hello,world!\n"; //字符串文字量"hello,world!\n"将被

程序设计语言学习

人,程序,计算机 计算机的诞生就是为了帮助人们完成一些任务.计算机以其速度快.失误少.持续时间长.保存时间久等特点弥补了人类的不足. 程序是计算机完成人类任务的计划书.说明书.指导书或者说是执行步骤. 运行程序就是计算机照着计划书执行任务的过程. 程序设计语言则是人们写计划书的语言.与人们给自己写计划书用汉语.英语等语言一样,人们给计算机写计划书要用计算机能够认识的语言——机器语言,也就是01串.这也是可编程计算机刚刚出现时人们使用的语言. 但是01这种二进制的语言不好记忆.不好交流.不好理解,

(读后摘抄)《计算机程序设计语言的发展》_王汝传

原文是<电子工程师>里的一篇文章,以下是部分内容摘抄 第三代计算机语言:   Fortran语言 当时主要是用于科学计算 ,它 与汇编语言助记符的本质区别是引入了变量的概 念.它奠定了程序设计语言名字的理论基础 ,同时引 入了表达式.语句和子程序等概念 ,也是高级程序设计语言的基础.因其高效 率与完善的输入输出功能而受到人们的欢迎 ,至今 在科学计算领域仍充满生命力. Algol语言 孕育了许多很有用的程序设计与程序设计语 言思想 ,如自由程序格式.保留字.数据类型.分程序 概念.子程序调用方