linux正则表达式awk讲解

awk和sed一样是流式编辑器,它也是针对文档中的行来操作的,一行一行的去执行。awk比sed更加强大,它能做到sed能做到的,同样也能做到sed不能做到的。awk常用来分段;

awk不用加任何参数就可以实现 + ? * .  | 这些特殊符号;

1、截取文档中的某个段

[[email protected] ~]# head -n2 passwd |awk -F: ‘{print $1}‘
root
bin
[[email protected] ~]# head -n2 passwd |awk -F: ‘{print $0}‘
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
[[email protected] ~]# head -n2 passwd |awk -F: ‘{print $1,$3,$7}‘
root 0 /bin/bash
bin 1 /sbin/nologin

-F 选项的作用是指定分隔符,如果不加-F指定,则以空格或者tab为分隔符。 Print为打印的动作,用来打印出某个字段。$1为第一个字段,$2为第二个字段,依次类推,有一个特殊的那就是$0,它表示整行

{ }内可以打印多个字段$1,$3,$7 打印第1、3、7段,中间用逗号隔开;

打印分段默认分隔符为空格,可以自定义分隔符,分隔符需要用冒号括起来;也可以OFS定义输出分隔符

[[email protected] ~]# awk -F: ‘{print $3,$4}‘ 1.txt |head -5
0 0
1 1
2 2
3 4
4 7
[[email protected] ~]# awk -F: ‘{print $3":"$4}‘ 1.txt |head -5
0:0
1:1
2:2
3:4
4:7
[[email protected] ~]# awk -F: ‘OFS="#"{print $3,$4}‘ 1.txt |head -5
0#0
1#1
2#2
3#4
4#7
[[email protected] ~]# head -n2 passwd |awk -F: ‘{print $1"#""@"$3"#"$7}‘
root#@0#/bin/bash
bin#@1#/sbin/nologin

注意awk的格式,-F后紧跟单引号,然后里面为分隔符,print的动作要用 { } 括起来,否则会报错。print还可以打印自定义的内容,但是自定义的内容要用“”双引号括起来。

2、匹配字符或字符串

[[email protected] ~]# awk -F: ‘$1~/me/‘ passwd 
games:x:12:100:games:/usr/games:/sbin/nologin
[[email protected] ~]# awk -F: ‘$1~/user/‘ passwd 
user1:x:600:501::/home/user1:/bin/bash

可以让某个段去匹配,~ 表示匹配的意思,以冒号分隔第一字段然后匹配//里的关键字;

[[email protected] ~]# awk -F: ‘/root/ {print $1,$3} /user/ {print $1,$3}‘ passwd 
root 0
operator 11
ftp 14
saslauth 499
user1 600

awk还可以多次匹配,如上例全文匹配包含root关键词的行,再匹配包含user的行,打印所匹配的第1、3段。

3、条件操作符

判断第3个字段为0的

[[email protected] ~]# awk -F: ‘$3=="0"‘ passwd 
root:x:0:0:root:/root:/bin/bash
[[email protected] ~]# awk -F: ‘$3==10‘ passwd 
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin

判断第3个字段为10的并且打印该行的第7字段;

[[email protected] ~]# awk -F: ‘$3==10 {print $7}‘ passwd 
/sbin/nologin
[[email protected] ~]# awk -F: ‘$3=="600"‘ passwd 
user1:x:600:501::/home/user1:/bin/bash

awk中是可以用逻辑符号判断的,比如 ‘==’ 就是等于,也可以理解为 ‘精确匹配’ 另外也有 >, ‘>=, ‘<, ‘<=, ‘!= 等等,值得注意的是,在和数字比较时,若把比较的数字用双引号引起来后,那么awk不会认为是数字,而认为是字符,不加双引号则认为是数字

示例,双引号括起来认为是字符;加单引号和不加则认为是数字;

[[email protected] ~]# awk -F: ‘$3>"500"‘ passwd | sort -t: -k 3 -n 
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin
sshd:x:74:74:privilege-separated ssh:/var/empty/sshd:/sbin/nologin
dbus:x:81:81:system message bus:/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
nobody:x:99:99:nobody:/:/sbin/nologin
user1:x:600:501::/home/user1:/bin/bash
[[email protected] ~]# awk -F: ‘$3>500‘ passwd | sort -t: -k 3 -n 
user1:x:600:501::/home/user1:/bin/bash
[[email protected] ~]# awk -F: ‘$3>‘500‘‘ passwd | sort -t: -k 3 -n 
user1:x:600:501::/home/user1:/bin/bash

!= 为不匹配,第7字段不等于/sbin/nologin的行,需要用双引号括起来。

[[email protected] ~]# awk -F: ‘$7!="/sbin/nologin"‘ passwd 
root:x:0:0:root:/root:/bin/bash
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
user1:x:600:501::/home/user1:/bin/bash
mysql:x:27:27:MySQL Server:/var/lib/mysql:/bin/bash

除了针对某一个段的字符进行逻辑比较外,还可以两个段之间进行逻辑比较。

[[email protected] ~]# awk -F: ‘$3>"5" && $3<"7"‘ passwd 
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin
user1:x:600:501::/home/user1:/bin/bash

另外还可以使用 && “并且”和  || “或者” 的意思。

示例,打印第3段大于第4段,并且第7段为/bin/bash的行;

[[email protected] ~]# awk -F: ‘$3>$4 && $7=="/bin/bash"‘ passwd 
user1:x:600:501::/home/user1:/bin/bash

示例,打印第3段小于第4段,或者第7段为/bin/bash的行;

[[email protected] ~]# awk -F: ‘$3<$4 || $7=="/bin/bash"‘ passwd 
root:x:0:0:root:/root:/bin/bash
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
gopher:x:13:30:gopher:/var/gopher:/sbin/nologin
ftp:x:14:50:ftp user:/var/ftp:/sbin/nologin
user1:x:600:501::/home/user1:/bin/bash
mysql:x:27:27:mysql server:/var/lib/mysql:/bin/bash

4、awk的内置变量

awk常用的变量有:

NF :用分隔符分隔后一共有多少段

NR :行数

{print NR":"NF}    列出行号,以冒号分隔,列出共有多少段;

[[email protected] ~]# head -5 passwd |awk -F: ‘{print NR":"NF}‘
1:7
2:7
3:7
4:7
5:7
[[email protected] ~]# head -5 passwd |awk -F: ‘{print NF}‘
7
7
7
7
7
[[email protected] ~]# head -5 passwd |awk -F: ‘{print NR}‘
1
2
3
4
5
[[email protected] ~]# head -5 passwd |awk -F: ‘{print $NF}‘
/bin/bash
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
NF 表示是多少段,而$NF是最后一段的值, 而NR则是行号。
5、awk中的数学运算
awk还可以对各个段的值进行数学运算:
[[email protected] ~]# awk -F: ‘{(tot=tot+$3)};END {print tot};‘ passwd 
1720

这里的END要注意一下,表示所有的行都已经执行,这是awk特有的语法,其实awk连同sed都可以写成一个脚本文件,而且有他们特有的语法,在awk中使用if判断、for循环都是可以的。

示例,if判断,如第一段的值为root,打印整行;

[[email protected] ~]# awk -F: ‘{if ($1=="root") print $0}‘ passwd 
root:x:0:0:root:/root:/bin/bash

示例,for循环,定义sum变量,i值为第3段的值;求第3段的和;

[[email protected] ~]# sum=0;for i in `awk -F: ‘{print $3}‘ passwd`;do sum=$[($sum+$i)];done;echo $sum
1720
时间: 2024-10-27 13:00:22

linux正则表达式awk讲解的相关文章

关于清晰讲解linux正则表达式的博文分享

http://www.cnblogs.com/chengmo/archive/2010/10/10/1847287.html  linux shell 正则表达式(BREs,EREs,PREs)差异比较 http://www.360doc.com/content/11/0304/11/5912935_98007617.shtml  正则表达式练习 http://www.jb51.net/article/42989.htm  Linux 正则表达式详解 http://www.sjhf.net/bl

Linux正则表达式grep与egrep

Linux正则表达式grep与egrep 正则表达式:它是指一个用来描述或者匹配一系列符合某个句法规则的字符串的单个字符串.在很多文本编辑器或其他工具里,正则表达式通常被用来检索或替换那些符合某个模式的文本内容.其实正则表达式,只是一种思想,一种表示方法.只要我们使用的工具支持表示这种思想那么这个工具就可以处理正则表达式的字符串.常用的工具有grep, sed, awk,这三个都是针对文本的行才操作的. grep  过滤器语法: grep  [-cinvABC]  'word'  filenam

linux sed&awk详解

sed sed为文本处理三剑客之一.本身就是一个管道命令,可以将文件进行增加,修改,删除,选取等操作. 格式:sed [-nrefi] [command] "文本字符串" 选项: -r: 支持扩展正则表达式: -n: 静默模式:(sed有个模式空间和保持空间,默认sed会将执行的结果保存到模式空间里面,而模式空间默认情况是输出在屏幕上,加了-n,则阻止将模式空间的内容输出到屏幕上) -f:/path/to/script_file:从指定的文件中读取脚本并运行 -e script1 -e

Linux 正则表达式小入门

概要 Linux下的一些基本工具,如grep,awk,sed等,都支持正则表达式.一般拿来做简单的正则表达式实践最好不过了.然而正则表达式的王国何其浩瀚,想完全掌握正则表达式的精髓恐怕没有那么简单.很多语言,如Perl,PHP,Java等,都有专门的正则表达式支持.这本书对正则表达式的讲解非常全面和细致,参考这里:Mastering regular expressions 百度给的第一个链接就是这个网站,貌似对正则表达式讲的挺全,传送门-->正则 看几个基本的元字符吧~ # 正则表达式中各符号的

常用正则表达式实例讲解

Shell正则表达式 正则表达式:处理大量的字符串而定义的规则和方法,通过规定的符号的组合迅速的找到需要的内容. 注意事项: 1 正表达式的应用广泛,Linux中常用的正则表达式的命令:grep(egrep),sed,awk 2.Linux的正则表达式和命令行中的通配符有本质的区别 Eg:命令行中通配符"*" 表示匹配所有,不同于正则表达式中的 * ]# ll *.sh     #命令行中"*"表示匹配所有 3.文档阅读说明 文中 "]#" 表示

linux正则表达式的使用

正则表达式的使用 1.1 创建环境 cat >q.txt<<EOF oldboy  oldboy hellooldboy hellooldboy awkoldboy  awkoldboy sedoldboy sedoldboy oldboyedu oldboyedu EOF 取出只有oldboy的行 grep "\boldboy\b" q.txt 实例1-1反向引用 [[email protected]~]# #####第一个里程碑-反向引用(先保护起来,然后使用)

Linux 正则表达式

Linux 正则表达式(*****) 1.什么是正则表达式? 简单的说,正则表达式就是为处理大量的字符串而定义的一套规则和方法 通过定义的这些特殊符号的辅助,系统管理员就可以快速过滤,替换或输出需要的字符串. Linux 正则表达式一般以行为单位处理的. 注意事项: a.#alias grep='grep --color=auto'  ===>以特定颜色高亮显示匹配关键字 b.注意字符集,LC_ALL=C   #export LC_ALL=C 实战举例: 1)^ word  搜索以 word 开

Linux正则表达式及扩展表达式、egrep命令的说明(8月27日作业练习)

1.总结本此课程中所涉及命令的使用方法及相关示例展示: 权限管理:           权限管理: chmod            所属关系管理: chown, chgrp            文件遮罩码:umask 修改文件权限:chmod          chmod [OPTION]... MODE[,MODE]... FILE...           chmod [OPTION]... OCTAL-MODE FILE...           chmod [OPTION]... -

【Linux 工具--AWK】

1. awk简介 awk是一种编程语言,用于在linux/unix下对文本和数据进行处理.数据可以来自标准输入.一个或多个文件,或其它命令的输出.它支持用户自定义函数和动态正则表达式等先进功能,是linux/unix下的一个强大编程工具.它在命令行中使用,但更多是作为脚本来使用.awk的处理文本和数据的方式是这样的,它逐行扫描文件,从第一行到最后一行,寻找匹配的特定模式的行,并在这些行上进行你想要的操作.如果没有指定处理动作,则把匹配的行显示到标准输出(屏幕),如果没有指定模式,则所有被操作所指