正则表达式是一种符号表示法，被用来识别文本模式。在某种程度上，它们与匹配 文件和路径名的 shell 通配符比较相似，但其规模更庞大。许多命令行工具和大多数的编程语言 都支持正则表达式，以此来帮助解决文本操作问题。
一、正则表达式的字符组成
^ $ . [ ] { } - ? * + ( ) | \
二、grep
grep 程序会在文本文件中查找一个指定的正则表达式，并把匹配行输出到标准输出。
[[email protected] ~]# grep root /etc/passwd root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin
这个命令列出了文件/etc/passwd中含有root的行。
语法规则:
grep [options] regex [file……]
其中regex是正则表达式
常用选项
选项描述
-i忽略大小写。不会区分大小写字符。也可用--ignore-case 来指定。
-v不匹配。通常，grep 程序会打印包含匹配项的文本行。这个选项导致 grep 程序 只会不包含匹配项的文本行。也可用--invert-match 来指定。
-c打印匹配的数量（或者是不匹配的数目，若指定了-v 选项），而不是文本行本身。 也可用--count 选项来指定。
-l打印包含匹配项的文件名，而不是文本行本身，也可用--files-with-matches 选项来指定。
-L相似于-l 选项，但是只是打印不包含匹配项的文件名。也可用--files-without-match 来指定。
-n在每个匹配行之前打印出其位于文件中的相应行号。也可用--line-number 选项来指定。
-h应用于多文件搜索，不输出文件名。也可用--no-filename 选项来指定。
-E 增强型的grep程序
[email protected] ~]# grep -l lhl * grep: 160822.bak: Is a directory a.txt grep: bin: Is a directory username.conf [[email protected] ~]# grep "^lhl" a.txt //以lhl开头的行 lhl:x:0:0:lhl:/lhl:/bin/bash [[email protected] ~]# grep "bash$" a.txt //以bash结尾的行 lhl:x:0:0:lhl:/lhl:/bin/bash [[email protected] ~]# grep -n \‘ a.txt //\的作用取消字符反义 12:uucp:x:10:14:‘uucp‘:/var/spool/uucp:/sbin/nologin [[email protected] ~]# grep l[az] a.txt //查找以l之后从a~z的行 saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin [[email protected] ~]# grep -v "^#" a.txt //查找不一警号开头的行 lhl:x:0:0:lhl:/lhl:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin [[email protected] ~]# grep [4,6] -n a.txt //有数字4~6的行 4:#adm:x:3:4:adm:/var/adm:/sbin/nologin 5:#lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin 9:#shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown [[email protected] ~]# grep^g.*g a.txt //以g开头和以g结束的行 games:x:12:100:games:/usr/games:/sbin/nologin
注意：
\? 用于修饰前导字符，表示前导字符出现0或1次
\+ 用于修饰前导字符，表示前导字符出现1或多次 例：a\+匹配1或多个a
\{n,m\} 用于修饰前导字符，表示前导字符出现n至m次（n和m都是整数，且n<m）
例：a\{3,5\}匹配3至5个连续的a
[[email protected] ~]# grep ‘lhl\{1,2\}‘ a.txt //出现lhl的行在1个或2个
lhl:x:0:0:lhl:/lhl:/bin/bash
#operator:x:11:0:operator:/lhl:/sbin/nologin
[[email protected] ~]# grep ‘\<lhl\>‘ a.txt //精确匹配
二、sed编辑器
sed是一种在线编辑器，其处理方式是每次处理一行内容，处理时，把当前的行存储在临时缓冲区中，sed则直接处理缓冲区中的内容，并将处理过后的内容送往屏幕显示，接着处理下一行直至文件内容末尾。
sed语法：
sed [选项] ‘[命令]‘ 文件
选项及参数
-n 抑制自动(默认的) 输出 *** 读取下一个输入行 -e 表示直接在命令行模式上进行sed的操作，是默认的选项，可以不写 -f 将sed操作写在一个文件里，用的的方法则是：“-f filename”就可以按照内容进行sed的操作了。 -i 表示插入，后接字符串，添加到当前行的上一行 -i.bak 编辑的同时创造.bak的备份 -r 使用扩展的正则表达式 *** 参数: a 在匹配后追加 *** i 在匹配前插入 *** p 打印某个选择数据，通常与-n安静模式一起使用。 *** d 删除 *** r/R 读取文件/一行 w 另存 s 查找，还可以替换，可参考vim里面的搜索替换功能。% s/root/lhl/g 全部替换。 c 替换，后接字符串，用它代替n1到n2行之间的行 y 替换 h/H 复制拷贝/追加模式空间(缓冲区)到存放空间 g/G 粘贴从存放空间取回/追加到模式空间 x 两个空间内容的交换 n/N 拷贝/追加下一行内容到当前 D 删除\n之前的内容 P 打印\n之前的内容 b 无条件跳转 t 满足匹配后的跳转 T 不满足匹配时跳转
常用分隔符：_、/、|、.等
[[email protected] ~]# sed ‘s/lhl/root/g‘ a.txt //替换操作
用 & 表示匹配的字符串
[[email protected] ~]# sed ‘s/root/(&)/‘ /etc/passwd>
sed 默认只替换搜索字符串的第一次出现 , 利用 /g 可以替换搜索字符串所有
[[email protected] ~]#sed -e ‘3,5s/nologin/bash/‘ -e‘9,11s/sbin/bin/‘ passwd > b.txt //同时替换多项内容：-e [[email protected] ~]#sed -n ‘3p‘ passwd #显示文件第三行 daemon:x:2:2:daemon:/sbin:/sbin/nologin [[email protected] ~]# cat -n /etc/passwd | sed -n ‘2,5p‘ //显示2—5行的内容p与-n选项配合使用 2 bin:x:1:1:bin:/bin:/sbin/nologin 3 daemon:x:2:2:daemon:/sbin:/sbin/nologin 4 adm:x:3:4:adm:/var/adm:/sbin/nologin 5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin [[email protected] test]#sed -n ‘1,3!p‘ passwd //显示文件除前三行之外的全部内容 [[email protected] ~]# cat -n /etc/passwd | sed -n ‘3,+3p‘//显示第三行及第三行之后的内容 3 daemon:x:2:2:daemon:/sbin:/sbin/nologin 4 adm:x:3:4:adm:/var/adm:/sbin/nologin 5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin 6 sync:x:5:0:sync:/sbin:/bin/sync [[email protected] ~]# sed‘1i###‘ passwd //在文件头插入“###”如果没有1的话则是在每一行之前插入### [[email protected] ~]# sed‘[email protected]@@‘ passwd //在文件尾插入"@@@"
注意：nl命令在linux系统中用来计算文件中行号。nl可以将输出的文件内容自动的加上行号
[[email protected] ~]#sed ‘2a hello \ //在文件的第二行后插入两行内容 > how are your?‘passwd [[email protected] ~]#sed ‘3c$$$‘passwd //把文件第三行替换成“$$$” [[email protected] ~]# sed ‘$c####‘ passwd //把文件的最后一行替换成#### [[email protected] ~]#nl /etc/passwd | sed ‘2ahello‘ //nl显示行号，而空行的行号则不显示 注意： sed 的-i选项可以直接修改文件中的内容 [[email protected] ~]#sed -i ‘s/root/rm/‘ passwd 复制粘贴 把文件的第二行到第四行复制到文件的末尾 [[email protected] ~]#sed ‘2,4H;$G‘passwd > b.txt h/H 复制拷贝/追加模式空间(缓冲区)到存放空间 g/G 粘贴从存放空间取回/追加到模式空间 删除空行 d 删除 *** [[email protected] ~]#sed ‘/^$/d‘ passwd > c.txt //删除空行显示 [[email protected] ~]#sed ‘/xfs/w newfstab‘ /etc/fstab //把fstab中包含xfs的记录（行）写入新的文件中
[[email protected] ~]# cat a.txt | sed ‘s/#.*$//g‘ | sed ‘/^$/d‘ //删除文件的注释部分并删除空行。
[[email protected] ~]# cat a.txt | sed ‘s/^[ ]* //g‘ //删除行首空格
[[email protected] ~]# sed -i "s/lhl/$var1/g" a.txt //变量替换
[[email protected] ~]# cat a.txt
###:x:0:0:###:/###:/bin/bash
awk的应用
（1）打印出eth0ip地址。
[[email protected] ~]# ifconfig eth0 | grep "inet addr:" | awk -F [:" "]+ ‘{print $4}‘
192.168.213.100
或：
[[email protected] ~]# ifconfig eth0 | grep "inet addr:" | awk -F: ‘{print $2}‘ | awk ‘{print $1}‘
192.168.213.100
awk的默认分隔符是空格，默认输出是$0,一整行内容。
awk ‘/root/{print}‘ passwd 或awk ‘/root/‘ passwd从 //打印出文件passwd中包含root的行
awk ‘length$0>40 {print NR $0}‘ nginxd,sh //显示文件nginxd.sh内容中超过40个字符的行号。其中NR作为awk的内置标志符不需要使用$符号，而如果引用自定义变量只需要$符号，且自定义变量需要与awk保留字不同。
awk ‘/[Rr]estart/,/[Rr]eload/ {print $1}‘ nginxd,sh
//显示文件nginxd.sh中包含Restart/restart和Reload/reload的行中第一个字符。
解释：awk -F [:" "]表示awk 以空格作为分隔符，然后打印出第4列参数