Linux 文本处理三剑客
grep : 文本过滤工具
sed: 文本编辑器(以行为编辑对象单位) stream editor
awk: 文本报告生成器; linux上awk的实现为gawk
grep:Global search REgular Expression and Print out the line
作用:文本搜索工具,根据用户指定的“模式(pattern)”逐行去搜索目标文本,打印匹配到的行。
模式:由正则表达式的元字符及文本字符所编写的过滤条件;
元字符:字符不表示其字面意义,而用于表示通配或控制功能
正则表达式分为两类:
基本正则表达式 BRE
扩展正则表达式 ERE
grep命令:
语法: grep [OPTIONS] PATTERN [FILE...]
参数:
--color=auto:对匹配到的字符串高亮显示
-i:忽略大小写
-n:输出行号
-v:反向选择,显示没有‘搜索字符串’的行
-o:仅显示能够被模式匹配到的字符串本身
-q:静默模式
-E:使用扩展的正则表达式
基本正则表达式的元字符:
字符匹配:
.:匹配任意单个字符;
[]: 匹配指定范围内的任意单个字符
[^]: 匹配指定范围外的任意单个字符,^在[]中代表反向选择
特殊符号 | |
[:alnum:] |
代表英文大小写字符及数字,0-9,A-Z,a-z |
[:alpha:] |
代表任何英文小写字符 a-z |
[:blank:] |
空格键与[Tab]键 |
[:cntrl:] |
键盘上的控制按键,CR,LF,Tab,Del |
[:digit:] |
数字 0-9 |
[:lower:] |
小写字符 a-z |
[:upper:] |
大写字符 A-Z |
[:punct:] |
代表标点符号 “ ’ ? ! ;:$# |
次数匹配:用于指定其次数的字符的后面
*: 重复0次或多次前一个字符
\?: 重复0次或1次前一个字符
\+: 重复1次或多次前一个字符
\{m\} : 连续重复m次前一个字符
\{m,n\}: 重复m到n个前一个字符 [m,n]
\{0,n\}: 重复至多n次前一个字符
\{m,\}: 重复至少m次前一个字符
.*: 匹配任意长度的任意字符
位置锚定:
^word: 行首锚定,待查找字符串word在行首
word$: 行尾锚定,待查找字符串word在行尾
\<,\b: 词首锚定,待查找单词的左侧
\>,\b:词尾锚定,待查找单词的右侧
分组:\(\)
分组的小括号中的模式匹配到的内容,会在执行过程中被正则表达式引擎记录下来,并保存内置的变量中,这些变量分别是\1, \2 …
后向引用: 使用变量引用前面的分组括号中的模式所匹配到的字符。
示例:
#显示重复0次或多次前一个字符(可以是0次,所以只有字母b也符合) [[email protected] test]# grep ‘a*b‘ test_grep aabbccdd 343kkkbord #重复0次或1次前一个字符 [[email protected] test]# grep ‘a\?b‘ test_grep aabbccdd aaabcd abcde 343kkkbord # 重复1次或多次前一个字符 [[email protected] test]# grep ‘a\+b‘ test_grep aabbccdd aaabcd abcde # 连续重复2次前一个字符 [[email protected] test]# grep ‘a\{2\}b‘ test_grep aabbccdd aaabcd #此行符合重复2次a aab #\{0,n\}: 重复至多n次前一个字符 [[email protected] test]$ grep ‘a\{0,2\}b‘ test_grep aaabc aabbcc abababab abcabcabc bcdef #匹配行首是aaa的行 [[email protected] test]$ grep ‘^aaa‘ test_grep aaabc #匹配行尾是bab结束的行 [[email protected] test]$ grep ‘bab$‘ test_grep Abababab #查找单词are所在的行 [[email protected] test]$ grep ‘\bare\b‘ test_grep how are you? how old are you? where are you from? #分组的使用 [[email protected] test]$ grep ‘\(aba\).*\1‘ test_grep aba666abab #结尾的b是不会被匹配到的
扩展正则表达式:
简化命令操作,支持查找模式内管道命令,元字符不用转义字符
grep家庭有三个命令
grep :基本正则表达式
-e :扩展正则表达式
-f :不支持正则表达式
egrep 扩展正则表达式
fgrep 不支持正则表达式
扩展正则表达式的元字符
字符匹配:
.:匹配任意单个字符;
[]: 匹配指定范围内的任意单个字符
[^]: 匹配指定范围外的任意单个字符,^在[]中代表反向选择
次数匹配:
*: 重复0次或多次前一个字符
?: 重复0次或1次前一个字符
+: 重复1次或多次前一个字符
{m} : 连续重复m次前一个字符
{m,n}: 重复m到n个前一个字符 [m,n]
.*: 匹配任意长度的任意字符
位置锚定:
^word: 行首锚定,待查找字符串word在行首
word$: 行尾锚定,待查找字符串word在行尾
\<,\b: 词首锚定,待查找单词的左侧
\>,\b:词尾锚定,待查找单词的右侧
分组:()
后向引用:\1, \2, ...
模式中应用管道命令
a|b
C|cat: 不表示Cat或cat,而表示C或cat;
要写成(C|c)at
egrep ‘a|b‘ test.txt
练习:
1、显示/etc/passwd文件中以bash结尾的行;
[email protected] test]$ grep ‘bash$‘ /etc/passwd root:x:0:0:root:/root:/bin/bash roger:x:500:500:Roger.Wang:/home/roger:/bin/bash
2、显示/etc/passwd文件中的两位数或三位数;
[[email protected] test]$ grep ‘\<[0-9]\{2,3\}\>‘ /etc/passwd mail:x:8:12:mail:/var/spool/mail:/sbin/nologin uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin ..... gdm:x:42:42:gdm system account:/var/lib/gdm:/sbin/nologin tcpdump:x:72:72::/:/sbin/nologin roger:x:500:
3、显示‘netstat -tan‘命令结果中以‘LISTEN’后跟0个、1个或多个空白字符结尾的行;
[[email protected] test]$ netstat -tan | grep ‘LISTEN *‘ tcp 0 0 0.0.0.0:1445 0.0.0.0:* LISTEN tcp 0 0 0.0.0.0:902 0.0.0.0:* LISTEN tcp 0 0 0.0.0.0:139 0.0.0.0:* LISTEN tcp 0 0 127.0.0.1:52719 0.0.0.0:* LISTEN tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN tcp 0 0 127.0.0.1:8979 0.0.0.0:* LISTEN tcp 0 0 0.0.0.0:48500 0.0.0.0:* LISTEN tcp 0 0 127.0.0.1:59669 0.0.0.0:* LISTEN .......
4、添加用户bash,testbash, basher以及nologin用户(nologin用户的shell为/sbin/nologin);而后找出/etc/passwd文件中用户名同shell名的行;
# grep ‘\(^\<.*\>\).*\1$‘ /etc/passwd
5、显示当前系统上root、centos或user1用户的默认的shell和UID;
# egrep ‘^(root|centos|user1)‘ /etc/passwd | cut -d ‘:‘ -f 1,3,7
6、找出/etc/rc.d/init.d/functions文件中某单词(单词中间可以存在下划线)后面跟着一组小括号的行;
# egrep ‘\b\w+\b.*\(.*\)‘ /etc/rc.d/init.d/functions
7、使用echo输出一个路径,而后egrep找出其路径基名;进一步地:使用egrep取出其目录名;
处理的不合适,有待继续研究
#路径基名 basename : # echo /home/roger/test | egrep -o ‘[^/]*$‘ #目录名 dirname : #echo /home/roger/test | egrep -o ‘[/].*[/]‘
8、找出ifconfig命令执行结果中1-255之间的数字;
# ifconfig | egrep ‘\b[1-9]\b|\b[1-9][0-9]\b|\b1[0-9][0-9]\b|\b2[0-4][0-9]\b|\b25[0-5]\b‘
如有错误,敬请指正!
谢谢!