1、正则表达式
匹配给定文本中的所有单词:( ?[a-zA-Z]+ ?) ?用于匹配单词前后可能出现的空格。
匹配IP地址:[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3} 括号分割的4个整数。
2、grep “mach_text” file1 file2 file3….
递归搜索文件: grep “text” ./ -Rn
3、cut 将文本按列进切分。可以指定分割每列的定界符。在cut术语中,每列一个字段。
cut –f 2,3 filename 显示第2列和第3列。
打印出除第3列之外所有列: cut –f3 –complement filename
3、sed
流编辑器。 可以替换给定文本中的字符串。
sed ‘s/pattern/replace_string/’ file 使用 –i 可以将替换结果应用于源文件。此命令只是替换每一行中第一处符合样式的内容,如果要替换所有内容,需要在命令尾部加上g:
sed ‘s/pattern/replace_string/g’file
移除空白行: sed ‘/^$/d’file
已匹配字符串标记&: echo thisis an example | sed ‘s/\w\+/[&]g’
[this][is] [an] [example]
正则表达式\w\+ 匹配每一个单词,然后用[&]替换它。&对应于之前所匹配的单词。
4、awk
可以对列和行进行操作。
awk ‘ BEGIN{ commands } pattern { commands } END{ commands }’ filename
一个awk脚本通常由3部分组成:BEGIN语句块, END语句块和能够使用模式匹配的通用语句块。3个部分都是可选的。
(1)执行BEGIN{commands }语句块中的语句。
(2)从文件或stdin中读取一行,然后执行pattern{commands }。重复这个过程,直到文件全部被读取完毕。
(3)当读至输入流(inputstream)末尾时,执行END{ commands }语句块。
echo –e “line1\nline2” | awk ‘BEGIN{ print “Start” } { print } END{print “End” }’
特殊变量:
NR:表示记录数量(number of records),在执行过程中对应于当前行号。
NF:表示字段数量(number of fields),在执行过程中对应于当期那的字段数。
$0:这个变量包含执行过程中当前行的文本内容。
$1:包含第一个字段的文本内容。
awk ‘{ print $5 }‘ filename 打印第五列。
打印当前目录下的个文件的权限和文件名:
awk ‘{print $1 ":"$9}‘
total:
-rw-rw-r--.:BSDmakefile
drwxrwxr-x.:config
-rw-rw-r--.:Config.in
drwxrwxr-x.:docs
drwxrwxr-x.:feeds
-rw-rw-r--.:feeds.conf.default
在文件中移除包含某个单词的句子:
sed ‘ s/ [^.]*mobile phone[^.]*\ . //g ‘ filename
移除包含单词“mobile phone”的句子。
表达时中格式为:‘s/匹配样本/替代字符串/g’ [^.]* 可以匹配除句点之外的任何字符的组合。每一个匹配句子均被//替换(/与/之间没有任何内容)