2015-04-10/2015-04-13正则

内容概要
正则就是有一定规律的字符串，有几个特殊符号很关键（. * + ? | )，我们平时不仅可以用命令行工具grep/sed/awk去引用正则，而且还可以把正则嵌入在nginx、apache、甚至php、python编程语言当中，学好正则可以让你受用无穷！
一、grep/egrep
1. 语法+选项
语法： grep  [-cinvABC]  ‘word‘  filename
-c ：打印符合要求的行数
-n ：在输出符合要求的行的同时连同行号一起输出
-v ：打印不符合要求的行 
-A ：后跟一个数字（有无空格都可以），例如 –A2则表示打印符合要求的行以及下面两行
-B ：后跟一个数字，例如 –B2 则表示打印符合要求的行以及上面两行  
-C ：后跟一个数字，例如 –C2 则表示打印符合要求的行以及上下各两行
-r : 会把目录下面所有的文件全部遍历
3. egrep
egrep工具 是grep工具的扩展
egrep ‘o+‘ 1.txt   表示1个或1个以上前面字符
egrep ‘o?‘ 1.txt  表示0个或者1个前面字符
egrep ‘roo|body‘ 1.txt  匹配roo或者匹配body
egrep ‘r(oo)|(at)o‘ 1.txt 用括号表示一个整体
egrep ‘(oo)+‘ 1.txt 表示1个或者多个 ‘oo‘
4. . * + ? 总结
. 表示任意一个字符（包括特殊字符）
* 表示零个或多个*前面的字符
.* 表示任意个任意字符（包含空行）
+ 表示1个或多个+前面的字符
？ 表示0个或1个?前面的字符
其中，+ ? grep不支持，egrep才支持。
二.  sed   打印
打印指定行 sed ‘10‘p -n 1.txt; sed ‘1,4‘p -n 1.txt; sed ‘5,$‘p -n 1.txt
打印包含某个字符串的行 sed -n ‘/root/‘p 1.txt 可以使用 ^ . * $等特殊符号
-e 可以实现同时进行多个任务 sed -e ‘/root/p‘ -e ‘/body/p‘ -n 1.txt 也可以用;实现  sed  ‘/root/p; /body/p‘ -n 1.txt
删除行 sed ‘/root/d‘ 1.txt;   sed ‘1d‘ 1.txt; sed ‘1,10d‘ 1.txt
替换 sed ‘1,2s/ot/to/g‘ 1.txt, 其中s就是替换的意思，g为全局替换，否则只替换第一次的，/也可以为 #, @ 等
删除所有数字 sed ‘s/[0-9]//g‘ 1.txt
删除所有非数字  sed ‘s/[^0-9]//g‘ 1.txt
调换两个字符串位置 head -n2 1.txt |sed ‘s/\(root\)\(.*\)\(bash\)/\3\2\1/‘
直接修改文件内容 sed -i ‘s/ot/to/g‘ 1.txt
三.  awk   截取
截取文档中的某段 awk -F ‘:‘ ‘{print $1}‘ 1.txt
也可以使用自定义字符连接每个段 awk -F‘:‘ ‘{print $1"#"$2"#"$3"#"$4}‘ 1.txt
匹配字符或字符串 awk ‘/oo/‘ 1.txt
针对某个段匹配 awk -F ‘:‘ ‘$1 ~/oo/‘ 1.txt
多次匹配 awk -F ‘:‘ ‘/root/ {print $1,$3}; $1 ~/test/; $3 ~/20/‘ 1.txt
条件操作符==, >,<,!=,>=;<=  
awk -F ‘:‘ ‘$3=="0"‘  1.txt;
awk -F ‘:‘ ‘$3>="500"‘ 1.txt;
awk -F ‘:‘ ‘$7!="/sbin/nologin"‘  1.txt;
awk -F ‘:‘ ‘$3<$4‘ 1.txt ;
awk -F ‘:‘ ‘$3>"5" && $3<"7"‘ 1.txt
awk -F ‘:‘ ‘$3>"5" || $7=="/bin/bash"‘ 1.txt
awk内置变量 NF(段数  filed )  NR(行数  )
head -n3 1.txt | awk -F ‘:‘ ‘{print NF}‘
head -n3 1.txt | awk -F ‘:‘ ‘{print $NF}‘
head -n3 1.txt | awk -F ‘:‘ ‘{print NR}‘
打印20行以后的行awk ‘NR>20‘ 1.txt
awk -F ‘:‘ ‘NR>20 && $1 ~ /ssh/‘  1.txt
更改某个段的值awk -F ‘:‘ ‘$1="root"‘ 1.txt
数学计算, 把第三段和第四段值相加，并赋予第七段 awk -F ‘:‘ ‘{$7=$3+$4; print $0}‘ 1.txt
计算第三段的总和 awk -F ‘:‘ ‘{(tot=tot+$3)}; END {print tot}‘ 1.txt
awk中也可以使用if关键词 awk -F ‘:‘ ‘{if ($1=="root") print $0}‘ 1.txt
扩展阅读：扩展阅读：
1. grep 其实还可以这样使用:
把一个目录下，过滤所有*.php文档中含有eval的行
grep -r --include=“*.php" ‘eval‘ /data/
实际应用：看看你的网站程序有没有被黑客入侵  http://www.lishiming.net/thread-1028-1-1.html
2. awk用print打印单引号 http://www.lishiming.net/thread-1738-1-1.html
3. 打印文件中特定的某行到某行之间的内容  http://www.lishiming.net/thread-559-1-1.html
4. awk 中使用外部shell变量 http://www.lishiming.net/thread-199-1-1.html
5. awk 合并一个文件 http://www.lishiming.net/thread-493-1-1.html
6. grep -q 用于if 逻辑判断 http://www.lishiming.net/thread-439-1-1.html
7. awk 计算1到100的和 http://www.lishiming.net/thread-384-1-1.html
8. 把一个文件多行连接成一行 http://www.lishiming.net/thread-266-1-1.html
9. awk中gsub函数的使用 http://www.lishiming.net/thread-200-1-1.html
10. sed在文件中某一行最后添加一个数字 http://www.lishiming.net/thread-288-1-1.html
11. awk 截取指定多个域为一行 http://www.lishiming.net/thread-224-1-1.html
12. sed删除某关键字的下一行到最后一行 http://www.lishiming.net/thread-213-1-1.html
13. grep 或 egrep 或awk 过滤两个或多个关键词 http://www.lishiming.net/thread-198-1-1.html
14. 用awk编写生成以下结构文件的程序 http://www.lishiming.net/thread-5494-1-1.html
15. 如何使用sed打印1到100行包含某个字符串的行  http://www.lishiming.net/thread-1048-1-1.html
16. 把两个文件中相同的行合并成一行 http://www.lishiming.net/thread-945-1-1.html
17. sed转换大小写  http://www.aminglinux.com/bbs/thread-7758-1-1.html
18. awk教程  http://www.cnblogs.com/emanlee/p/3327576.html