1、什么是正则表达式
正则表达式是一类字符所书写的模式(pattern)取行：选择，grep，egrep，fgrep
使用正则表达式来描述选择条件
正则表达式：基本正则表达式，扩展正则表达式
元字符：*，？这类字符不表示字符本身的意义，而用于额外功能性的描述
给定选取条件，只显示符合条件的行
grep：默认支持基本正则表达式;
egerp：支持扩展正则表达式;
fgrep：不支持正则表达式元字符，快速搜索，所有的字符都当做字符本身
grep：简单搜索，全局搜索基本正则表达式
grep [options] ‘pattern‘ FILE
# grep ‘root‘ /etc/passwd #显示含有root字符串的行 root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin
基本正则表达式的元字符：
^：锚定行首的符合条件的内容，用法格式"^pattern"
# grep ‘^root‘ /etc/passwd root:x:0:0:root:/root:/bin/bash
$：锚定行尾的符合条件的内容，用法格式"pattern$"
# grep --color=auto ‘sh$‘ /etc/passwd root:x:0:0:root:/root:/bin/bash oracle:x:500:500::/home/oracle:/bin/bash hadoop:x:501:502::/home/hadoop:/bin/bash
^pattern$：以单词开头，并以其结尾
^$：空白行
.：匹配任意单个字符
*：匹配紧挨在其前面的字符任意次数
a*b：ab，aab，acb，b
.*：匹配任意长度的任意字符
[]：匹配指定范围内的任意但个字符
[^]：匹配指定范围外的任意单个字符
\？：匹配紧挨在其前面的字符0次或1次
a\?b：ab，aab，acb，b
\{m,n\}：匹配其前面的字符至少m次，至多n次
a\{1,3\}b：b，ab，aab，aaaab，abc
\{0,n\}：至多n次，0-n次
\{m,\}：至少m次
\{m\}：精确匹配m次
\<：锚定词首，，用法格式：\<pattern
\b：\bpattern
\>：锚定词尾，用法格式：pattern\>
\b：pattern\b
\<pattern\>：锚定单词
\(\)：分组，用法格式：\(pattern\)
\(ab\)\{1,3\}：ab,aab,abb,abab,ababab
\(ab\).*\1：前面与后面一样
# grep "\(gentoo\).*\1" /etc/passwd gentoo:x:1001:1001:cao yuan lang:/home/gentoo:/bin/bash
grep的选项：
--color=auto
export GREP_COLOR=‘01;36‘ 01表示字体颜色(前景色)，36表示背景颜色
-v：反向选取，只显示不符合模式的行
-o：只显示被模式匹配到的字符串，而不是正行
-i：匹配时，不区分字符大小写
-A N：显示匹配到的行的时候，顺带显示其后面的N个行
-B N：显示匹配到的行的时候，顺带显示其前面的N个行
-C N：显示匹配到的行的时候，顺带显示其前面和后面的N个行
-E：使用扩展的正则表达式
例：
显示/proc/meminfo文件中以不区分大小的s开头的行;
# grep "^[Ss]" /proc/meminfo
显示/etc/passwd中以nologin结尾的行;
# grep "nologin$" /etc/passwd # grep "nologin$" /etc/passwd | wc -l #显示有多少行
取出默认shell为/sbin/nologin的用户列表
# grep "nologin$" /etc/passwd | cut -d: -f1
取出默认shell的bash，且其用户ID号最小的用户名
# grep "/bin/bash$" /etc/passwd | sort -n -t: -k3 | head -1 | cut -d: -f1 #-t 指定分隔符，-k指定第几个字段进行排序
显示/etc/rc.d/rc.sysinit中以#开头，且后面跟一个或多个空白字符，而后面又跟了任意非空白字符的行
# grep "^#[[:spaec:]]\{1,\}[^[:space:]]" /etc/rc.d/rc.sysinit
显示/etc/rc.d/rc.sysinit中符合形为“任意单个字符n任意字符任意单个字符n”模式的行：即任意但个字符后面跟了个n，n后面有任意长度的任意字符，而后是任意单个字符后面跟了个n
# grep ".n.*.n" /etc/rc.d/rc.sysinit
显示/etc/rc.d/rc.sysinit中符合形为“任意单个字符n任意字符任意单个字符n”模式的行：即任意单个字符后面跟了个n，n后面有任意长度的任意字符，而后是任意单个字符后面跟了个n，但后面的n之前的字符要与前面的n之前的字符相同
# grep "\(.n\).*\1" /etc/rc.d/rc.sysinit
显示/boot/grub/grub.conf文件中以一个或多个空白字符开头的行
# grep "^#[[:spaec:]]\{1,\}" /boot/grub/grub.conf
找出某文件中的，1位数，或2位数
# grep "\<[0-9]\{1,2\}\>" /etc/rc.d/rc.sysinit
# grep -w "[0-9]\{1,2\}" /etc/rc.d/rc.sysinit
找出ifconfig命令结果中的1-255之间的整数
ifconfig | grep
# ifconfig | egerp --color=auto "\<([1-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>"
100-199：1[0-9][0-9]
200-249：2[0-4][0-9]
250-255：25[0-5]
查找当前系统上名字为student（必须出现在行首）的用户的账号的相关信息，文件为/etc/passwd
# grep "^student:" /etc/passwd
扩展正则表达式元字符：
.：任意单个字符
[]：匹配指定范围内的任意但个字符
[^]：匹配指定范围外的任意单个字符
*：匹配紧挨在其前面的字符任意次数
+：匹配其前面的字符至少1次
？：匹配紧挨在其前面的字符0次或1次
{m,n}：至少m次，至多n次
()：分组，支持引用\1,\2
a|b：二选一
\<：锚定词首，，用法格式：\<pattern
\b：\bpattern
\>：锚定词尾，用法格式：pattern\>
\b：pattern\b
\<pattern\>：锚定单词
^：锚定行首的符合条件的内容，用法格式"^pattern"
$：锚定行尾的符合条件的内容，用法格式"pattern$"
# egrep "c|Cat" /root/test.txt c,Cat # egrep "(c|C)at" /root/test.txt cat,Cat
fgrep：fist
sort：排序
-f：忽略大小写
-n：以数值大小进行排序：默认以ASCII表中的数字大小排序
-r：逆序排序
-u：移除重复的行，具有相同内容的行只保留一个
只有两行一模一样，并且挨着，才算是重复的行
-R：随机排序
-t：指定分隔符
-k：指定用第几个字段进行排序
uniq：
-c：统计每行重复的
-u：只显示没有重复的行
-d：只显示重复过的行
# sort sort.txt | uniq -c 1 First line. 1 Four line. 1 How are you? 2 Second line. 2 Third line. # sort sort.txt | uniq -d Second line. Third line. # sort sort.txt | uniq -u First line. Four line. How are you?
文本处理三剑客：grep，sed，awk
2、重定向
Linux I/O重定向，管道
I/O：这是一种统称
Linux为应用程序提供了I/O重定向的功能
程序本身要有输入输出的功能
为了安全起见，所以输入输出都标准化了，标准输入是键盘，标准输出是监视器（显示器），错误输出也是监视器
每一个内核打开的文件都有一个文件描述符：file disciptor，FD
标准输入FD：0 标准输出FD：1 错误输出FD：2
将其默认数据流改为其他设备，就称为IO重定向
输出重定向：
1>：覆盖重定向，即覆盖文件里面的内容 1可以省略
set -C：避免覆盖已经存在的文件的内容
set +C：关闭上述功能
1>>：追加重定向 1可以省略
/dev/null：数据黑洞，bit bucket
错误重定向：
2>：覆盖重定向
2>>：追加重定向
">"改成">>"则表示把输出追加到filename文件的末尾，如果文件不存在则创建它。
同时重定向标准输出和错误输出：
COMMAND > /path/to/stdout 2> /path/to/error
标准输出和错误输出定向至一个文件：
&>
&>>
COMMAND &> /path/to/somewhere 或 COMMAND > /path/to/somewhere 2>&1
输入重定向：
<：
COMMAND < /from/somewhere
<<：Here Document，此处创建文档
cat > /path/to/somefile << EOF 通常用于脚本中生成文档
cat << EOF 通常用于脚本中向用户输出大段信息
3、管道
管道：|
COMMAND1 | COMMAND2 | COMMAND3 |...
管道的最后一个命令是在当前shell的子shell中执行
多道输出：
tee
COMMAND1 | tee /path/to/somefile
# ifconfig | grep "inet addr:" | grep -v ‘127.0.0.1‘ | cut -d:-f2 | cut -d‘ ‘ -f1 192.168.1.1
例：
统计/usr/bin/目录下的文件个数
# ls /usr/bin | wc -l
取出当前系统上所有用户的shell，要求每种shell只显示一次，并且按顺序进行显示
# cut -d: -f7 /etc/passwd | sort -u | grep -v "^$"
如何显示/var/log目录下每个文件的内容类型？
# file /var/log/* 或 # cd /var/log ; file ‘ls /var/log‘
取出/etc/inittab文件的第5行
# head -5 /etc/inittab | tail -1
取出etc/passwd文件中倒数第9个用户的用户名和shell，显示到屏幕上并将其保存至/tmp/users.txt文件中
# tail -9 /etc/passwd | head -1 | cut -d: -f1,7 | tee /tmp/users.txt
显示/etc目录下所有以pa开头的文件，并统计其个数
# ls /etc/pa* | wc -l
不使用文件编辑器，将alias cle=clear一行内容添加至当前用户的.bashrc文尾部
# echo ‘alias cls=clear‘ >> ~/.bashrc