多命令执行方法:
脚本组成;
1.shengbang
2.#
3.空白行——没有任何内容的行、只包含空白字符或制表符(TAB)
4.逻辑判断
shell脚本编程:
1.加执行权限,通过路径来调用脚本;
2.利用解释器直接执行;
本文处理工具:
vim、vi、nano
文本处理三剑客:
grep系:
grep、egrep、fgrep,文本搜索工具,基础“pattern”对于给定的文本进行模糊搜索,grep系默认工作于贪婪模式下;
sed:stream editor,流数据器,行编辑器,文本编辑工具;
awk:gawk,——gun awk,文本格式化工具,文本报告生成器,文本处理的编程语言;
cut、sort
grep系:
grep
egrep
fgrep
grep:global search regular expression and print out the line。
利用正则表达式进行全局搜索并将匹配的行显示出来;
grep [OPTIONS] PATTERN [FILE...]
PATTERN:过滤条件,是由正则表达式元字符以及没有特殊含义的文本字符组成;
正则表达式的元字符:
会被正则表达式引擎解释为特殊含义;
pcre(最完整的正则表达式引擎)——perl语言的正则表达式引擎;
基本的正则表达式:bre
扩展的正则表达式:ere
grep:默认仅支持基本正则表达式;
egrep:默认仅支持扩展正则表达式;
fgrep:默认不开启正则表达式引擎;
文本字符:
只具备字符便面含义的那些字符;
常用选项:
-i, --ignore-case:忽略文本字符的大小写;
-v, --invert-match:反相匹配;最终显示的结果是pattern不能成功匹配的行;
-c, --count:计数,统计匹配pattern的所有的行数;
-o, --only-matching:关闭贪婪模式,仅显示pattern能够匹配的内容;
-q, --quiet, --silent:安静模式,不输出任何匹配结果;
--color[=WHEN], --colour[=WHEN]:将匹配pattern的内容以特殊颜色高亮显示;
--color=auto
-E, --extended-regexp:扩展的正则表达式,grep -E相当于egrep
-F, --fixed-strings, --fixed-regexp:grep -F 相当于fgrep
-G, --basic-regexp:基本的正则表达式,egrep -G 相当于grep
-P, --perl-regexp:使用pcre(perl common regular expression)引擎;
-A NUM, --after-context=NUM:在显示匹配pattern的行的同时显示其后面的num行;
-B NUM, --before-context=NUM:在显示匹配pattern的行的同时显示其前面的num行;
-C NUM, -NUM, --context=NUM:在显示匹配pattern的行的同时显示其前后各num行;
pattern:
正则表达式元字符:
基本的正则表达式元字符:
globbing--------简化版的正则表达式:[] ? *
字符匹配:
. :匹配任意单个字符;
[] :匹配指定范围内的任意单个字符;
[^] :匹配指定范围意外的任意单个字符;
下列所有的字符集都可以放置于[]之中用于匹配单个字符;
[:lower:]:表示所有小写字字母;
[[:lower:]]:通配任意单个小写字母;
[:upper:]:表示所有的大写字母;
[[:upper:]]:通配任意单个大写字母;
[:alpha:]:表示所有字母字符;
[:digit:]:表示所有的十进制数字; 10
[:alnum:]:表示所有的大小写字母以及十进制数字;
[:space:]:表示空白字符;
[:punct:]:表示所有的标点符号;
[:blank:]:表示空白字符;
[:xdigit:]:所有的十六进制数字;
a-z:所有的小写字母;
A-Z:所有的大写字母;
0-9:所有的十进制数字;
次数匹配:该类字符之前的那个字符可以出现的字数;
*:其前面的字符可以出现任意次(0次,1次或多次);
\?:其前面的字符可有可无(0次或1次);
\+:其前面的字符至少出现一次(1次或多次);
\{m\}:其前面的字符必须出现m次;
\{m,n\}:其前面的字符至少出现m次,至多出现n次;(m<n)
\{,n\}:其前面的字符至少出现0次,至多出现n次;
\{m,\}:其前面的字符至少出现m次,多多益善;
在正则表达式中,表示任意长度任意字符的方式:.*
位置锚定字符:
行锚定:
行首锚定:^
行尾锚定:$
字锚定:
字首锚定:\<或\b
字尾锚定:\>或\b
\b:旧版本中的锚定方法,建议不使用;
对于正则表达式引擎来说,字是由非特殊字符组成的练习字符串;
分组与引用字符:
\(pattern\):将此pattern所匹配到的所有字符当作一个不可分割的整体来处理;
在正则表达式引擎值周,有一系列的内置变量,这些变量会保存所有分组内的字符信息,用于后向引用;这些变量依次是:\1,\2,\3,...
pattern1\(pattern2\)pattern3\(pattern4\(pattern5\)\)
\1:pattern2
\2:pattern4
\3:pattern5
\1:第一组小括号中的pattern匹配到的字符;
\2:第二组小括号中的pattern匹配到的字符;
...
请找出在/etc/passwd中用户的UID和GID相同的用户账户;
grep ‘\(\<[[:digit:]]\+\>\).*\1‘ /etc/passwd:设置和查看用户的密码信息;
或:
\|
注意:\|将其左右两边的字符串当作整体对待;
A\|american:A或american
请找出ifconfig命令的执行结果中数值在100-255之间的整数;
第一位: 1 2
第二位:0-9 0-4 5
第三位:0-9 0-9 0-5
ifconfig | grep ‘\<1[0-9][0-9]\|2[0-4][0-9]\|25[0-5]\>‘
请找出ifconfig命令执行结果中数值在0-255之间的整数
grep [OPTIONS] [-e PATTERN | -f FILE] [FILE...]
默认情况下,grep命令后面只允许有一个pattern;
如果想要在一次grep搜索过程中写多个pattern,则需要使用-e选项:每一个-e选择只能使用一个pattern作为参数;
将所需要的pattern写入到一个个文件中,保证每行只有一个pattern:我们就可以使用-f file方式来实现多pattern匹配;
egrep:
egrep [OPTIONS] PATTERN [FILE...]
扩展的正则表达式元字符:
字符匹配:
.
[]
[^]
次数匹配:
*
?
+
{m}
{m,n}
{m,}
{0,n}
位置铆钉:
^
$
\<,\b
\>,\b
分组和引用:
()
\1,\2,\3,...
或:
|
fgrep:pattern中所有的字符都被当作文本字符来处理;
其他的文本处理命令;
wc:统计一个文件中的行数、字数及字节数;
wc [OPTION]... [FILE]...
wc [OPTION]... --files0-from=F
-c:只显示字节数;
-l:只显示行数;
-w:只显示字数;
cut:remove sections from each line of files
能够被cut命令修剪的文件,一般都是具有一定结构或格式的文本文档;/etc/passwd
cut OPTION... [FILE]...
-d, --delimiter=DELIM:指定在实施修剪操作时所依赖的分隔符,默认是空白字符;
-f, --fields=LIST:根据定义的分隔符来指定字段的编号;
地址定界使用方法:
#:选择被指定的单个字段;
#,#:离散的多个被指定的单个字段;
#-#:连续的多个被指定的字段;
--output-delimiter=STRING:指定输出符号;
awk:pattern scanning and processing language
awk -F "delimiter"‘[/pattern/]{print $1,$2,...$NF}‘ file...
-F "delimiter":指定字段分隔符,默认为空白字符;
$1,$2,...$NF:根据字段分隔符切割出来的文本片段都存放在相应的内部变量中;
sort:sort lines of text files,将文本文件按行继续排序,默认排序规则是按照ASCII表中的字符顺序进行,
这个排序标准可以修改;
sort [OPTION]... [FILE]...
sort [OPTION]... --files0-from=F
-r, --reverse:逆序排序
-R, --random-sort:随机排序,这种随机算法是非常简陋的,不适用于复杂环境;
-u, --unique:重复出现的行,只保留一行;(连续且完全相同的行叫重复)祛重;
-n, --numeric-sort:以数字的数值大小进行排序;
-t, --field-separator=SEP:指定字段分隔符;
-k, --key=KEYDEF:指明根据哪个关键字段进行排序,一般和-t同时使用;
uniq:report or omit repeated lines
uniq [OPTION]... [INPUT [OUTPUT]]
-d, --repeated:只显示重复出现的行,而且每一组重复行只显示一行;
-u, --unique:只显示不重复的行;
-c, --count:在每行以前缀的方式显示重复行的重复次数;
diff:compare files line by line
diff [OPTION]... FILES
同一文件的不同修改版本:打补丁;
patch:apply changes to files
patch [-blNR][ -c| -e| -n][-d dir][-D define][-i patchfile]
[-o outfile][-p num][-r rejectfile][file]