【awk作用】
默认逐行处理文本或者命令输出(如果保存到文件,本质上也是文本),用来处理命令输出时很有用。
更准确地讲是适合处理表格式的文本的。
{cmd}花括号每执行一次就把结果打印一行在终端上。
行:record
列:field
?
?
【awk课程简介】
理论不说了,直接实验上截图吧。
AWK来源不说了,百度百科吧。
AWK版本不说了。
awk命令的位置:
老师写了个播放音乐的脚本,先下载mplayer
ping www.baidu.com
sudo apt-get update
sudo apt-get install mplayer
【awk工作模式】
测试文件:
awk过滤第一列:
字段
字段分隔符:空白(一种视觉效果)
逐行读取处理命令工作模式
不要用双引号,会出错:
【awk指定多个分隔符】
不是空白分隔符的情形:
指定分隔符:
正则:
[中括号表示任意一个]
+连续的多个当做一个来处理
[: ]+ 连续的多个:
连续的多个空格
连续的多个组合:空格
指定多种分隔符:
tr替换:cat file | tr ‘:‘ ‘\t‘
多个空格、制表符合并为空白:
awk提取ip地址:ifconfig eth0|grep ‘t a‘|awk -F‘[: ]+‘ ‘{print $4}‘
【awk内置变量NF讲解】
用sed把冒号:替换成空格,tr不能真正替换
sed -ir ‘s/:+/ /g‘ file
全乱了,放弃工作区的修改:
awk同时取多列,用逗号连接,用分号连接则被当成命令,或者把逗号换成双引号放打印的:
" "打印一个空格和加逗号分隔的效果一样,因为逗号默认一个空格分隔字段打印
" "打印两个空格
" "打印三个空格
awk取每行最后1个构成列打印,NF内置变量:保存每行的字段数目,逐行处理的时候,会检查每行的NF
$列数(从1索引)
如果每行字段数目不一样呢:如果用具体魔数就能打印,所以要用特殊意义的变量:
awk ‘{command}‘
取倒数第二列呢?
如果你不加括号的话会变成加减法:
NF number of field 字段数目
【awk内置变量NR和FNR介绍】
number of recording 就是处理过的行数
继续继续,搞起来:
FNR又是什么?
NR表示awk一次处理的总行数,FNR呢?
FNR会每次只处理一个文件,原来是这个区别啊!
$0 会打印所有列,空即是有,有即是空
awk ‘NR==FNR{print $0}‘ file file1 条件执行
NR==FNR会比较这两者的单独输出,单独输出上面已经截图了:
那么不等呢,FNR只有处理多个文件时才用到:
取第二行到第三行怎么取:cat file | awk ‘NR>1&&NR<4{print $0}‘
因为awk是逐行处理的,所以命令都是作用于一行的,
如果想单独处理某几行则用条件表达式处理NR即可。
【awk中pattern介绍】
命令模式,先看命令(函数/行为/动作/action)执行条件/判断/option/pattern
awk ‘<cond>{command}‘ 只有{command}默认执行花括号内的命令
awk ‘NR!=1{command}‘
awk ‘1{command}‘
awk ‘2{command}‘ 不可以是负数
awk ‘0{command}‘
awk ‘"0"{command}‘ 任何字符串都是真
awk ‘a{command}‘ 没有赋值的变量为假
awk ‘{a=1}a{command}‘ {a=1}变量赋值方法
每次把‘‘内的命令作用于每一行,而每个{}分别对每一行执行一次:
注意:这里是NR==n,注意是两个等号。
?
?
【awk中BEGIN和END简介】
cat file|awk ‘BEGIN{print "===Grade==="}{print $0}‘
cat file | awk ‘BEGIN{print "===Grade==="}{print $0}END{print "===Tail==="}‘
BEGIN最常用的是给变量赋值在文件还没有读取之前,BEGIN就是一个特殊模式
END最常用的是完事后打印数组
pattern{action}pattern1{action1}pattern2{action2}
【awk有关计算的方法】比较常用的
给文件多增加一列,也就是增加一个字段啦:
cat file|awk ‘{print $0,$3+$4+$5}‘
cat file|awk ‘{print $0,$3+$4+$5,($3+$4+$5)/3}‘ 支持输出除法4位小数
cat file|awk ‘{print $0,$3+$4+$5,int(($3+$4+$5)/3)}‘
如何使用变量提取重复使用的东西,减少输入和不友好:
cat file|awk ‘{a=$3+$4+$5;print $0,a,int(a/3)}‘
创建一个包含1~10的文本文件:seq 10 > 10.txt,seq用于一堆数字的简化写法:
出错了:
如何计算某列的全部值相加:
这里就体现了END的作用了,就是只处理最终的结果的意思。
如果想求最后1列的所有值得和:
求1列的和有什么作用呢?一般用在终端里面算CPU的占用率很方便
CPU在第三列,所以先过滤出某几行(NR==法或者grep法)
内存是第四列,
从而统计出某个进程的占用的资源
简单加法:
【awk中if简单讲解】
Q-Dir资源管理器不错
if能有什么实际用处呢?
awk ‘{if($3>=80)print $0}‘逻辑更清楚,虽然打字多了
awk ‘$3>=80{print $0}‘ 之前‘pattern{action}‘的格式,这属于先过滤行,而if是属于处理行,所以过滤行在{}之外,而if在{}命令之内
我们用if语句过滤出某列满足特定条件的行出来:
再从里面过滤出文件:
/^-/这个模式时匹配两杠之间的东西,-表示普通文件,所以此时用if就更加清楚了,把正则用来匹配pattern,把if用来判断条件
if判断输出第一行:
取出行数NR大于1的行:
取出某列符合条件的行:cat file|awk ‘{if($3>58)print $0}‘
?
?
【awk中变量介绍】用分号;
自己起变量建议全部小写,因为好多内置变量都是全部大写的,所以自己起都用小写。
一般在BEGING里面赋值变量,因为BEGIN是在文件处理之前赋值变量的:
a在bash里面赋值了,如果要在awk里面引用则必须用‘$a的模式‘
改成‘$a‘模式
改成$‘$a‘模式
或者重新在awk里面定义变量,但是不在{}里面就可以不加引号:cat file|awk -va=$a ‘{print $a}‘
用来引用外部变量
标准变量赋值方法:-v v是variable的意思,v后面可以有空格也可以没有空格
?
?
?
?
【awk中for循环简介】注意:起始值从1开始
for循环一般用来循环数组的。
如何让一行中的每个字段占一行打印:cat file|awk ‘{for(i=1;i<=NF;i++)print $i}‘
for循环可以让你取多个连续的列:
print自动换行
printf不自动换行,要加\n
?
?
for循环能做哪些实际的有用的东西呢?
打印空的话自动占一行print
如何取出奇数列,记住是从1索引的
最外层的{}是针对一行的,然后内部的{}则是分别对这一行按顺序操作一遍
printf "\n"
字符串要用""引起来:$0表示打印出当前处理的行
最外层{}里面的语句用;分隔和用{}分隔的意思是一样的,都是表示把该行当做输入参数执行多条语句:
替换某列的某个变量
cat file | awk ‘{if($1==‘lx‘){print $0}else{$1="lx";print $0}}‘
{}就相当于块语句一样
?
?
?
?
【awk正则简介】
awk调用外部命令,用双引号引起来的是命令
awk ‘BEGIN{while("who"|getline)n++;print n}‘ 用分号;的话可以不加{}
一般不再awk语句中使用双引号引用外部命令,而是把外部命令的结果通过管道传递个awk处理:
END表示要最后一个结果,中间过程不要显示了。
?
?
重定向结果显示:
在外面重定向是一样的,关键是显示什么:
一般重定向也是在外面做:
在SSH中无法完成重定向,不知道怎么解决,不用就好了:
发现如果SSH登陆时选择接受并保存权限可以提高,可以解决这个问题:
如果要过滤出以ll开头的行 ‘/^ll/‘
如何用sed取出ip地址:ifconfig eth0|grep ‘t a‘|sed ‘s/^.*r:\(.*\) Bc.*$/\1/g‘
p是present,g是替换
sed -n ‘s/pattern/\1/p‘
^开头
$结尾
\1是后向引用,但是awk不支持后向引用-_-
【awk正则深入】awk两个斜线之间表示正则表达式
两个斜线之间的正则表达式匹配是作用于每一行的每次,会匹配任意模式:
如何把正则表达式模式匹配到一个字段中:
正则表达式,其实隐含了if语句,凡是匹配处,默认都隐含了判断啊:注意,if必须放到{}内,而pattern则是放在{}外的:
正则表达一般是作用于每行的某个具体字段的!
在if上叠加多层过滤:
可以通过pattern和if的组合,避免用&& ||
?
?
?
?
【awk简单总结】
who 查看有几个用户登录了
awk普通模式必须要有输入文件,而BEGIN模式不需要输入文件
在awk里面可以shell命令,其实最好是在外面用命令,然后用awk处理
默认输出
不加$0相当于输出行:
文件名需要引起来如果在内部的话,外部的话不需要双引号把文件名引起来
参数:
-f 表示从文件读命令
awk -f xxx.txt
awk -f xxx.txt file
?
?
RS记录分隔符,默认是\n,可见相当可配置化啊。
输出分隔符{OFS="+"},适用于分隔每行的多个输出而不是每行之间:
RS使用,一般在BEGIN里面赋值变量(内部或者外部)
嫌弃显示太多,显示前十行吧:
?
?
【awk取文件列】awk处理多个文件时默认是向下拼接的
如何组合多个文件中的多个列形成一个新文件:用数组承接新文件
用数组做,还记得pattern{action}吗!
awk ‘NR==FNR{a[NR]=$1}NR!=FNR{print a[FNR],$2}‘ file file1
awk会处理file和file1的10行内容,每次处理1行
处理file的行时,只有{a[NR=$1]}也就是a[1]=ll a[2]=kk
处理file1的行时,只有{print a[FNR], $2}执行,a[1] 列2
你没学的东西可以用笨方法实现哦:
不用数组虽然麻烦,多做了些修订,也行!
?
?
【awk中for循环与技术】记住awk每次用‘{}‘处理一行,然后逐行重复。用END打印最后的结果。
想统计文件里面有多少个单词怎么办?
用wc厕所来算:
用awk来算:
没有END的时候:
统计行数呢?
END表示文件全部处理完成后,awk就要退出前执行的意思。
?
?
如何统计某个单词在文件中出现的次数呢?因为单词两边是空白分隔的嘛,所以就逐行然后逐字段匹配嘛?
cat /root/pwb/tmp/md5/check.sh | awk ‘{for(i=1;i<=NF;i++){if($i=="echo"){n++}}}END{print n}‘
上面这个n为空嘛,所以打印了空行。
?
?
【awk中对列累加】
命令 df -h 可以查看硬盘使用率情况:
awk ‘‘无输出,因为无处理嘛
awk ‘/\/dev\/sda/‘ 正则默认过滤出每一行pattern
注意转义字符
-F 指定每行字段的分隔符
现在我们要把上面的数字字段给分隔出来:
上面这是比较常用的用法,可以用来检测某个值啊!
df -hi 查看inode
inode存目录,满了就要清理小文件了,所以你要检测使用资源的情况。
iblock存内容
所以上面取磁盘利用率的脚步同样可以用来检测inode资源使用率
用sed丢弃第一行 sed ‘1d‘
统计某个列的和:
不定义变量直接用即可,如果初始值也是0的话:
?
?
【awk中删除文件后四行】
seq 10 > 10.txt
如何删除文件尾部四行?
sed ‘$d‘ 删最后一行
用awk怎么做?
这里利用了awk读取多个相同文件的技巧:
NR==FNR{表示处理第一个文件}NR!=FNR{表示处理第二文件也就是第一个文件}
思路比较傻瓜化,先知道行数嘛。
这儿还有个利用head的方法,这类命令的功能是很强大的,它几乎考虑了所有情况,如果认真看man手册的话:cat 10.txt|head -n -4 显然效率高多了,sed也可以,但是不会:
?
?
?
?
【awk最后总结】
- 记得把命令放到{}内,if也放{}里面
- pattern不需要放{}内,放{}前面就可以了
- 正则也是pattern
- awk本身就相当于一个行循环,$i就相当于内部元素循环
- 字符后者外部变量要放到双引号""里面
- 变量是字符串默认是空如果未定义的话
- 对于任意一个文件,不是标准的表格形式,所以用内置变NF NR
- {}内部嵌套就好比块语句嵌套了
- awk也是一种编程语言,是弱类型的,所以不要声明,直接用变量即可
- 可以处理相同的文件多次
- NF和NR容易混淆,老师当时学也是背了好久,所以技术在于坚持积累
?
?
打印整个文件:
1就是一个模式,默认打印出来整个文件:
改成0没反应:
替换并打印:
cat file|awk ‘{$1="lx"}‘
相当于:
缩写而已,不要看懵逼了!
?
?
用awk代替grep,不就是正则过滤每行么:区别是grep有彩色
提取IP:
?
?
NF\NR\FNR
?
?
算CPU占用率之和:
?
?
看视频时候短时间学习一个知识点,不过如果学习的话还是看书好一点,毕竟视频都是浓缩过的。
?
?