Linux命令awk

1.简介
 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。
 简单来说awk就是把文件逐行读入,默认以空格为分隔符将每行切片,切开的部分再进行各种分析处理。

2.使用方法

awk ‘{pattern + action}‘ {filenames}

其中 pattern 表示 awk 在数据中查找的内容,而 action 是在找到匹配内容时所执行的一系列命令。

花括号 {} 不需要在程序中始终出现,但它们用于根据特定的模式对一系列指令进行分组。
pattern就是要表示的正则表达式,用斜杠括起来。

  • awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息
  • awk抽取信息后,才能进行其他文本操作。完整的awk脚本通常用来格式化文本文件中的信息
  • 通常,awk是以文件的一行为处理单位的,awk每接收文件的一行,然后执行相应的命令,来处理文本。

3.调用awk
3.1.命令行方式

awk [-F  field-separator]  ‘commands‘  input-file(s)

其中,commands 是真正awk命令,[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。
  在awk中,文件的每一行,由域分隔符分开的每一项称为一个域。通常,在不指名-F域分隔符的情况下,默认的域分隔符是空格。

3.2.将所有的awk命令插入一个单独文件,然后调用:

awk -f awk-script-file input-file(s)

  其中,-f选项加载awk-script-file中的awk脚本,input-file(s)跟上面的是一样的。   
4.入门实例 
 需求:只显示 /etc/passwd 的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加 "blue,/bin/nosh"。

#cat /etc/passwd |awk  -F ‘:‘  ‘BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}‘
  name,shell
  root,/bin/bash
  daemon,/bin/sh
  ....
  blue,/bin/nosh
  • 先执行BEGIN,然后读入有 /n 换行符分割的一条记录,然后将记录按指定的域分隔符划分域。
  • -F指定域分隔符为‘:‘,默认域分隔符是"空白键" 或 "[tab]键"
  • 填充域,$0 表示所有域,$1表示第一个域,$n表示第n个域,
  • 随后开始执行模式所对应的动作 action 即{print $1","$7}。
  • 接着开始读入第二条记录······
  • 直到所有的记录都读完,最后执行END操作。

需求:搜索/etc/passwd有 root 关键字的所有行,并显示对应的shell

# awk -F: ‘/root/{print $7}‘ /etc/passwd 

/bin/bash
 其中, /root/ 中的 root 是awk的pattern(匹配包含root的行),表示要查找的数据。awk中的action是{print $7}

时间: 2024-12-28 18:25:38

Linux命令awk的相关文章

利用多核CPU来加速Linux命令 — awk、sed、bzip2、grep、wc

你是否曾经有过要计算一个非常大的数据(几百GB)的需求?或在里面搜索,或其它操作--一些无法并行的操作.数据专家们,我是在对你们说.你可能有一个4核或更多核的CPU,但我们合适的工具,例如 grep, bzip2, wc, awk, sed等等,都是单线程的,只能使用一个CPU内核.借用卡通人物Cartman的话,"如何我能使用这些内核"?要想让Linux命令使用所有的CPU内核,我们需要用到GNU Parallel命令,它让我们所有的CPU内核在单机内做神奇的map-reduce操作

转摘--如何利用多核CPU来加速你的Linux命令 — awk, sed, bzip2, grep, wc等

http://www.vaikan.com/use-multiple-cpu-cores-with-your-linux-commands/ 你是否曾经有过要计算一个非常大的数据(几百GB)的需求?或在里面搜索,或其它操作——一些无法并行的操作.数据专家们,我是在对你们说.你可能有一个4核或更多核的CPU,但我们合适的工具,例如 grep, bzip2, wc, awk, sed等等,都是单线程的,只能使用一个CPU内核. 借用卡通人物Cartman的话,“如何我能使用这些内核”? 要想让Lin

linux命令---awk进阶

awk编程:    1.  变量:    在awk中变量无须定义即可使用,变量在赋值时即已经完成了定义.变量的类型可以是数字.字符串.根据使用的不同,未初始化变量的值为0或空白字符串" ",这主要取决于变量应用的上下文.下面为变量的赋值负号列表: 符号 含义 等价形式 = a = 5 a = 5 += a = a + 5 a += 5 -= a = a - 5 a -= 5 *= a = a * 5 a *= 5 /= a = a / 5 a /= 5 %= a = a % 5 a %

[ Linux 命令 ] awk

一.AWK简介 awk:报告生成器,是以行为单位进行处理,并格式化后显示 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理. 二.AWK变量 2.1 awk内置变量之记录变量 FS: 默认是空白字符,指定输入分隔符 RS: 输入文本信息所使用的换行符 OFS: 输出字符分隔符 ORS: 输出行分隔符 FS or -F [[email p

linux命令-awk入门

最近经常查看nginx日志,有时候需要做一些统计分析,于是就想起了awk,学习了就顺便做一个记录. 目录 概述:简单介绍awk背景原理 基本用法:常用到的awk语法 内建变量 综合实例 概述 awk是创始人Aho, Kernighan and Weinberger的首字母简写,是一个基于列的流处理工具,在功能上是sed和grep的组合版,但不仅限于此,awk本身就是一种编程语言.awk依次读入每一行(默认按行分割,可以指定记录的分隔符),然后根据分隔符(默认是空白,一个或者多个空格.tab)把该

linux命令-awk

熟悉awk和print语法 fuhui@ubuntu:~$ ls -lh | awk '{print $5 }' BEGIN和END被包裹在一个单引号内 [email protected]:~$ ls -lh | awk 'BEGIN { count=0; print "start:" count}' 'END { print "total:" , count}' start:0 [email protected]:~$ ls -lh | awk 'BEGIN {

Linux命令:cp、time、cut、awk 、获取文件大小命令

最近写了一个shell脚本,用到了cp.time.cut.awk命令,把他们的使用方法给写下来: 1.cp和mv cp命令:用来完成文件的复制,从源文件夹复制到目标文件夹.执行后源文件夹和目标文件夹均有源文件. mv 命令:用来移动文件.执行后,源文件夹中没有源文件.我经常用mv命令来重命名文件 注意:cp命令源文件夹与目标文件夹不能使同一个:而在mv中可以是同一个. 命令解析: #cp [-R] 源文件 目标文件夹 cp -R 参数 ---当复制整个文件夹时使用. #mv 源文件 目标文件夹

Linux下awk命令详解

grep 或 egrep 或awk 过滤两个或多个关键词: grep -E '123|abc' filename // 找出文件(filename)中包含123或者包含abc的行 egrep '123|abc' filename //用egrep同样可以实现 awk '/123|abc/' filename // awk 的实现方式 假如某个广告点击数据记录在文件里面,文件中每一行数据由'时间','uid'两个字段组成,要求每分钟统计某个uid带来的点击量并计入数据库,可以用shell来实现该功

Linux三剑客——awk命令

awk命令 awk命令用于Linux下的文本处理.数据可以来自文件或标准输入,支持正则表达式等功能,是Linux下强大的文本处理工具. 示例 #$1与$3相连输出,不分隔 [[email protected] ~]# awk -F ":" '{print $1 $3}' /etc/passwd #多了一个逗号,$1与$3使用空格分隔 [[email protected] ~]# awk -F ":" '{print $1,$3}' /etc/passwd #显示每行