【Linux】基础每日一命之awk命令(上)

awk 是一个强大的文本分析工具

语法:
awk [选项参数] ‘script‘ var=value file(s)

awk [选项参数] -f scriptfile var=value file(s)

参数说明:

-F fs or --filed-separator fs :指定输入文件分隔符,fs是一个字符串或者是一个正则表达式,如-F
-v var=value or --asign var=value :赋值一个用户定义变量
-f scripfile or --file scriptfile :从脚本文件中读取awk命令
-mf nnn and -mr nnn :对nnn值设置内在限制,-mf选项限制分配给nnn的最大块数目;-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能,在标准awk中不适用。

-W compact or --compat, -W traditional or --traditional
在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样,所有的awk扩展都被忽略。
-W copyleft or --copyleft, -W copyright or --copyright
打印简短的版权信息。
-W help or --help, -W usage or --usage
打印全部awk选项和每个选项的简短说明。
-W lint or --lint
打印不能向传统unix平台移植的结构的警告。
-W lint-old or --lint-old
打印关于不能向传统unix平台移植的结构的警告。
-W posix
打开兼容模式。但有以下限制,不识别:/x、函数关键字、func、换码序列以及当fs是一个空格时,将新行作为一个域分隔符;操作符=不能代替^和^=;fflush无效。
-W re-interval or --re-inerval
允许间隔正则表达式的使用,参考(grep中的Posix字符类),如括号表达式[[:alpha:]]。
-W source program-text or --source program-text
使用program-text作为源代码,可与-f命令混用。
-W version or --version
打印bug报告信息的版本。

用法:
log.txt内容如下:
2 this is a test
3 Are you like awk
This‘s a test
10 There are orange,apple,mongo

用法1:awk ‘{[pattern] action}‘ {filenames} # 行匹配语句 awk ‘‘ 只能用单引号
实例1# 每行按空格或TAB分割,输出文本中的1、4项
awk ‘{print $1,$4}‘ log.txt
2 a
3 like
This‘s
10 orange,apple,mongo

格式化输出
awk ‘{printf "%-8s %-10s\n",$1,$4}‘ log.txt
2 a
3 like
This‘s
10 orange,apple,mongo

用法2:awk -F #-F相当于内置变量FS, 指定分割字符
awk -F, ‘{print $1,$2}‘ log.txt
2 this is a test
3 Are you like awk
This‘s a test
10 There are orange apple
或者使用内建变量

awk ‘BEGIN{FS=","} {print $1,$2}‘ log.txt

2 this is a test
3 Are you like awk
This‘s a test
10 There are orange apple
使用多个分隔符.先使用空格分割,然后对分割结果再使用","分割

awk -F ‘[ ,]‘ ‘{print $1,$2,$5}‘ log.txt

2 this test
3 Are awk
This‘s a
10 There apple

用法三:awk -v #设置变量 (没怎么用过,可能我太菜了)
awk -va=1 ‘{print $1,$1+a}‘

用法四:awk -f {awk脚本} {文件名}
awk -f cal.awk log.txt

1.过滤第一列大于2的行
awk -F ‘ ‘ ‘($1>2){print $0}‘ log.txt (验证ok)
awk ‘$1>2‘ log.txt

过滤第一列等于2的行
awk -F ‘ ‘ ‘($1==2){print $0}‘ log.txt (验证ok)
awk ‘$1==2 {print $1,$3}‘ log.txt

过滤第一列大于2并且第二列等于‘Are‘的行
awk -F ‘ ‘ ‘($1>2,$2==Are){print $0}‘ (验证ok)
awk ‘$1>2 && $2=="Are" {print $1,$2,$3}‘ log.txt

学习整理http://www.runoob.com/linux/linux-command-manual.html

原文地址:http://blog.51cto.com/000011211684/2060287

时间: 2024-07-31 20:17:22

【Linux】基础每日一命之awk命令(上)的相关文章

linux基础学习-18-linux三剑客之awk命令精讲

快捷跳转目录: * 第1章:awk基础入门       * 1.1:awk简介 * 1.2:学完awk你可以掌握: * 1.3:awk环境简介 * 1.4:awk的格式 * 1.5:模式动作 * 1.6:awk的执行过程 * 1.6.1:小结awk执行过程 * 1.7:记录和字段 * 1.7.1:记录(行) * 1.7.2:记录分隔符-RS * 1.7.3:对$0的认识 * 1.7.4:企业面试题 * 1.7.5:awk记录知识小结 * 1.7.6:字段(列) * 1.7.7:ORS与OFS简介

【Linux】基础每日一命之sed命令

sed命令是利用script来处理文件 sed可依照script的指令,来处理.编辑文本文件.sed主要用来自动编辑一个或多个文件:简化对文件的反复操作:编写转换程序等 语法:sed [-hnV][-e<script>][-f<script文件>][文本文件] 参数说明:-e<script>或--expression=<script> 以选项中指定的script来处理输入的文本文件.-f<script文件>或--file=<script文件

大数据每日干货第四天(linux基础之一目录结构与常用命令)

为了和qq空间同步,也写的第四天,前面几天明天会发布,本来打算把每天学的东西记录下来,通过朋友给的建议要发的话稍微系统化下,从大数据需要的linux基础,到离线数据分析包括hadoop.hive.flume.hbase等,再到实时数据分析包括storm.kafka.redias等,最后的内存计算部分包括scala.spark.机器学习,这样循序渐进,能够系统化学习. linux基础部分会分几天进行分享,今天主要讲解的是linux介绍,目录机构与常用的命令. 1.linux介绍 lLinux是一种

linux基础学习第二十二天之AWK详解

内容: 1.awk输出(print.printf) 2.awk变量(内建变量和定义变量) 3.awk数组 4.awk重定向输出 5.awk操作符 6.awk常见模式类型 7.awk控制及循环语句 8.awk内置函数 awk:(其名称得自于它的创始人 Alfred Aho .Peter Weinberger 和 Brian Kernighan 姓氏的首个字母) awk是一款强大的报告生成器,不同于sed和grep,它的侧重点是如何把文本信息更好的展示出来,常用与统计和格式化输出. awk相当于微型

【Linux】基础每日一命之cut&amp;mv&amp;scp命令

cut命令 用于显示每行从开头算起num1到num2的文字 语法:cut [-bn] [file]cut [-c] [file]cut [-df] [file] 使用说明:cut 命令从文件的每一行剪切字节.字符和字段并将这些字节.字符和字段写至标准输出.如果不指定 File 参数,cut 命令将读取标准输入.必须指定 -b.-c 或 -f 标志之一. 参数:-b :以字节为单位进行分割.这些字节位置将忽略多字节字符边界,除非也指定了 -n 标志.-c :以字符为单位进行分割.-d :自定义分隔

【Linux】基础每日一命之useradd&amp;groupadd

useradd命令用于建立用户账号 useradd可用来建立用户帐号.帐号建好之后,再用passwd设定帐号的密码.而可用userdel删除帐号.使用useradd指令所建立的帐号,实际上是保存在/etc/passwd文本文件中. 参数说明:-c<备注> : 加上备注文字.备注文字会保存在passwd的备注栏位中.-d<登入目录> : 指定用户登入时的启始目录.-e:指定账户有效期-f:指定密码过期后多少天即关闭该账号-g:指定用户所属组-G:指定所属附加群组-m:自动建立用户账号

linux基础-第八单元 正文处理命令及tar命令

第八单元 正文处理命令及tar命令 使用cat命令进行文件的纵向合并 两种文件的纵向合并方法 归档文件和归档技术 归档的目的 什么是归档 tar命令的功能 tar命令的常用选项 使用tar命令创建.查看及抽取归档文件 使用tar命令创建归档文件 使用tar命令查看归档文件 使用tar命令抽取归档文件 文件的压缩和解压缩 什么是压缩 压缩的目的 什么是解压缩 gzip命令和gunzip命令 bzip2命令和bunzip2命令 在使用tar命令的同时进行压缩和解压缩 在使用tar命令的同时进行压缩和

linux基础篇-文本三剑客之AWK

awk介绍 ? awk:Aho, Weinberger, Kernighan,报告生成器,格式化文本输出 ? 有多种版本:New awk(nawk),GNU awk( gawk) ? gawk:模式扫描和处理语言? 基本用法:awk [options] 'program' var=value file-awk [options] -f programfile var=value file-awk [options] 'BEGIN{ action;- } pattern{ action;- } E

linux基础命令 awk

awk   linux三剑客老大  过滤.输出内容,一门语言.NR代表行号 $1 第一列 $2 第二列  $0表示一行    NF表示指定分隔符后最后结尾一列 -F 指定分割符 .=为赋值  ==才是相等的意思 写出以:为分隔符,文件passwd中第一行,第1,4列,还有最后一列 [[email protected] data]# awk -F ":" 'NR==1 {print $1,$4,$NF}' /etc/passwd root 0 /bin/bash awk是一个强大的文本分