linux shell学习之awk ---新手笔记

1.AWK的pattern
  BEGIN
  END
  expression 例: NF>10 或/^a/
  /regular expression/?
    可以?用类似/^a/这种写法
    另一种写法$1 ~ /^a/       //字段匹配
  表达式之间可以?用&& || ! ?: 等操作符做布尔运算(当然可以是正则表达式)
  expression , expression 表?示开始和结束 例: NF==5,NF==10

例子1: cat /etc/passwd |awk -F":" ‘NR==5,NR==10{print NR,$1}‘   //只显示passwd文件的第5-10行,并定义字段分隔用:号

     5 sync
        6 games
        7 man
        8 lp
        9 mail
       10 news

知识点:1.-F参数。2.expression , expression的用法。

2.AWK的action

  完善的编程语?言?支持变量赋值、数组、判断、循环、?自定义函数
  有很?方便的预定义的变量和函数
  最常?用的是print函数
  字段取值$1、$2、$3……$NF
  $0就是文件的所有行

注意:awk的定义变量不是一定非得$符号开头,$符号是取字段值。

例子2:awk ‘BEGIN{RS="[^0-9a-zA-Z]"};{count[$0]++};END{for (i in count) print i,count[i]}‘<1.txt

  iwant 1
  chinawelcome 1
  ilove 1
  to 7
  china 4
  love 4
  changsha 5
  i 4
  beijing 2
  welcome 5
  you 5

注:语句作用:将文件的每一个单词提取出单独成行,并统计单词出现的次数。

知识点:1.BEGIN,END块的写法和使用({}括起来,;来隔开)。2.分隔符RS和FS的区别(RS:遇到RS即另开一行)。3.数组的使用。4.for循环。5.文件重定向输入

例子3 对上面例子进行扩展(排序并写入新文件)

awk ‘BEGIN{RS="[^0-9a-zA-Z]"};{count[$0]++};END{for (i in count) print i,count[i] | "sort  -r -k2 -o 3.txt" }‘<1.txt

知识点:1.print用法。print … | command : 运?command命令并将print的输出作为command的输?。注意整个command包括参数所有部分都在双引号内

2. sort用法。-o参数将排序结果写入文件,而此重定向文法完成。

3. getline的用法

   例子:将文件合并起来。

vi join.awk

#!/usr/bin/awk -f

{  

  getline sl<ARGV[2]

print $0 sl

}

执行:awk -f join.awk file1 file2

时间: 2024-10-18 09:01:16

linux shell学习之awk ---新手笔记的相关文章

Linux Shell 学习笔记

2.return与exit区别 return 表示从被调函数返回到主调函数继续执行,返回时可附带一个返回值,由return后面的参数指定,当然如果是在主函数main, 自然也就结束当前进程了,如果不是,那就是退回上一层调用. exit(0)表示正常退出执行程序,如果加其它的数值:1,2,....可以表示由于不同的错误原因而退出 . main函数中exit(0)等价于return 0. 1. Linux下一条命令或一个进程执行完成会返回一个一个状态码. 0 === 成功执行 非0 === 执行过程

【转】十分有用的linux shell学习总结

在最近的日常工作中由于经常会和Linux服务器打交道,如Oracle性能优化.我们 数据采集服务器的资源利用率监控,以及Debug服务器代码并解决其效率和稳定性等问题.因此这段时间总结的有关Linux Shell的系列博客就给予了我极大的帮助,然而在实际的使用中却发现,有的时候确实忘记了某个技术点或某个Shell命令的使用方式曾经在哪一篇博客中 予以了说明,所以不得不多次点击多篇博客,直到找到想要那篇的为止,鉴于此,为了方便我们每个人的查阅,这里特别给出了前十二篇系列博客的目录以供大家参 阅和查

《Linux Shell脚本攻略》 笔记 第三章:文件操作

<Linux Shell脚本攻略> 笔记 第三章:文件操作 1.生产任意大小的文件 [[email protected] dd_test]# [[email protected] dd_test]# dd if=/dev/zero of=junk.data bs=1k count=10 10+0 records in 10+0 records out 10240 bytes (10 kB) copied, 0.00137023 s, 7.5 MB/s 2.文件系统相关测试 [ -f $file

《Linux Shell脚本攻略》 笔记 第四章:高效文本处理

<Linux Shell脚本攻略> 笔记 第四章:高效文本处理 1.IP地址的正则表达式: [0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3} 2.grep用法 //在多级目录中对文本进行递归检索 [[email protected] program_test]# grep "yang" ./ -Rn ./test.txt:6:laoyang ./right.txt:1:1 yang man //忽略大小写匹配 [[email pr

《Linux Shell脚本攻略》 笔记 第一章:Shell起步基础

<Linux Shell脚本攻略> 笔记 第一章:Shell起步基础 1.变量:在bash中,每一个变量的值都是字符串.无论你给变量赋值时,有没有使用引号,值都会以字符串的形式存储. 2.var=value; //赋值操作 var = value: //相等操作 3.获取字符串的长度 [[email protected] ~]$ var=yang [[email protected] ~]$ length=${#var} [[email protected] ~]$ echo $length

《Linux Shell脚本攻略》 笔记 第二章:常用命令

<Linux Shell脚本攻略> 笔记 第二章:常用命令 1.cat cat -s //多个空白行压缩成一个 cat *.txt | tr -s '\n'   //移除空白行 cat -n //加行号 2.find 沿着文件层次结构向下遍历,匹配符合条件的文件,并执行相应的操作. eg: find ./ ! -name "*.txt" -print [[email protected] program_test]# find ./  -type f -name "

《Linux Shell脚本攻略》 笔记 第六章:打包压缩

<Linux Shell脚本攻略> 笔记 第六章:打包压缩 //1.打包.解包 [[email protected] program_test]# tar -cf output.tar 11.txt 22.txt 33.txt [[email protected] program_test]# tar -xf output.tar -C ./tar-file/  //-C指定要提取到哪个路径? //列举出归档文件中的内容 [[email protected] program_test]# ta

linux shell学习笔记二---自定义函数(定义、返回值、变量作用域)介绍

linux shell 可以用户定义函数,然后在shell脚本中可以随便调用.下面说说它的定义方法,以及调用需要注意那些事项. 一.定义shell函数(define function) 语法: [ function ] funname [()] { action; [return int;] } 说明: 1.可以带function fun() 定义,也可以直接fun() 定义,不带任何参数. 2.参数返回,可以显示加:return 返回,如果不加,将以最后一条命令运行结果,作为返回值. retu

Linux Shell 学习笔记 一 目录结构

以Red Hat Enterprise Linux 各版本为例,RHEL中目录具体作用如下, /bin       存放普通用户使用的命令 /sbin     存放管理员可以执行的命令 /home   存放普通用户的家目录 如zhangshan家目录为/zhangshan /root     管理员的家目录 /etc       存放配置文件的目录 /boot     存放跟启动相关的文件 /usr       用户自定义的相关程序文件 /porc     内核,硬件参数相关的目录 /var