文本处理工具sed及awk的用法

sed: stream editor, 流编辑器;

sed对文本的处理很强大,并且sed非常小,参数少,容易掌握,他的操作方式根awk有点像。sed按顺序逐行读取文件。然后,它执行为该行指定的所有操作,并在完成请求的修改之后的内容显示出来,也可以存放到文件中。完成了一行上的所有操作之后,它读取文件的下一行,然后重复该过程直到它完成该文件。在这里要注意一点,源文件(默认地)保持不被修改。sed默认读取整个文件并对其中的每一行进行修改。说白了就是一行一行的操作。我用sed主要就是用里面的替换功能,真的很强大。

sed –h

-n, --quiet, --silent    取消自动打印模式空间

-e 脚本, --expression=脚本   添加“脚本”到程序的运行列表

-f 脚本文件, --file=脚本文件  添加“脚本文件”到程序的运行列表

--follow-symlinks    直接修改文件时跟随软链接

-i[扩展名], --in-place[=扩展名]   直接修改文件(如果指定扩展名就备份文件)

-l N, --line-length=N   指定“l”命令的换行期望长度

--posix  关闭所有 GNU 扩展

-r, --regexp-extended  在脚本中使用扩展正则表达式

-s, --separate  将输入文件视为各个独立的文件而不是一个长的连续输入

-u, --unbuffered  从输入文件读取最少的数据,更频繁的刷新输出

基本正则表达式元字符:

字符匹配:., [], [^]

次数匹配:*, \?, \+,\{m,n\}, \{n\}

位置锚定:^, $, \<, \>

分组及引用:\(\), \1, \2, ...

多选一:a|b|c

删除/tmp/grub2.cfg文件中所有行的行首的空白字符;

sed ‘s/^[[:space:]]\+//‘ /tmp/grub2.cfg

删除/tmp/grub2.cfg文件中所有以#开头,后跟至少一个空白字符的行的行首的#和空白字符;

sed ‘s/^#[[:space:]]\+//‘ /tmp/grub2.cfg

awk(gawk):文本格式化工具,报告生成器

awk是linux下的一个命令,他对其他命令的输出,对文件的处理都十分强大,其实他更像一门编程语言,他可以自定义变量,有条件语句,有循环,有数组,有正则,有函数等。他读取输出,或者文件的方式是一行,一行的读,根据你给出的条件进行查找,并在找出来的行中进行操作,感觉他的设计思想,真的很简单,但是结合实际情况,具体操作起来就没有那么简单了。他有三种形势,awk,gawk,nawk,平时所说的awk其实就是gawk。

1,变量


变 量


描述


$n


当前记录的第n个字段,字段间由 FS分隔。


$0


完整的输入记录。


ARGC


命 令行参数的数目。


ARGIND


命令行中当前文件的位置(从0开始算)。


ARGV


包 含命令行参数的数组。


CONVFMT


数字转换格式(默认值为%.6g)


ENVIRON


环 境变量关联数组。


ERRNO


最后一个系统错误的描述。


FIELDWIDTHS


字 段宽度列表(用空格键分隔)。


FILENAME


当前文件名。


FNR


同 NR,但相对于当前文件。


FS


字段分隔符(默认是任何空格)。


IGNORECASE


如 果为真,则进行忽略大小写的匹配。


NF


当前记录中的字段数。


NR


当 前记录数。


OFMT


数字的输出格式(默认值是%.6g)。


OFS


输 出字段分隔符(默认值是一个空格)。


ORS


输出记录分隔符(默认值是一个换行符)。


RLENGTH


由 match函数所匹配的字符串的长度。


RS


记录分隔符(默认是一个换行符)。


RSTART


由 match函数所匹配的字符串的第一个位置。


SUBSEP


数组下标分隔符(默认值是\034)。

2,运算符


运算符


描述


= += -= *= /= %= ^= **=


赋值


?:


C条件表达式


||


逻 辑或


&&


逻辑与


~ ~!


匹 配正则表达式和不匹配正则表达式


< <= > >= != ==


关 系运算符


空格


连接


+ -


加,减


* / &


乘,除与求余


+ - !


一元加,减和逻辑非


^ ***


求幂


++ --


增加或减少,作为前缀或后缀


$


字 段引用


in


数组成员

3,awk的正则


匹配符


描述


\Y


匹配一个单词开头或者末尾的空字符串


\B


匹配单词内的空字符串


\<


匹配一个单词的开头的空字符串,锚定开始


\>


匹配一个单词的末尾的空字符串,锚定末尾


\W


匹配一个非字母数字组成的单词


\w


匹配一个字母数字组成的单词


\‘


匹配字符串末尾的一个空字符串


\‘


匹配字符串开头的一个空字符串

4,字符串函数


函数名


描述


sub


匹配记录中最大、最靠左边的子字符串的正则表达式,并用替换字符串替换这些字符串。如果没有指定目标字符串就默认使用整个记录。替换只发生在第一次匹配的  时候


gsub


整个文档中进行匹配


index


返回子字符串第一次被匹配的位置,偏移量从位置1开始


substr


返回从位置1开始的子字符串,如果指定长度超过实际长度,就返回整个字符串


split


可按给定的分隔符把字符串分割为一个数组。如果分隔符没提供,则按当前FS值进行分割


length


返回记录的字符数


match


返回在字符串中正则表达式位置的索引,如果找不到指定的正则表达式则返回0。match函数会设置内建变量RSTART为字符串中子字符串的开始位 置,RLENGTH为到子字符串末尾的字符个数。substr可利于这些变量来截取字符串


toupper和tolower


可用于字符串大小间的转换,该功能只在gawk中有效

5,数学函数


函数名


返回值


atan2(x,y)


y,x 范围内的余切


cos(x)


余弦函数


exp(x)


求 幂


int(x)


取整


log(x)


自然对 数


rand()


随机数


sin(x)


正弦


sqrt(x)


平 方根


srand(x)


x是rand()函数的种子


int(x)


取 整,过程没有舍入


rand()


产生一个大于等于0而小于1的随机数

时间: 2024-08-05 16:18:26

文本处理工具sed及awk的用法的相关文章

9-13 文本处理工具sed及awk的用法

文本编辑三剑客:grep, sed, awk    grep: 文本搜索工具:egrep, fgrep    sed: stream editor, 流编辑器:    awk(gawk):文本格式化工具,报告生成器 sed命令: 基本正则表达式的元字符:     字符匹配:            .: 匹配任意单个字符:            []:匹配指定范围内的任意单个字符:            [^]:匹配指定范围内的任意单个字符: [:lower:]:所有小写字母 [:upper:]:

Linux的文本处理工具浅谈-awk sed grep

Linux的文本处理工具浅谈 awk   老大 [功能说明] 用于文本处理的语言(取行,过滤),支持正则 NR代表行数,$n取某一列,$NF最后一列 NR==20,NR==30 从20行到30行 FS竖着切,列的分隔符 RS横着切,行的分隔符 [语法格式] awk [–F] [“[分隔符]”] [’{print$1,$NF}’] [目标文件] awk 'BEGIN{FS="[列分隔符]+";RS="[行分隔符]+";print "-GEGIN-"

DAY8:文本处理工具sed和vim

8月8号,主要学习内容为: 一.文本处理工具sed 二.vim编辑器 一.文本处理工具sed 1)简介 sed是一种流编辑器,它一次处理一行内容.处理时,把 当前处理的行存储在临时缓冲区中,称为"模式空间"( pattern space),接着用sed命令处理缓冲区中的内容 ,处理完成后,把缓冲区的内容送往屏幕.接着处理下一 行,这样不断重复,直到文件末尾.文件内容并没有改变 ,除非你使用重定向存储输出.Sed主要用来自动编辑一 个或多个文件,简化对文件的反复操作,编写转换程序等. 用

linux下的文本处理工具---sed

文本处理工具sed 1.sed介绍 Sed是一种非交互式的流编辑器,通过多种转换修改流经过它的文本.但是,默认情况下,sed并不改变原文件本身,而只是对流经sed命令的文本进行修改,并将修改后的结果打印到屏幕上.Sed处理文本时是以行为单位的,每处理一行就立即打印出来,然后在处理下一行,直至全文处理结束. Sed可做的编辑动作包括删除.查找替换.添加.插入.从其他文件中读入数据等,如果想对修改后的流文件进行保存更改,则需要使用重定向对修改后输出的内容进行保存 Sed的用法:sed  [optio

第9章 文本处理工具sed

笔记整理开始时间:2018年4月17日08:45:48 更多内容请点击: Linux学习从入门到打死也不放弃,完全笔记整理(持续更新,求收藏,求点赞~~~~) http://blog.51cto.com/13683480/2095439 本章内容 sed介绍 sed用法 sed高级用法 文本处理工具sed Stream EDitor,行编辑器 又称流编辑器,它一次处理一行内容.处理时,把当前处理的行存储在临时 缓冲区,称为"模式空间"(pattern space),接着用sed命令处理

处理文本的工具sed,vim 编辑器的使用 &nbsp; Linux版

处理文本的工具sed Stream EDitor 行编辑器 sed一次处理一行的内容,处理时,将当前处理的行存储在临时缓冲区,称为"模式空间",接着用sed命令处理缓冲区中的内容,处理完成后,将缓冲区的内容送往屏幕,接着处理下一行不断重复,直到末尾. 一次处理一行 文件--->内存空间--->屏幕 模式空间 文件--->内存空间--->屏幕 | 保持空间 sed   -n:不输出模式空间内容的自动打印 -e:多点编辑 -f:/PATH/TO/SCRIPT_FIL

Linux sed 和 awk的用法

sed用法: 原文链接:http://www.cnblogs.com/dong008259/archive/2011/12/07/2279897.html sed是一个很好的文件处理工具,本身是一个管道命令,主要是以行为单位进行处理,可以将数据行进行替换.删除.新增.选取等特定工作,下面先了解一下sed的用法sed命令行格式为:         sed [-nefri] 'command' 输入文本 常用选项:        -n∶使用安静(silent)模式.在一般 sed 的用法中,所有来自

Linux文本处理工具——Sed

sed:数据流编辑器: awk:报告文本的生成器 sed 基本用法:(Stream EDitor) Stream 流 EDitor 编辑器 行编辑器 全屏编辑器:vi/vimsed:内存空间(模式空间)默认不编辑源文件,仅对模式空间中的数据作处理,处理结束后,将模式空间打印到屏幕 sed [options] 'AddressCommannd' file ... -n: 静默模式,不再默认显示模式空间中的内容 -i: 直接修改源文件 -e SCRIPT -e SCRIPT:可以同时执行多个脚本 -

12文本处理工具sed

文本处理的工具sed Stream EDitor, 行编辑器 sed是一种流编辑器,它一次处理一行内容.处理时,把当前处理的行存储在临时缓冲区中,称为"模式空间"(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕.然后读入下行,执行下一个循环.如果没有使诸如'D' 的特殊命令,那会在两个循环之间清空模式空间,但不会清空保留空间.这样不断重复,直到文件末尾.文件内容并没有改变,除非你使用重定向存储输出.功能:主要用来自动编辑一个或多个文