sed与awk命令小结

1.sed命令小结

Sed是一个非交互式文本编辑器，它可对文本文件和标准输入进行编辑，标准输入可以是来自键盘输入、文件重定向、字符串、变量，甚至来自管道的文本。Sed从文本的一个文本行或标准输入中读取数据，将其复制到缓冲区，然后读取命令行或脚本的第一个命令，对此命令要求的行号进行编辑，重复此过程，直到命令行或脚本中的所有命令都执行完毕。相对于vi等其他文本编辑器，sed可以一次性处理所有的编辑任务，显得非常高效，为用户节省了大量的时间。

  1. 1. 语法：sed [OPTION]... {script} [input-file]...

工作机制：每次读取一行文本至“模式空间(pattern space)”中，在模式空间中完成处理；将处理结果输出至标准输出设备；

-r支持扩展正则

-n静默模式：不输出，只编辑

-e script1 –e script2 –e script3多点编辑

-f 从配置文件中读取脚本，然后按脚本执行

-i 直接修改源文件；默认是不修改源文件的

地指定界：

#:指定行

$:最后一行

/regexp/：能够被regexp所匹配的行

\%regexp%：同上

/regexp/|\%regexp%忽略字符大小写

开始行，结束行：

#, /regexp/:从#开始，披到到/regexp/结束

#,#1：#开始，#1结束

/regexp1/,/regexp2/，从匹配1开始到匹配2结束

#,+n：#开始，匹配之后的n行

first~step:first开始，step步进

  1. 2.sed的编辑命令

(1)打印某行

sed -n ‘n‘p filename 单引号内的n是一个数字，表示第几行:

            #sed -n ‘2‘p/etc/passwd

要想把所有行都打印出来可以使用 sed -n ‘1,$‘p filename

            #sed -n ‘1,$‘p /etc/passwd

也可以指定一个区间:

            #sed -n ‘1,3‘p /etc/passwd

(2)打印包含某个字符串的行 

            #sed -n ‘/root/‘p /etc/passwd

grep中使用的特殊字符，如 ^ $ . * 等同样也能在sed中使用

            #sed -n ‘/^root/‘p/etc/passwd

            #sed -n ‘/in$/‘p /etc/passwd

(3)-e可以实现多个行为 

            #sed -e ‘1‘p -e‘/^ftp/‘p -n /etc/passwd

(4)删除某行或者多行 

            #sed ‘1‘d /tmp/passwd

            #sed ‘1,3‘d /tmp/passwd

            #sed ‘/adm/‘d /tmp/passwd

‘d’ 这个字符就是删除的动作了，不仅可以删除指定的单行以及多行，而且还可以删除匹配某个字符的行，另外还可以删除从某一行一直到文档末行。

(5)替换字符或字符串 

            #sed ‘1,2s/ot/to/g‘/tmp/passwd

上例中的 ‘s’ 就是替换的命令， ‘g’ 为本行中全局替换，如果不加 ‘g’ 只换该行中出现的第一个。除了可以使用‘/’ 作为分隔符外，还可以使用其他特殊字符例如 ‘#’ 或者‘@’ 都没有问题。

(6)调换两个字符串的位置 

            #sed ‘s/\(root\)\(.*\)\(bash\)/\3\2\1/‘/tmp/passwd

这个就需要解释一下了，上例中用 () 把所想要替换的字符括起来成为一个整体，因为括号在sed中属于特殊符号，所以需要在前面加脱意字符 ‘’, 替换时则写成 ‘1’, ‘‘2’, ‘‘3’ 的形式。

(7)直接修改文件的内容 

            #sed -i ‘s/ot/to/g‘ /tmp/passwd

练习：

1、删除/boot/grub/grub.conf文件中所有行首的空白字符

            #sed‘s/^[[:space:]]\+//‘ /tmp/grub.conf

 

2、删除/etc/fstab文件中所有#开头，后至少跟一个空白字符的行的行首的#和空白字符

            #sed‘s/^#[[:space:]]\+//‘ /etc/fstab

 

3、把/etc/fstab文件的奇数行另存为/tmp/fstab.3

            #sed‘1~2w /tmp/fstab.3‘ /etc/fstab

 

4、echo一个文件路径给sed命令，取出其基名，进一步取出其路径名

取基名：

            #echo "/etc/sysconfig/network-scripts/" | sed‘[email protected]^.*/\([^/]\+\)/\[email protected]\[email protected]‘

取路径名：

            #echo "/etc/sysconfig/network-scripts/" | sed‘[email protected][^/]\+/\[email protected]@‘

 

  1. 3.高级命令:

保持空间，hold space

保存模式空间中的内容

h：用模式空间内容覆盖保持空间内容

H：用模式空间内容追加保持空间内容

g：从保持空间中取1行内容覆盖到模式空间

G：从保持空间取呢容追加模式空间

x：交换内容

n：读取匹配行下一行，覆盖保持空间

N：读取匹配行，追加保持空间

d：删除模式空间的内容

D：删除多行模式空间中的首行

注意：命令功能可使用!取反；分号可用于分隔脚本；

示例：

在文件中的每行后方添加空白行；

            #sed ‘G‘ /etc/issue

保留最后一行；

            #sed ‘$!d‘ /etc/fstab

保证指定的文件每一行后方有且只有一个空白行；

            #sed ‘/^$/d;G‘ /etc/issue

保留奇数行；

            #sed ‘n;d‘ /etc/issue

2.   awk编程小结

awk是由Aho, Weinberger和Kernighan共同开发的编程语言。基本语法与C语言类似。

awk功能与sed相似，都是用来进行文本处理的，awk语言可以从文件或字符串中基于指定规则浏览和抽取信息，在抽取信息的基础上，才能进行其他文本操作。

awk是一种编程语言，awk实际是指向gawk的符号链接。

1、基本语法

awk [options] ‘program‘ file file ...

awk [options] ‘PATTERN{action}‘ file file...

-F CHAR：输入分隔符

2、awk的输出：

print item1, item2,...

要点：

(1) 各项目之间使用逗号分隔，而输出时则使用输出分隔符分隔；

(2) 输出的各item可以字符串或数值、当前记录的字段、变量或awk的表达式；数值会被隐式转换为字符串后输出；

(3) print后面item如果省略，相当于print $0；输出空白，使用pirnt ""；

3、awk的变量

内置变量，自定义变量

3.1 内置变量

FS：Field Seperator, 输入时的字段分隔符

示例：

        #awk ‘BEGIN{FS=":"}{print $1,$7}‘ /etc/passwd

RS：Record Seperator, 输入行分隔符

OFS: Output Field Seperator, 输出时的字段分隔符;

ORS: Outpput Row Seperator, 输出时的行分隔符；

NF：Numbers of Field，字段数

NR：Numbers of Record, 行数；所有文件的一并计数；

FNR：行数；各文件分别计数；

ARGV：数组，保存命令本身这个字符，awk ‘{print $0}‘ 1.txt 2.txt，意味着ARGV[0]保存awk,

ARGC: 保存awk命令中参数的个数；

FILENAME： awk正在处理的当前文件的名称；

3.2 可自定义变量

-v var_name=VALUE

变量名区分字符大小写；

(1) 可以program中定义变量；

(2) 可以命令行中通过-v选项自定义变量；

4、awk的printf命令

命令的使用格式：printfformat, item1, item2,...

要点：

(1) 要指定format；

(2) 不会自动换行；如需换行则需要给出\n

(3) format用于为后面的每个item指定其输出格式；

format格式的指示符都%开头，后跟一个字符：

%c: 显示字符的ASCII码；

%d, %i: 十进制整数；

%e, %E: 科学计数法显示数值；

%f: 显示浮点数；

%g, %G: 以科学计数法格式或浮点数格式显示数值；

%s: 显示字符串；

%u: 显示无符号整数；

%%: 显示%自身；

修饰符：

#：显示宽度

-：左对齐

+：显示数值的符号

.#: 取值精度

5、awk输出重定向

print items > output-file

print items >> output-file

print items | command

特殊文件描述符：

/dev/stdin: 标准输入

/dev/stdout: 标准输出

/dev/stderr: 错误输出

6、awk的操作符

算术操作符：

x+y

x-y

x*y

x/y

x**y, x^y

x%y

-x：负值

+x：转换为数值

字符串操作符：连接

赋值操作符：

=

+=

-=

*=

/=

%=

^=

**=

++

--

如果模式自身是=号，要写为/=/

比较操作符：

<

<=

>

>=

==

!=

~：模式匹配，左边的字符串能够被右边的模式所匹配为真，否则为假；

!~: 与上面相反

逻辑操作符：

&&： 与

||：或

条件表达式:

selector?if-true-expression:if-false-expression

示例：

        #awk -F: ‘{$3>=1000?utype="commonuser":utype="admin or system user";print$1,"is",utype}‘ /etc/passwd

函数调用：

function_name(argu1,argu2)

7、模式

(1) Regexp: 格式为/PATTERN/

仅处理被/PATTERN/匹配到的行；

(2) Expression: 表达式，其结果为非0或非空字符串时满足条件；

仅处理满足条件的行；

(3) Ranges: 行范围，此前地址定界，

NR

仅处理范围内的行

(4) BEGIN/END: 特殊模式，仅在awk命令的program运行之前（BEGIN）或运行之后（END）执行一次；

(5) Empty:空模式，匹配任意行；

8、常用的action

(1) Expressions

(2) Control statements

(3) Compound statements

(4) input statements

(5) output statements

9、控制语句

9.1 if-else

格式：if(condition) {then body} else {else body}

示例：

        #awk -F: ‘{if($3>=500) {print $1,"is a common user"} else {print $1, "isan admin or system user"}}‘ /etc/passwd

        #awk ‘{if (NF>=8){print}}‘ /etc/inittab

9.2 while

格式：while(condition) {while body}

示例：

        #awk ‘{i=1; while(i<=NF){printf "%s ",$i;i+=2};print ""}‘ /etc/inittab

        #awk ‘{i=1; while(i<=NF){if (length($i)>=6) {print $i}; i++}}‘ /etc/inittab

length()函数：取字符串的长度

9.3 do-while循环

格式：do{do-while body} while (condition)

9.4 for循环

格式：for(variable assignment; condition; iteration process) {for body}

示例：

        #awk ‘{for(i=1;i<=NF;i+=2){printf "%s ",$i};print ""}‘/etc/initta

        #awk ‘{for(i=1;i<=NF;i++){if (length($i)>=6) print $i}}‘ /etc/inittab

for循环可用来遍历数组元素：

语法：for (i inarray) {for body}

9.5 case语句

语法：switch(expression) {case VALUE or /RGEEXP/: statement1;... default: stementN}

9.6 循环控制

break

continue

9.7 next

提前结束对本行的处理进而提前进入下一行的处理；

        #awk -F: ‘{if($3%2==0)next;print $1,$3}‘ /etc/passwd

        #awk -F: ‘{if(NR%2==0) next;print NR,$1}‘ /etc/passwd

10、数组

传统数组：Index编号从1开始；

关联数组：

array[index-expression]

index-expression: 可以使用任意字符串; 如果某数组元素事先不存在，那么在引用时，awk会自动创建此元素并将其初始化为空串；因此，要判断某数组是否存在某元素，必须使用“index in array”这种格式；

A[first]="helloawk"

printA[second]

要遍历数组中的每一个元素，需要使用如下特殊结构：

for (var inarray) {for body}

其var会遍历array的索引；

state[LISTEN]++

state[ESTABLISHED]++

示例：

        #netstat -tan| awk ‘/^tcp/{++state[$NF]}END{for (s in state) {print s,state[s]}}‘

删除数组元素：

delete array[index]

11、awk的内置函数

split(string,array[,fieldsep[,seps]])：

功能：将string表示的字符串以fieldsep为分隔符进行切片，并切片后的结果保存至array为名的数组中；数组下标从1开始；

root:x:0:0::/root:/bin/bash

user[1]="root", user[2]

此函数有返回值，返回值为切片后的元素的个数

示例：

        #netstat -tn | awk‘/^tcp/{lens=split($5,client,":");ip[client[1]]++}END{for (i in ip)print i,ip[i]}‘

length(string)

功能：返回给定字串的长度

substr(string,start[,length])

功能：从string中取子串，从start为起始位置为取length长度的子串；

时间： 2024-10-05 14:13:30

sed与awk命令小结的相关文章

sed及awk命令的使用

sed命令 sed是一种流编辑器,它是文本处理中非常中的工具,能够完美的配合正则表达式使用,功能不同凡响.处理时,把当前处理的行存储在临时缓冲区中,称为"模式空间"(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕.接着处理下一行,这样不断重复,直到文件末尾.文件内容并没有 改变,除非你使用重定向存储输出.Sed主要用来自动编辑一个或多个文件:简化对文件的反复操作:编写转换程序等. 命令格式 sed [options] 'comman

grep、sed和awk命令的简单使用

grep 命令 选项 意义 -c 匹配行的数量 -i 忽略大小写 -h 查询多文件时不显示文件名 -l 只列出匹配的文件名,不列匹配行 -n 列出匹配行,并列出行号 -s 不显示不存在或无匹配的错误信息 -v 显示不包含匹配文本的所有行 -w 匹配整词 -r 递归搜索,搜子目录 -E 支持扩展的正则表达式 -F 不支持正则表达式 grep -nE "^\w+@\w+\.\w+$" a.txt sed命令选项 选项 意义 -n 不打印所有行到标准输出 -e 将下一个字符串解析为sed编辑

shell 中 grep、sed、awk 命令

grep 命令 grep命令基本语法 grep命令是打印匹配文本行,其全称为 Global Search Regular Expression and Print out the line:基本语法如下: grep [OPTIONS] PATTERN [FILE...] grep [OPTIONS] [-e PATTERN | -f FILE] [FILE...] 其中,OPTIONS表示选项:PATTERN表示匹配模式,匹配模式可以是字符串.变量.正则表达式,若匹配模式中含义空格,则需要使用双

Shell脚本三剑客——Grep（进阶版egrep）、Sed、Awk命令

Grep命令 1.基本正则表达式实例--查找特定字符 这里我们就以存放本机所有用户的/etc/passwd文件做实例 Demo1 [[email protected] ~]# grep -n "root" /etc/passwd //-n表示显示行号 1:root:x:0:0:root:/root:/bin/bash 10:operator:x:11:0:operator:/root:/sbin/nologin 2.基本正则表达式实例--查找集合字符 有重复的字符时,可使用"

shell之三大文本处理工具grep、sed及awk

grep.sed和awk都是文本处理工具,虽然都是文本处理工具单却都有各自的优缺点,一种文本处理命令是不能被另一个完全替换的,否则也不会出现三个文本处理命令了.只不过,相比较而言,sed和awk功能更强大而已,且已独立成一种语言来介绍. grep:文本过滤器,如果仅仅是过滤文本,可使用grep,其效率要比其他的高很多: sed:Stream EDitor,流编辑器,默认只处理模式空间,不处理原数据,如果你处理的数据是针对行进行处理的,可以使用sed: awk:报告生成器,格式化以后显示.如果对处

sed和awk的一些使用【转载自http://blog.sina.com.cn/s/blog_6561ca8c0102we0o.html】

在linux中,awk和sed命令对于快速的文本编排非常灵活有用.对文本插入列的操作也可以使用sed或者awk命令来处理,下面简单介绍: 如果想要在指定列前插入字符串RR,可以使用以下命令: awk '{$NF="RR"$NF; print}'  filename 这里的$NF可以替换成任意的列数,RR字符串可以替换成任意多列字符串 如果想要在指定行的某一列前插入字符串RR,可以使用以下命令:awk 'NR==row{$NF="RR"$NF; print}'  fi

Linux sed命令小结

1.什么是sed sed,流编辑器,即stream editor.它可以将文本文件的每一行读取到内存,即所谓sed的模式空间,在这个模式空间中可以进行编辑并输出. 2.sed的使用格式 sed [options] "AdressCommand" file1,file2,... 说明: a.Adress实际上是用来确定编辑文件的范围,可以是精确的某一行,也可以是从某一行到某一行,也   可以用正则进行过滤匹配. b.Command表示将符合Address的行进行XXX操作.注意默认情况下

Linux_note 命令grep，sed，awk

1.grep 过滤出指定的行 grep  [-cinvABC]  'word'  filename --color 把匹配到的关键词用红色标识 如:# grep --color 'root' /etc/passwd -c :打印符合要求的行数 -i :忽略大小写 -n :在输出符合要求的行的同时连同行号一起输出 -v :打印不符合要求的行# cg -v 'root' 1.txt -A :后跟一个数字(有无空格都可以),例如 朅2则表示打印符合要求的行以及下面两行 # cg -A 2 -n 'ro

grep,awk和sed的常用命令和语法

Grep的常用命令语法 1. 双引号引用和单引号引用在g r e p命令中输入字符串参数时,最好将其用双引号括起来.例如:“m y s t r i n g”.这样做有两个原因,一是以防被误解为 s h e l l命令,二是可以用来查找多个单词组成的字符串,例如:“jet plane”,如果不用双引号将其括起来,那么单词 p l a n e将被误认为是一个文件,查询结果将返回“文件不存在”的错误信息.在调用变量时,也应该使用双引号,诸如: g r e p“$ M Y VA R”文件名,如果不这样,