sed命令(二)

转自:https://www.cnblogs.com/maxincai/p/5146338.html

sed命令用法

sed是一种流编辑器,它是文本处理中非常有用的工具,能够完美的配合正则表达式使用,功能不同凡响。处理时,把当前处理的行存储在临时缓冲区中,称为『模式空间』(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。sed主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等。

sed的选项、命令、替换标记

命令格式

sed [options] ‘command‘ file(s)
sed [options] -f scriptfile file(s)

选项

参数 完整参数 说明
-e script --expression=script 以选项中的指定的script来处理输入的文本文件
-f script --files=script 以选项中的指定的script文件来处理输入的文本文件
-h --help 显示帮助
-n --quiet --silent 仅显示script处理后的结果
-V --version 显示版本信息

参数

文件:指定待处理的文本文件列表

sed命令

命令 说明
d 删除,删除选择的行
D 删除模板块的第一行
s 替换指定字符
h 拷贝模板块的内容到内存中的缓冲区
H 追加模板块的内容到内存中的缓冲区
g 获得内存缓冲区的内容,并替代当前模板块中文本
G 获得内存缓冲区的内容,并追加到当前模板块文本的后面
l 列表不能打印字符的清单
n 读取下一个输入行,用下一个命令处理新的行而不是第一个命令
N 追加下一个输入行到模板块后面并在二者间嵌入一个新行,改变当前行号码
p 打印模板块的行
P 打印模板块的第一行
q 退出sed
b label 分支到脚本中带有标记的地方,如果分支不存在则分支到脚本的末尾
r file 从file中读行
t label if分支,从最后一行开始,条件一旦满足或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾
T label 错误分支,从最后一行开始,一旦发生错误或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾
w file 写并追加模板块到file末尾
W file 写并追加模板块的第一行到file末尾
! 表示后面的命令对所有没有被选定的行发生作用
= 打印当前行号
# 把注释扩展到第一个换行符以前

sed替换标记

命令 说明
g 表示行内全面替换
p 表示打印行
w 表示把行写入一个文件
x 表示互换模板块中的文本和缓冲区中的文本
y 表示把一个字符翻译为另外的字符(但是不用于正则表达式)
\1 子串匹配标记
& 已匹配字符串标记

sed元字符集

命令 说明
^ 匹配行开始,如:/^sed/匹配所有以sed开头的行。
$ 匹配行结束,如:/sed$/匹配所有以sed结尾的行。
. 匹配一个非换行符的任意字符,如:/s.d/匹配s后接一个任意字符,最后是d。
* 匹配0个或多个字符,如:/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。
[] 匹配一个指定范围内的字符,如/[sS]ed/匹配sed和Sed。
[^] 匹配一个不在指定范围内的字符,如:/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头,紧跟ed的行。
(..) 匹配子串,保存匹配的字符,如s/(love)able/\1rs,loveable被替换成lovers。
& 保存搜索字符用来替换其他字符,如s/love/&/,love这成love
< 匹配单词的开始,如:/<love/匹配包含以love开头的单词的行。
 > 匹配单词的结束,如/love>/匹配包含以love结尾的单词的行。
x{m} 重复字符x,m次,如:/0{5}/匹配包含5个0的行。
x{m,} 重复字符x,至少m次,如:/0{5,}/匹配至少有5个0的行。
x{m,n} 重复字符x,至少m次,不多于n次,如:/0{5,10}/匹配5~10个0的行。

sed用法实例

我们先准备一个测试文件

MacBook-Pro:tmp maxincai$ cat test.txt
my cat‘s name is betty
This is your dog
my dog‘s name is frank
This is your fish
my fish‘s name is george
This is your goat
my goat‘s name is adam

替换操作:s命令

替换文本中的字符串:

MacBook-Pro:tmp maxincai$ sed ‘s/This/aaa/‘ test.txt
my cat‘s name is betty
aaa is your dog
my dog‘s name is frank
aaa is your fish
my fish‘s name is george
aaa is your goat
my goat‘s name is adam

-n选项和p命令一起使用表示只打印那些发生替换的行:

MacBook-Pro:tmp maxincai$ sed -n ‘s/This/aaa/p‘ test.txt
aaa is your dog
aaa is your fish
aaa is your goat

测试过程中发现mac os x和linux还是有点不一样,换回centos 6.5进行测试

直接编辑文件选项-i,会匹配test.txt文件中每一行的第一个This替换为this:

[[email protected] workspace]# sed -i ‘s/This/this/‘ test.txt
[[email protected] workspace]# cat test.txt
my cat‘s name is betty
this is your dog
my dog‘s name is frank
this is your fish
my fish‘s name is george
this is your goat
my goat‘s name is adam

全面替换标记g

使用后缀/g标记会替换每一行中的所有匹配:

[[email protected] workspace]# sed ‘s/this/This/g‘ test.txt
my cat‘s name is betty
This is your This dog
my dog‘s name is This frank
This is your fish
my fish‘s name is This george
This is your goat
my goat‘s name is This adam

当需要从第N处匹配开始替换时,可以使用/Ng:

[[email protected] workspace]# echo sksksksksksk | sed ‘s/sk/SK/2g‘
skSKSKSKSKSK
[[email protected] workspace]# echo sksksksksksk | sed ‘s/sk/SK/3g‘
skskSKSKSKSK
[[email protected] workspace]# echo sksksksksksk | sed ‘s/sk/SK/4g‘
skskskSKSKSK

定界符

以上命令中字符 / 在sed中作为定界符使用,也可以使用任意的定界符:

[[email protected] workspace]# echo sksksksksksk | sed ‘s:sk:SK:4g‘
skskskSKSKSK
[[email protected] workspace]# echo sksksksksksk | sed ‘s|sk|SK|4g‘
skskskSKSKSK

定界符出现在样式内部时,需要进行转义:

[root@vagrant-centos65 workspace]# echo ‘/usr/local/bin‘ | sed ‘s/\/usr\/local\/bin/\/USR\/LOCAL\/BIN/g‘
/USR/LOCAL/BIN

删除操作:d命令

删除空白行:

[root@vagrant-centos65 workspace]# cat test.txt
my cat‘s name is betty

this is your this dog

my dog‘s name is this frank

this is your fish

my fish‘s name is this george

this is your goat

my goat‘s name is this adam

[root@vagrant-centos65 workspace]# sed ‘/^$/d‘ test.txt
my cat‘s name is betty
this is your this dog
my dog‘s name is this frank
this is your fish
my fish‘s name is this george
this is your goat
my goat‘s name is this adam

删除文件的第2行:

[root@vagrant-centos65 workspace]# sed ‘2d‘ test.txt
my cat‘s name is betty
my dog‘s name is this frank
this is your fish
my fish‘s name is this george
this is your goat
my goat‘s name is this adam

删除文件的第2行到末尾所有行:

[[email protected] workspace]# sed ‘2,$d‘ test.txt
my cat‘s name is betty

删除文件最后一行:

[root@vagrant-centos65 workspace]# sed ‘$d‘ test.txt
my cat‘s name is betty
this is your this dog
my dog‘s name is this frank
this is your fish
my fish‘s name is this george
this is your goat

删除文件中所有以my开头的行:

[[email protected] workspace]# sed ‘/^my/‘d test.txt
this is your this dog
this is your fish
this is your goat

已匹配字符串标记&

正则表达式\w\+匹配每一个单词,使用[&]替换它,&对应之前所匹配到的单词:

[[email protected] workspace]# echo this is a test line | sed ‘s/\w\+/[&]/g‘
[this] [is] [a] [test] [line]

子串匹配标记\1

匹配给定样式的其中一部份:

[root@vagrant-centos65 workspace]# echo this is digit 7 in a number | sed ‘s/digit \([0-9]\)/\1/‘
this is 7 in a number

命令中digit 7,被替换成7.样式匹配到的子串是7,\(..\)用于匹配子串,对于匹配到的第一个子串标记为\1,依此类推匹配到的第二个结果就是\2,例如:

[[email protected] workspace]# echo aaa BBB | sed ‘s/\([a-z]\+\) \([A-Z]\+\)/\2 \1/‘
BBB aaa

组合多个表达式

sed ‘表达式‘ | sed ‘表达式‘

等价于

sed ‘表达式; 表达式‘

引用

sed表达式可以使用单引号来引用,但是如果表达式内部包含变量字符串,就需要使用双引号。

[[email protected] workspace]# test=hello
[[email protected] workspace]# echo hello WORLD | sed "s/$test/HELLO/"
HELLO WORLD

选定行的范围:,(逗号)

打印从第5行开始到第一个包含以this开始的行之间的所有行:

[root@vagrant-centos65 workspace]# sed -n ‘5,/^this/p‘ test.txt
my fish‘s name is this george
this is your goat

多点编辑:e命令

-e选项允许在同一行里执行多条命令:

[root@vagrant-centos65 workspace]# sed -e ‘1,5d‘ -e ‘s/my/MY/‘ test.txt
this is your goat
MY goat‘s name is this adam

上面sed表达式的第一条命令删除1至5行,第二条命令用check替换test。命令的执行顺序对结果有影响。如果两个命令都是替换命令,那么第一个命令将影响第二个命令的结果。

和 -e 等价的命令是 --expression

从文件读入:r命令

file里的内容被读进来,显示在与test匹配的行后面,如果匹配多行,则file的内容将显示在所有匹配行的下面:

[root@vagrant-centos65 workspace]# cat test1.txt
aaaaaaaa
[root@vagrant-centos65 workspace]# sed ‘/my/r test1.txt‘ test.txt
my cat‘s name is betty
aaaaaaaa
this is your this dog
my dog‘s name is this frank
aaaaaaaa
this is your fish
my fish‘s name is this george
aaaaaaaa
this is your goat
my goat‘s name is this adam
aaaaaaaa

写入文件:w命令

在test.txt中所有包含my的行都被写入test2.txt里:

[[email protected] workspace]# sed -n ‘/my/w test2.txt‘ test.txt
[[email protected] workspace]# cat test2.txt
my cat‘s name is betty
my dog‘s name is this frank
my fish‘s name is this george
my goat‘s name is this adam

追加(行下):a\命令

将this is a test line 追加到以my开头的行后面:

[[email protected] workspace]# sed ‘/^my/a\this is a test line‘ test.txt
my cat‘s name is betty
this is a test line
this is your this dog
my dog‘s name is this frank
this is a test line
this is your fish
my fish‘s name is this george
this is a test line
this is your goat
my goat‘s name is this adam
this is a test line

在text.txt文件第2行之后插入this is a test line:

[root@vagrant-centos65 workspace]# sed ‘2a\this is a test line‘ test.txt
my cat‘s name is betty
this is your this dog
this is a test line
my dog‘s name is this frank
this is your fish
my fish‘s name is this george
this is your goat
my goat‘s name is this adam

插入(行上):i\命令

将this is a test line 插入到以my开头的行前面:

[[email protected] workspace]# sed ‘/^my/i\this is a test line‘ test.txt
this is a test line
my cat‘s name is betty
this is your this dog
this is a test line
my dog‘s name is this frank
this is your fish
this is a test line
my fish‘s name is this george
this is your goat
this is a test line
my goat‘s name is this adam

下一个:n命令

如果my被匹配,则移动到匹配行的下一行,替换这一行的this为This,并打印该行:

[root@vagrant-centos65 workspace]# sed ‘/my/{n; s/this/This/; }‘ test.txt
my cat‘s name is betty
This is your this dog
my dog‘s name is this frank
This is your fish
my fish‘s name is this george
This is your goat
my goat‘s name is this adam

变形:y命令

把1-10行内所有的abcde转变为大写,注意,正则表达式元字符不能使用这个命令:

[root@vagrant-centos65 workspace]# sed ‘1,10y/abcde/ABCDE/‘ test.txt
my CAt‘s nAmE is BEtty
this is your this Dog
my Dog‘s nAmE is this frAnk
this is your fish
my fish‘s nAmE is this gEorgE
this is your goAt
my goAt‘s nAmE is this ADAm

退出:q命令

打印完第3行,退出sed

[root@vagrant-centos65 workspace]# sed ‘3q‘ test.txt
my cat‘s name is betty
this is your this dog
my dog‘s name is this frank

打印奇数行或偶数行

方法1:

奇数行

[root@vagrant-centos65 workspace]# sed -n ‘p;n‘ test.txt
my cat‘s name is betty
my dog‘s name is this frank
my fish‘s name is this george
my goat‘s name is this adam

偶数行

[[email protected] workspace]# sed -n ‘n;p‘ test.txt
this is your this dog
this is your fish
this is your goat

方法2:

sed -n ‘1~2p‘ test.txt
sed -n ‘2~2p‘ test.txt

更多的需要在以后的工作中慢慢摸索,这里只是一个简单的记录,以后如果有更多经验了再完善一篇sed实战吧。

原文地址:https://www.cnblogs.com/sjxbg/p/10789023.html

时间: 2024-10-08 13:27:40

sed命令(二)的相关文章

文本处理工具之二 sed命令详解

======博主所学知识来着于恩师马哥的亲授====== 马哥教育"2014夏令营"开始啦!!!马哥教育是目前性价比最高的Linux培训,国内好评度排名第一,并被网友称为Linux界的"黄埔军校",全部课程采用Centos6.5x86_64讲解,经过几期网络班的总结和锤炼,逐渐完善的课程体系,学员学习进度监督和优质的考试系统检验学员掌握程度,活跃的在线答疑环节,名师陪伴,牛人指点,精彩不容错过. 详情猛戳:http://www.magedu.com/ 课程内容:ht

学习笔记之sed命令使用

一.概述 1.  sed 全称为Stream Editor,就是行编辑器,意味着一次只处理一行文本,sed将被匹配到            的行放到自己特定的空间(通常称为模式空间)中进行编辑:然后再根据结果进行输出显示: 2.  在sed中还有一段空间称为保持空间,sed模式空间中的内容可以与保持空间的内容可以进            行自由互换,实际工作中用处很少,仅作参考: Sed工作流程如图 二.sed命令使用 sed [OPTION]... 'script' [input-file].

Linux的sed命令

一.初识sed 在部署openstack的过程中,会接触到大量的sed命令,比如 # Bind MySQL service to all network interfaces.sed -i 's/127.0.0.1/0.0.0.0/g' /etc/mysql/my.cnf 那么这条命令是什么意思?接下来介绍sed命令答案自然就揭晓了.二.sed简介 sed:是一个编辑器,是一个强大的文件处理工具. sed作用:用来替换.删除,更新文件中的内容.sed能自动处理一个或多个文件. sed原理:sed

sed命令(1)-基本语法和命令

注:学习sed命令的参考书籍为<Sed&Awk>,所以笔记也都是参考该书. sed命令的基本语法和命令: 一.sed命令语法 sed [options] {sed-commands} {input-file} sed是按每行依次读取input-file,然后执行sed-command,执行完的数据写入模式空间. options是用来传递sed命令的可选参数. 当需要使用多条命令的时候可以使用-e参数,其语法如下: sed [options] -e {sed-command1} -e {

【Linux学习011】sed命令详解

一.简介 sed(Stream EDitor)是一种行编辑器,Linux中有三种常见的行编辑器:gred,sed,awk,其中awk命令最复杂,grep命令最简单,sed命令难度适中. sed命令能够接收一个文件或者管道输入流,以一次处理一行的方式处理完成整个文档,能够接收管道输入流是sed命令的一个特色功能. sed命令的详细使用方法在线手册:http://www.gnu.org/software/sed/manual/sed.html sed最全命令格式展开 sed OPTIONS... [

Linux下的sed命令使用详解

sed是stream editor的简称,也就是流编辑器.它一次处理一行内容,处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”pattern space,接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕.接着处理下一行,这样不断重复,直到文件末尾.文件内容并没有 改变,除非你使用重定向存储输出. 使用语法sed命令的使用规则是这样的: sed [option] 'command' input_file 其中option是可选的,常用的option有如下几种: -n

sed(二)高级部分

原文是这么说的:一旦你理解了这里所给出的命令,那么就可以认为自己是真正的sed主人了 为了成为sed的主人,大伙一起努力吧 sed高级命令分为三块 处理多模式空间(N,D,P) 采用保持空间来保持模式空间的内容并使它可用于后续的命令(H,h,G,g,x) 编写使用分支和条件指令的脚本来更改控制了(:,b,t) 咱们先温习下,基础部分,sed的处理过程吧 通常来说,一行被读进模式空间,并且用脚本中的每个命令(一个接一个地)应用于该行.当到达脚本底部时,输出这一行,并清空模式空间.然后新行被读入模式

sed命令简介

文本处理三剑客:     grep:egeep,fgrep:文本过滤器     sed:stream Editor:流编辑器,逐行     awk:文本格式化工具,报告生成器 一.sed简介 sed一次从文件中读取一行,不会修改原文件的内容    sed命令将当前处理的行读入模式空间(pattern space)进行处理,sed在该行上执行完所有命令后就将处理好的行打印到屏幕上(除非之前的命令删除了该行)    sed处理完一行就将其从模式空间中删除,然后将下一行读入模式空间,进行处理.显示. 

Linux sed命令小结

1.什么是sed sed,流编辑器,即stream editor.它可以将文本文件的每一行读取到内存,即所谓sed的模式空间,在这个模式空间中可以进行编辑并输出. 2.sed的使用格式 sed [options] "AdressCommand" file1,file2,... 说明: a.Adress实际上是用来确定编辑文件的范围,可以是精确的某一行,也可以是从某一行到某一行,也   可以用正则进行过滤匹配. b.Command表示将符合Address的行进行XXX操作.注意默认情况下